python爬虫爬不上数据，python爬虫没反应

为什么有些网站能显示内容但python.requests却爬不出数据

1、对方有反爬程序 几乎所网站为了防止一些恶意抓取，会设置反爬程序，你会发现明明很多数据显示在浏览器上，但是却抓取不出来。

2、为了能够安装wheel文件，你需要首先安装wheel这个包。进到cmd里面输入 pip install wheel 然后在命令行输入pip install 模块路径名 模块名，这里模块都是whl，不要忘记后缀。

3、现在很多网站都有反爬虫功能，要看看是否网站反爬虫的原因。简单测试就是换个IP或是搞个代理IP在发送一次请求试试。

相关问答

Q1: python爬虫爬取不出信息

1、Python爬虫程序本身没有问题，但是却爬取不了数据主要原因如下：对方有反爬程序 几乎所网站为了防止一些恶意抓取，会设置反爬程序，你会发现明明很多数据显示在浏览器上，但是却抓取不出来。

2、**signature参数错误**：在搭建爬虫环境时，需要先获取signature参数，如果获取的参数有误或者过期，就会出现返回数据为空的情况。解决方案是重新获取signature参数。

3、并不是静态页面。所以常规的爬虫爬取的内容是空的。目前我了解的有两种方法可以去获取浏览量。一种是使用selenium + chrome。模拟浏览器加载。这种对于动态加载的页面比较有效。缺点就是效率太低。

4、那数据是动态的，是通过js动态添加上去的，所以获取不到。不仅是通过js动态添加的。而且从服务器获取的数据是加密过的，然后再解密，最后张渲染到页面上。

5、具体看网站了。我目前了解到的有两种可能，这个网站反爬虫，对你的程序识别为威胁然后拒绝提供服务；你要的这个内容是js写的，异步传输需要执行相应的js代码才能获取到数据，而requests执行不了。

Q2: 使用python抓取百度搜索结果时不成功,怎么回事?

百度搜索有专门的接口，使用相应的API接口调用吧。你这直接调用它的主页，需要解决很多问题的。

从降低爬取频率的角度来说，可以设置一个随机数，每次爬取之后，让爬虫休眠这个随机数的时间。如果能更清楚百度的防御机制就有其他方法了。

可能css属性是隐藏。selenium规定只能和可见属性的标签交互。如果你定位的是隐藏的，只会返回空值。解决方法是设置成可见再获取。简单粗暴的方法是直接给它的属性值删除后，再定位。

Q3: python爬取数据运行显示页面不存在

这是http 定义的错误，找不到URL指定的页面。

动态加载数据：有些网站的内容是通过JavaScript动态加载的，这种内容在原始的HTML中并不存在。如果你的爬虫只是解析HTML，那么这些内容就无法获取。网络问题：网络不稳定或者请求出错也导致获取的内容为空。

伪装方式没有绕过目标网站反爬 网站都有反爬虫机制，防止爬取数据，爬虫想要爬取数据，就需要隐藏自身的身份，伪装成用户的身份进行访问，如果没有伪装好，被检测到爬虫，也是被会限制的。

内部网站不能访问，你用无登录打开这个网站会自动跳转，所以就没内容了。

那数据是动态的，是通过js动态添加上去的，所以获取不到。不仅是通过js动态添加的。而且从服务器获取的数据是加密过的，然后再解密，最后张渲染到页面上。

首先，明确一点，爬取他人的后台数据并非单纯的黑客行为，只有在明确的公开数据源或者得到明确授权的情况下，才能进行合法采集。爬虫通常用于抓取公开的网页内容，而非私有系统。

python爬虫爬不上数据的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于python爬虫没反应、python爬虫爬不上数据的信息别忘了在本站进行查找喔。