抖音数据抓取php,抖音数据抓取

抖音爬虫从0到1-第三弹：爬取抖音用户详细数据

相关文章：

抖音 x-gorgon 03 免费生成接口 抖音6.3.0版本

抖音爬虫从0到1-第一弹：环境配置

抖音爬虫从0到1-第二弹：获取抖音用户数据

前面介绍了分析了抖音请求header中的 X-gorgon的获取方法 ，同时在分析 获取抖音用户数据的时候 ，我们发现爬取抖音用户的数据需要使用用户的user_id和sec_user_id，我们通过抓包工具获取用户的id以及sec_user_id，然后通过用户的关注列表和follow列表获取更多的用户的user_id和sec_user_id，下面我将介绍一下如何根据user_id和sec_user_id来获取抖音用户的详细数据。

首先在搭建好的环境中通过Fiddle抓取用户数据包。

我们知道了请求的api以及请求头里面都包含了哪些信息，我们就可以通过手动构造对应的请求参数来爬取用户的数据了。我已经在 前面的文章 获取到了 1W+ 的用户的 uid 以及 sec_user_id 的数据了，然后我们就可以通过这些数据来爬取用户的详细数据。

在文章 抖音爬虫从0到1-第二弹：获取抖音用户数据 我们已经介绍了爬取抖音关注列表的api及其构造方法，其实获取用户详细信息和获取用户的关注列表的api基本一致，主要都是需要我们自行填充用户的user_id以及用户的sec_user_id还有一大堆的时间戳信息，其他的信息都是不变的。下面我们构造获取用户详细信息的api

上文我们已经分析了请求头，请求头的构造也比较方便，大部分内容都是固定的，需要我们填充的主要还是几个时间戳以及对应的X-Gorgon,其中X-Gorgon的构造方法比较复杂，在文章“ 抖音 x-gorgon 03 免费生成接口 抖音6.3.0版本 ”中我已经提供了一个生成X-Gorgon的接口，但是要注意填入正确的Cookie和Token你才能获得可用的X-Gorgon，否则你的Gorgon就是不可用的。下图是请求头里面的主要信息：

下面我写了一个构造请求头的函数：

根据上面对响应数据的分析，其对应的响应数据是json格式的，而且数据特别多，分析了一下，我找了一些对我比较有用的数据：

以上就是爬取用户信息的全部内容，码字不易，还请点赞关注，有任何问题请留言.

相关问答

Q1: 如何抓取抖音团购数据

可以用python抓取抖音数据。

具体方法如下：需要用到的工具安卓模拟器、fiddler、mituproxy（mitmdump）、python3.7、Auto.js。知道url地址和数据格式之后，编写python程序，使用mitmdump抓包，当滑动屏幕就可以解析出数据。

Q2: 抖音对指定用用户的所有视频抓取策略

抖音对指定用用户的所有视频抓取策略

方案1：接口参数有加密，需脱壳app进行反编译破解加密参数。（难度较大，不容易实现）

方案2：使用appium自动化框架配合mitmdump中间人代理截取手机发送的数据包，从而获取数据。（容易实现，且不容易被识别反爬）

综上所述我选用的实现方案是方案2

二、可能需要的资源

Android模拟器或者真机

长期有效代理

三、实现原理流程图

三、具体实现过程

1、首先利用fiddler抓包工具分析抖音app的主页滑动的请求接口

2、设置手机或者模拟器的代理为本机ip和端口 8888（fiddler监控端口）

3、手机点到监测账号主页动态页面，（因为动态页面的数据跟作品是相对应的，而所有 作品的接口反爬比较严格，所以采用动态接口）手动向下滑动触发请求数据接口（后 期可通过appium实现自动化操作）

4、对抖音app数据请求接口进行抓包分析

5、找到具体接口之后编写mitmproxy监控脚本准备拦截请求和解析入库的操作

5、设置模拟器或者手机的代理为本机ip和自定义的端口 9090（mitmproxy监控此端口）

6、运行mitmproxy监控脚本监控手机 9090 端口发出的请求

7. 手动滑动抖音app视频动态页刷新请求会看到数据已经被截获了（可利用appium 自动化实现滑动）