网站怎么设关键词,合肥企业网站制作公司,深圳营销策划公司十强,台州哪家做企业网站比较好【Part1——理论篇】试想一个问题#xff0c;如果我们要抓取某个微博大V微博的评论数据#xff0c;应该怎么实现呢#xff1f;最简单的做法就是找到微博评论数据接口#xff0c;然后通过改变参数来获取最新数据并保存。首先从微博api寻找 抓取评论的接口#xff0c;如下图…【Part1——理论篇】试想一个问题如果我们要抓取某个微博大V微博的评论数据应该怎么实现呢最简单的做法就是找到微博评论数据接口然后通过改变参数来获取最新数据并保存。首先从微博api寻找 抓取评论的接口如下图所示。但是很不幸该接口频率受限抓不了几次就被禁了还没有开始起飞就凉凉了。接下来小编又选择微博的移动端网站先登录然后找到我们想要 抓 取评论的微博打开浏览器自带流量分析工具一直下拉评论找到评论数据接口如下图所示。 之后点击“参数”选项卡可以看到参数为下图所示的内容可以看到总共有4个参数其中第1、2个参数为该条微博的id就像人的身份证号一样这个相当于该条微博的“身份证号”max_id是变换页码的参数每次都要变化下次的max_id参数值在本次请求的返回数据中。 【Part2——实战篇】有了上文的基础之后下面我们开始撸代码使用Python进行实现。 1、首先区分url第一次不需要max_id,第二次需要用第一次返回的max_id。2、请求的时候需要带上cookie数据微博cookie的有效期比较长足够 抓 一条微博的评论数据了cookie数据可以从浏览器分析工具中找到。 3、然后将返回数据转换成json格式取出评论内容、评论者昵称和评论时间等数据输出结果如下图所示。4、为了保存评论内容我们要将评论中的表情去掉使用正则表达式进行处理如下图所示。5、之后接着把内容保存到txt文件中使用简单的open函数进行实现如下图所示。 6、重点来了通过此接口最多只能返回16页的数据每页20条网上也有说返回50页的但是接口不同、返回的数据条数也不同所以我加了个for循环一步到位遍历还是很给力的如下图所示。7、这里把函数命名为job。为了能够一直取出最新的数据我们可以用schedule给程序加个定时功能每隔10分钟或者半个小时抓1次如下图所示。8、对获取到的数据做去重处理如下图所示。如果评论已经在里边的话就直接pass掉如果没有的话继续追加即可。这项工作到此就基本完成了。【Part3——总结篇】这种方法虽然抓不全数据但在这种微博的限制条件下也是一种比较有效的方法。
