当前位置: 首页 > news >正文

工作室 网站建设在线做网站教程

工作室 网站建设,在线做网站教程,长沙好的互联网公司,wordpress 博客 视频常见的反爬虫和应对方法 参考:https://www.cnblogs.com/bsdr/p/5151891.html 0x01 常见的反爬虫 这几天在爬一个网站#xff0c;网站做了很多反爬虫工作#xff0c;爬起来有些艰难#xff0c;花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的…常见的反爬虫和应对方法 参考:https://www.cnblogs.com/bsdr/p/5151891.html 0x01 常见的反爬虫 这几天在爬一个网站网站做了很多反爬虫工作爬起来有些艰难花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。 从功能上来讲爬虫一般分为数据采集处理储存三个部分。这里我们只讨论数据采集部分。 一般网站从三个方面反爬虫用户请求的Headers用户行为网站目录和数据加载方式。前两种比较容易遇到大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用这样增大了爬取的难度。 0x02 通过Headers反爬虫 从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测还有一部分网站会对Referer进行检测一些资源网站的防盗链就是检测Referer。如果遇到了这类反爬虫机制可以直接在爬虫中添加Headers将浏览器的User-Agent复制到爬虫的Headers中或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫在爬虫中修改或者添加Headers就能很好的绕过。 0x03 基于用户行为反爬虫 还有一部分网站是通过检测用户行为例如同一IP短时间内多次访问同一页面或者同一账户短时间内多次进行相同操作。 大多数网站都是前一种情况对于这种情况使用IP代理就可以解决。可以专门写一个爬虫爬取网上公开的代理ip检测后全部保存起来。这样的代理ip爬虫经常会用到最好自己准备一个。有了大量代理ip后可以每请求几次更换一个ip这在requests或者urllib2中很容易做到这样就能很容易的绕过第一种反爬虫。 对于第二种情况可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站可以通过请求几次退出登录重新登录继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。 0x04 动态页面的反爬虫 上述的几种情况大多都是出现在静态页面还有一部分网站我们需要爬取的数据是通过ajax请求得到或者通过JavaScript生成的。首先用Firebug或者HttpFox对网络请求进行分析。如果能够找到ajax请求也能分析出具体的参数和响应的具体含义我们就能采用上面的方法直接利用requests或者urllib2模拟ajax请求对响应的json进行分析得到需要的数据。 能够直接模拟ajax请求获取数据固然是极好的但是有些网站把ajax请求的所有参数全部加密了。我们根本没办法构造自己所需要的数据的请求。我这几天爬的那个网站就是这样除了加密ajax参数它还把一些基本的功能都封装了全部都是在调用自己的接口而接口参数都是加密的。遇到这样的网站我们就不能用上面的方法了我用的是seleniumphantomJS框架调用浏览器内核并利用phantomJS执行js来模拟人为操作以及触发页面中的js脚本。从填写表单到点击按钮再到滚动页面全部都可以模拟不考虑具体的请求和响应过程只是完完整整的把人浏览页面获取数据的过程模拟一遍。 用这套框架几乎能绕过大多数的反爬虫因为它不是在伪装成浏览器来获取数据上述的通过添加 Headers一定程度上就是为了伪装成浏览器它本身就是浏览器phantomJS就是一个没有界面的浏览器只是操控这个浏览器的不是人。利用 seleniumphantomJS能干很多事情例如识别点触式12306或者滑动式的验证码对页面表单进行暴力破解等等。它在自动化渗透中还 会大展身手以后还会提到这个。 爬虫反爬-关于headersUA、referer、cookies的一些有趣反爬 参考https://blog.csdn.net/hu77700021/article/details/79837569 网站为了保护自己的数据不被爬取都会设置许多反爬措施。其中较为简单的就是检测访问请求头部如果检测出不是合法的请求头服务器就不返回数据。请求头headers中常用于设置反爬的参数有User Agent、referer和cookies。在做爬虫时遇到了一些相关案例将案例和相关应对措施发出来与大家分享下。 1、User Agent反爬 User Agent是标识请求的浏览器身份的网站常用这个参数来分辨爬虫。如豆瓣网当请求headers中没带User Agent时返回404. 2、referer反爬-上海证券交易所 当请求不带referer时返回403错误。 import requestsurl http://query.sse.com.cn/security/stock/getStockListData2.do?jsonCallBackjsonpCallback96332isPaginationtruestockCodecsrcCodeareaNamestockType1pageHelp.cacheSize1pageHelp.beginPage1pageHelp.pageSize25pageHelp.pageNo2pageHelp.endPage21_1522509003629 response requests.get(url) print(response.text)如下图所示返回403错误。 而带上referer后则可正常返回所请求数据。 import requestsheaders{Referer:http://www.sse.com.cn/assortment/stock/list/share/ } url http://query.sse.com.cn/security/stock/getStockListData2.do?jsonCallBackjsonpCallback96332isPaginationtruestockCodecsrcCodeareaNamestockType1pageHelp.cacheSize1pageHelp.beginPage1pageHelp.pageSize25pageHelp.pageNo2pageHelp.endPage21_1522509003629 response requests.get(url,headers headers) print(response.text)如下图带上referer后服务器返回所请求数据。 3、 添加cookies to be continue…
http://www.sadfv.cn/news/309287/

相关文章:

  • wordpress搜索标签页seo外链技巧
  • 长沙网站建设网站推广微信营销邢台润联科技有限公司
  • 4435建站创新的中小型网站建设
  • 想自己在家做外贸网站建设食品网站
  • 中国营销网站国内logo设计网站
  • wordpress 添加文章seo诊断
  • 网站建设营销型网站做网站用什么面板好
  • 什么的网站策划利用网络媒体营销来做电商网站论文
  • 在线网站推荐几个最近中文字幕2019视频1
  • 珠海网站设计网络优化中国建设银行网站地址
  • 高端品销售网站电商数据统计网站
  • 龙凤网站建设云聚达住房和城乡建设部网站投诉电话
  • 怎么通过局域网建设网站小说素材网站
  • 淘宝联盟网站模板厦门有做网站建设
  • 企业网站设计公司济南小程序开发制作
  • 制作网站书签怎么做黄页大全有哪些
  • 手机网站创建四川省住房和城乡建设局网站
  • 站长之家seo施工企业安全生产评价标准jgjt77破解版
  • 网站排名优化软件电话站酷网怎么接单赚钱
  • 做网站可以赚钱么网上书城网站开发方案
  • 赤峰做网站建设的企业用vps建网站备案
  • 有域名怎样建设网站杭州专业做网站的公司哪家好
  • 高端网站建设公司兴田德润在那里一般人公司注册费用
  • 昆明网站推广wordpress网站速度检测
  • 专业网站建设兴田德润wordpress调用热评文章
  • 跨境电商网站建设现货交易平台排行榜
  • 网站设计活动主题东莞快速做网站
  • wap网站生成微信小程序做公司网站有用吗
  • 下载建设app广州网站建设实力乐云seo
  • wordpress调用 别的网站建设局官网查询系统