网站建设软件设施,wordpress注册无提示,当阳建设中学网站,代引流推广公司request库对于轻量级用户#xff0c;像我一样只是准备写一个搞笑用的程序#xff0c;requests是很方便的存在。安装通过pip就不说了request的几个主要方法requests.request() 构造一个请求#xff0c;支撑以下各方法的基础方法requests.get() 获取HTML网页的主要方法#x…request库对于轻量级用户像我一样只是准备写一个搞笑用的程序requests是很方便的存在。安装通过pip就不说了request的几个主要方法requests.request() 构造一个请求支撑以下各方法的基础方法requests.get() 获取HTML网页的主要方法对应于HTTP的GETrequests.head() 获取HTML网页头信息的方法对应于HTTP的HEADrequests.post() 向HTML网页提交POST请求的方法对应于HTTP的POSTrequests.put() 向HTML网页提交PUT请求的方法对应于HTTP的PUTrequests.patch() 向HTML网页提交局部修改请求对应于HTTP的PATCHrequests.delete() 向HTML页面提交删除请求对应于HTTP的DELETE这个基本上和http中报文的几种方法是一致的。具体可以康康明解http的第三章。小钱钱够的同学可以支持一下正版。get方法我们主要使用的是get方法(因为只是爬别人)。requests.get(url, paramsNone, **kwargs)中。url(统一资源定位符)指访问的资源的地址就是你在浏览器上面那个栏栏里面输入的http://www.xxxxxx.com。kwargs用来控制访问的参数也是用来控制你网络通信中的参数(可以理解为一个信封的上收信人和邮票这些)。我们使用get方法urlhttps://bing.com/resrequests.get(url)我们去爬去的时候通过url使用get方法是获得一个request对象去访问网址资源(响应库名)。而res是得到一个response对象包含了几个属性status_code HTTP请求的返回状态200表示连接成功404表示失败(详细见明解http第四章)text HTTP响应内容的字符串形式即url对应的页面内容encoding 从HTTP header中猜测的响应内容编码方式apparent_encoding 从内容中分析出的响应内容编码方式(备选编码方式)content HTTP响应内容的二进制形式通常如果我们发现res.txt的显示有些问题我们会使用apparent_encoding去解码结果。因为毕竟有可能有失败所以我们需要使用异常处理来打开。urlhttps://bing.com/try:resrequests.get(url)res.raise_for_status()res.encodingres.apparent_encodingprint(res.text[:1000])except:print(spider failed)几个小实例基本的爬取更改agent的方式有些网站并不想让你爬所以会限制爬虫(因为你太老实了危)像这样就返回503了。这个时候我们就可以动一下小手脚我们把user-agent这个自报家门的东西换点(默认的参数自报是python爬虫)我们改成一个浏览器的名字‘Mozilla/5.0’骗一骗它。这样我们就绕开了这个小反爬。(仅供娱乐玩家使用偶尔这么搞一搞)访问资源的子部分比如我们像用搜索引擎查一查某个东西。哪怎么搞呢我们去必应搜索了一波‘抗疫感想’发现它长这个样子那ok了我们只需要把这串url里面的q后面的换成我们想要的查就好。还记得**args这个参数吗? 我们往里面加点料开一个字典search{q: xxx}到时候它request的时候便会帮我们把参数pxxx搞到url上去。关于什么能爬什么不能爬一般很多网站会把什么能爬什么不能爬写出来。搞一个robots协议公开给大家看。我们只要在一个网站url后面加一个/robots.txt就能查看。User-agent: msnbot-mediaDisallow: /Allow: /th?User-agent: TwitterbotDisallow:User-agent: *Disallow: /account/Disallow: /amp/Allow: /api/maps/取了一小部分这里可以看到bing的/api/maps/是对所有爬虫都开放的(allow了)而对/account/这一部分是不允许别人爬的。而对于Twitterbot不让爬。
