满城建设局网站,如何能查到百度搜索排名,网站设计 无锡,百度怎样发布作品我们在爬取网上一些数据时#xff0c;必须登陆才能爬取到数据#xff0c;这是我们就需要Cookie了#xff0c;Cookie简单说就是服务器返回给我们的一些数据#xff0c;保存到客户端#xff0c;下次登陆时#xff0c;服务器会识别这些数据#xff0c;可以返回我们上次的数…我们在爬取网上一些数据时必须登陆才能爬取到数据这是我们就需要Cookie了Cookie简单说就是服务器返回给我们的一些数据保存到客户端下次登陆时服务器会识别这些数据可以返回我们上次的数据 我爬取的是人人网 当没有设置Cookie时不论我们爬取那个网页的数据都只能爬取到登陆页面这里我就不演示了在请求的头里不要设置Cookie就行了代码
from urllib import request
dapeng_url http://www.renren.com/880151247/profile
headers {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36,Cookie:anonymidjts9ysu5-tuyp2f; depovinceGW; _r01_1; JSESSIONIDabc3iYNu61jbQ6s6oddNw; ick_loginb6b0b9b8-c14d-472e-9ad3-4221df783996; ickaebabe76-c548-4d53-ab1b-c856846d8ec7; jebecookiesed6dc536-d393-4c53-bd9a-2596a808ae6c|||||; _deB1BBBAB916360F72F4627FFE19B3821C; p92189c5bd1b14cdfb0cb26d422c3474d6; first_login_flag1; ln_uact15955034252; ln_hurlhttp://head.xiaonei.com/photos/0/0/men_main.gif; t57b623a00434e5710fe7c2856c2338096; societyguester57b623a00434e5710fe7c2856c2338096; id970227406; xnsid3cf0bd31; ver7.0; loginfromnull; jebe_keyc6ac91f6-47b4-45d3-a1ab-bc163cb9c20a%7C95fdfd6f154b6ddbfbe4a74cb112a907%7C1553755754281%7C1%7C1553755754060; wp_fold0
}resp request.Request(dapeng_url,headersheaders);
respon request.urlopen(resp)
with open(renren.html,w,encodingutf-8) as fp:fp.write(respon.read().decode(utf-8))结果在文件目录就会出现下面的文件 右击在浏览器中打开 爬取的结果