江苏首天建设集团网站,程序外包平台,安全中国asp.net网站开发项目实战培训班,wordpress log视频版教程#xff1a;一天掌握python爬虫【基础篇】 涵盖 requests、beautifulsoup、selenium
在某些需要登录的网站或者或者应用#xff0c;假如我们需要抓取登录后的内容#xff0c;技术上本质通过session会话实现。服务器端存会话信息#xff0c;浏览器通过Cookie携带…视频版教程一天掌握python爬虫【基础篇】 涵盖 requests、beautifulsoup、selenium
在某些需要登录的网站或者或者应用假如我们需要抓取登录后的内容技术上本质通过session会话实现。服务器端存会话信息浏览器通过Cookie携带客户端访问用户信息来实现会话机制。
requests对Cookie有很好的支持。
我们看一个实例。
http://download.java1234.com/
这个网站假如需要看抓取登录后的用户下载的资源信息
http://download.java1234.com/user/userDownload/list/1
这时候的思路是先post方式登录系统获取返回的cookie然后我们带上cookie再请求用户下载资源信息url。
参考代码
import requestsurl http://download.java1234.com/user/loginheaders {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36
}data {userName: python222,password: 123456
}r requests.post(urlurl, datadata, headersheaders)print(r.text)
print(r.headers)
cookieJar r.cookies
for c in cookieJar:print(c.name, c.value)targetUrl http://download.java1234.com/user/userDownload/list/1r2 requests.get(urltargetUrl, headersheaders, cookiescookieJar)
print(r2.text)
