贵阳网络网站建设,移动端页面尺寸,做兼职用哪个网站好,京东网上商城跟京东是一家吗视频版教程#xff1a;一天掌握python爬虫【基础篇】 涵盖 requests、beautifulsoup、selenium
有些网站的数据是js动态渲染的#xff0c;我们无法通过网页源码直接找到数据#xff0c;只能通过找接口方式来获取数据#xff0c;但是很多时候#xff0c;数据又是json格式的…视频版教程一天掌握python爬虫【基础篇】 涵盖 requests、beautifulsoup、selenium
有些网站的数据是js动态渲染的我们无法通过网页源码直接找到数据只能通过找接口方式来获取数据但是很多时候数据又是json格式的给我们爬数据增加成本。
比如 CSDN - 专业开发者社区 这个网站 就是js动态渲染的首页数据。
这时候使用selenium我们可以通过模拟真实浏览器的用户操作行为来获取js动态渲染后的网页数据在进行解析网页获取我们需要的数据。能大大提高我们的抓取效率。
Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中就像真正的用户在操作一样。支持的浏览器包括IE7, 8, 9, 10, 11Mozilla FirefoxSafariGoogle ChromeOperaEdge等。
我们使用Selenium模拟浏览器功能自动执行网页中的js代码实现动态加载然后再进行数据抓取。
测试代码
import requestsurl https://www.csdn.net/headers {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36
}r requests.get(urlurl, headersheaders)# 设置返回对象的编码
r.encoding utf-8print(r.text)
运行发现返回结果里面找不到我们需要的资讯数据。
