列出一些现有电子商务网站,建设干部培训中心网站,企业网站推广模式,自己做公司的网站吗目录 1. Selenium简介2. 为什么使用Selenium#xff1f;3. Selenium的安装4. Selenium的使用5. Selenium的元素定位6. Selenium的交互7. Chrome handless参考文献 原文地址#xff1a;https://program-park.top/2023/10/16/reptile_3/ 本文章中所有内容仅供学习交流使用… 目录 1. Selenium简介2. 为什么使用Selenium3. Selenium的安装4. Selenium的使用5. Selenium的元素定位6. Selenium的交互7. Chrome handless参考文献 原文地址https://program-park.top/2023/10/16/reptile_3/ 本文章中所有内容仅供学习交流使用不用于其他任何目的严禁用于商业用途和非法用途否则由此产生的一切后果均与作者无关。 1. Selenium简介 Selenium 是一个用于 Web 应用程序测试的工具。最初是为网站自动化测试而开发的可以直接运行在浏览器上支持的浏览器包括 IE7, 8, 9, 10, 11Mozilla FirefoxSafariGoogle ChromeOpera 和 Edge 等。 爬虫中使用它是为了解决 requests 无法直接执行 JavaScript 代码的问题。Selenium 本质上是通过驱动浏览器彻底模拟浏览器的操作好比跳转、输入、点击、下拉等来拿到网页渲染之后的结果。Selenium 是 Python 的一个第三方库对外提供的接口能够操作浏览器从而让浏览器完成自动化的操作。
2. 为什么使用Selenium Selenium 能模拟浏览器功能自动执行网页中的 JavaScript 代码实现动态加载。
3. Selenium的安装 谷歌浏览器驱动下载地址https://registry.npmmirror.com/binary.html?pathchromedriver/ 查看自己谷歌浏览器的版本我这里的版本是正式版本116.0.5845.188驱动下载地址最新的只有114.0.5735.90所以只能去官网的测试页面下载118.0.5993.70版本的驱动https://googlechromelabs.github.io/chrome-for-testing/#stable版本向下兼容然后把下载的压缩包解压将exe文件放入 PyCharm 项目的根目录下。 之后执行pip install selenium命令安装 selenium 库。
4. Selenium的使用
from selenium import webdriver# 创建浏览器操作对象
path chromedriver.exe
browser webdriver.Chrome(path)# 访问网站
url https://www.baidu.combrowser.get(url)
# content browser.page_source
# print(content)需要注意的是如果你的 selenium 是4.11.2以上的版本不需要设置driver.exe的路径selenium 可以自己处理浏览器的驱动程序因此代码直接改为brower webdriver.Chrome()即可。 运行代码得到下面的效果 5. Selenium的元素定位 自动化工具要做的就是模拟鼠标和键盘来操作点击、输入等等元素但是操作这些元素的前提是找到它们WebDriver 提供了很多元素定位的方法
根据标签 id 获取元素from selenium import webdriver
from selenium.webdriver.common.by import By# 创建浏览器操作对象
# path chromedriver.exe
browser webdriver.Chrome()# 访问网站
url https://www.baidu.com
browser.get(url)button browser.find_element(By.ID, su)
# button browser.find_elements(By.ID, su)
print(button)根据标签 name 属性的值获取元素button browser.find_element(By.NAME, wd)
print(button)根据 Xpath 语句获取元素button browser.find_element(By.XPATH, //input[idsu])
print(button)根据标签名获取元素button browser.find_elements(By.TAG_NAME, input)
print(button)根据 bs4 语法获取元素button browser.find_elements(By.CSS_SELECTOR, #su)
print(button)根据标签的文本获取元素精确定位button browser.find_elements(By.LINK_TEXT, 地图)
print(button)根据标签的文本获取元素模糊定位button browser.find_elements(By.PARTIAL_LINK_TEXT, 地)
print(button)根据 class 属性获取元素button browser.find_element(By.CLASS_NAME, wrapper_new)
print(button)当我们定位到元素之后自然就要考虑如何获取到元素的各种信息selenium 给我们提供了获取元素不同信息的方法
获取元素属性from selenium import webdriver
from selenium.webdriver.common.by import By# 创建浏览器操作对象
# path chromedriver.exe
browser webdriver.Chrome()# 访问网站
url https://www.baidu.com
browser.get(url)button browser.find_element(By.ID, su)
print(input.get_attribute(class))获取元素标签名input browser.find_element(By.ID, su)
print(input.tag_name)获取元素文本input browser.find_element(By.ID, su)
print(input.text)获取元素位置input browser.find_element(By.ID, su)
print(input.location)获取元素大小input browser.find_element(By.ID, su)
print(input.size)6. Selenium的交互 页面交互指的是我们平时在浏览器上的各种操作比如输入文本、点击链接、回车、下拉框等下面就演示 selenium 是如何进行页面交互的。
输入文本from selenium import webdriver
from selenium.webdriver.common.by import By
import time# 创建浏览器操作对象
# path chromedriver.exe
browser webdriver.Chrome()# 访问网站
url https://www.baidu.com
browser.get(url)# 定位输入框
input browser.find_element(By.ID, kw)
# 输入文本selenium
input.send_keys(selenium)
time.sleep(2)# 关闭浏览器
browser.close()点击from selenium import webdriver
from selenium.webdriver.common.by import By
import time# 创建浏览器操作对象
# path chromedriver.exe
browser webdriver.Chrome()# 访问网站
url https://www.baidu.com
browser.get(url)# 定位输入框
input browser.find_element(By.ID, kw)
# 输入文本selenium
input.send_keys(selenium)
time.sleep(2)# 定位百度一下的按钮
button browser.find_element(By.ID, su)
# 点击按钮
button.click()
time.sleep(2)# 关闭浏览器
browser.close()清除文本from selenium import webdriver
from selenium.webdriver.common.by import By
import time# 创建浏览器操作对象
# path chromedriver.exe
browser webdriver.Chrome()# 访问网站
url https://www.baidu.com
browser.get(url)# 定位输入框
input browser.find_element(By.ID, kw)
# 输入文本selenium
input.send_keys(selenium)
time.sleep(2)# 清除selenium
input.clear()
time.sleep(2)# 关闭浏览器
browser.close()回车确认from selenium import webdriver
from selenium.webdriver.common.by import By
import time# 创建浏览器操作对象
# path chromedriver.exe
browser webdriver.Chrome()# 访问网站
url https://www.baidu.com
browser.get(url)# 定位输入框
input browser.find_element(By.ID, kw)
# 输入文本selenium
input.send_keys(selenium)
time.sleep(2)# 回车查询
input.submit()
time.sleep(2)# 关闭浏览器
browser.close()运行 JavaScriptfrom selenium import webdriver
from selenium.webdriver.common.by import By
import time# 创建浏览器操作对象
# path chromedriver.exe
browser webdriver.Chrome()# 访问网站
url https://www.baidu.com
browser.get(url)# 定位输入框
input browser.find_element(By.ID, kw)
# 输入文本selenium
input.send_keys(selenium)
time.sleep(2)# 回车查询
input.submit()
time.sleep(2)# js代码
js_bottom document.documentElement.scrollTop100000
# 下拉进度条页面滑动
browser.execute_script(js_bottom)
time.sleep(2)# 关闭浏览器
browser.close()前进后退from selenium import webdriver
from selenium.webdriver.common.by import By
import time# 创建浏览器操作对象
# path chromedriver.exe
browser webdriver.Chrome()# 访问网站
url https://www.baidu.com
browser.get(url)# 定位输入框
input browser.find_element(By.ID, kw)
# 输入文本selenium
input.send_keys(selenium)
time.sleep(2)# 回车查询
input.submit()
time.sleep(2)# js代码
js_bottom document.documentElement.scrollTop100000
# 页面滑动
browser.execute_script(js_bottom)
time.sleep(2)# 定位下一页的按钮
next browser.find_element(By.XPATH, //a[classn])
# 点击下一页
next.click()
time.sleep(2)# 返回到上一页面
browser.back()
time.sleep(2)# 前进到下一页
browser.forward()
time.sleep(2)# 关闭浏览器
browser.close()7. Chrome handless 在上面的测试过程中可以发现虽然 selenium 简便好用但是它的运行速度很慢这是因为 selenium 是有界面的需要执行前端 css 和 js 的渲染。那么下面就介绍一个无界面的浏览器Chrome-handless 模式运行效率要比真实的浏览器快很多在 selenium 的基础上支持页面元素查找、js 执行等代码和 selenium 一致。 使用前提
Chrome Unix\Linux chrome 59Windows chrome 60 Python 3.6Selenium 3.4.*
from selenium import webdriverdef share_browser():# headless自带配置不需要再做额外的修改from selenium.webdriver.chrome.options import Options# 初始化chrome_options Options()chrome_options.add_argument(‐‐headless)chrome_options.add_argument(‐‐disable‐gpu)# 谷歌浏览器的安装路径path rC:\Users\\AppData\Local\Google\Chrome\Application\chrome.exechrome_options.binary_location pathbrowser webdriver.Chrome(optionschrome_options)return browserbrowser share_browser()
url https://www.baidu.com
browser.get(url)# 本地保存照片
browser.save_screenshot(baidu.png)参考文献 【1】http://www.noobyard.com/article/p-boitcibx-g.html 【2】https://www.jb51.net/article/149145.htm 【3】https://zhuanlan.zhihu.com/p/462460461 【4】https://blog.csdn.net/weixin_67553250/article/details/127555724 【5】https://www.cnblogs.com/Summer-skr–blog/p/11491078.html 【6】https://www.bilibili.com/video/BV1Db4y1m7Ho?p77
