为何有的网站打不开,上海网站高端定制,韩国网站怎么打开,wordpress访问数据库目录
前言
目的
思路
代码实现
1. 导包#xff0c;部署好环境
2. 伪装请求头
3. 访问英雄列表#xff0c;获取英雄ID
4. 分别访问各英雄主页#xff0c;查看图片详情
5. 写入本地文件夹#xff08;文件夹自动命名#xff09;
完整源码
运行效果
总结 前言
阔…目录
前言
目的
思路
代码实现
1. 导包部署好环境
2. 伪装请求头
3. 访问英雄列表获取英雄ID
4. 分别访问各英雄主页查看图片详情
5. 写入本地文件夹文件夹自动命名
完整源码
运行效果
总结 前言
阔别已久各位粉丝朋友们。
UP前段时间忙于期末和出国事宜所以很久没有更新我们的爬虫专栏。今天开始我们继续不定期更新一些有趣的小案例当然不会很越界UP本人使用爬虫也是够用即可~爬虫虽好过度可是会喜提银手镯的
好了闲话少叙我们今天带来的是在王者荣耀官网批量下载所有英雄的皮肤图片并按英雄名称归类放于同一个文件夹下效果如图 怎么样是不是特别井井有条并且图片质量是很高的下面就让我们开始今天的教程~ 目的
爬取王者荣耀官网所有英雄的高清皮肤海报 思路
1. 导包部署好环境
2. 伪装请求头
3. 访问英雄列表获取英雄ID
4. 分别访问各英雄主页查看图片详情
5. 写入本地文件夹文件夹自动命名 代码实现
1. 导包部署好环境
# 发送请求的模块 pip install requests
import requests
# 解析html代码的工具 lxml pip install lxml
from lxml import etree
import os
from time import sleep
2. 伪装请求头
# 伪装自己
headers {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36,# referer: https://pvp.qq.com/web201605/herolist.shtml
}hero_list_url https://pvp.qq.com/web201605/js/herolist.json
hero_list_resp requests.get(hero_list_url, headersheaders, verifyFalse)
3. 访问英雄列表获取英雄ID
for h in hero_list_resp.json():ename h.get(ename)cname h.get(cname)# 访问英雄主页hero_info_url fhttps://pvp.qq.com/web201605/herodetail/{ename}.shtmlhero_info_resp requests.get(hero_info_url, headersheaders)hero_info_resp.encoding gbke etree.HTML(hero_info_resp.text)
4. 分别访问各英雄主页查看图片详情 names e.xpath(//ul[classpic-pf-list pic-pf-list3]/data-imgname)[0]names [name[0:name.index()] for name in names.split(|)]# 发送请求 for i, n in enumerate(names):resp requests.get(fhttps://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{ename}/{ename}-bigskin-{i 1}.jpg,headersheaders)# 接收服务器响应的图片(皮肤)
5. 写入本地文件夹文件夹自动命名 # 保存图片(皮肤)if not os.path.exists(f./13_skins/{cname}):os.makedirs(f./13_skins/{cname})with open(f./13_skins/{cname}/{n}.jpg, wb) as f:f.write(resp.content)print(f已下载皮肤: {n})sleep(1) 完整源码
# 发送请求的模块 pip install requests
import requests
# 解析html代码的工具 lxml pip install lxml
from lxml import etree
import os
from time import sleep# 伪装自己
headers {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36,# referer: https://pvp.qq.com/web201605/herolist.shtml
}hero_list_url https://pvp.qq.com/web201605/js/herolist.json
hero_list_resp requests.get(hero_list_url, headersheaders, verifyFalse)
# print(hero_list_resp.json())
for h in hero_list_resp.json():ename h.get(ename)cname h.get(cname)# 访问英雄主页hero_info_url fhttps://pvp.qq.com/web201605/herodetail/{ename}.shtmlhero_info_resp requests.get(hero_info_url, headersheaders)hero_info_resp.encoding gbke etree.HTML(hero_info_resp.text)names e.xpath(//ul[classpic-pf-list pic-pf-list3]/data-imgname)[0]names [name[0:name.index()] for name in names.split(|)]# 发送请求 for i, n in enumerate(names):resp requests.get(fhttps://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{ename}/{ename}-bigskin-{i 1}.jpg,headersheaders)# 接收服务器响应的图片(皮肤)# 保存图片(皮肤)if not os.path.exists(f./13_skins/{cname}):os.makedirs(f./13_skins/{cname})with open(f./13_skins/{cname}/{n}.jpg, wb) as f:f.write(resp.content)print(f已下载皮肤: {n})sleep(1)运行效果 总结
今天我们学习了如何爬取王者荣耀官网高清皮肤海报下期想看什么内容欢迎在评论区留言或者私信UP~
