义乌公司网站制作,大三亚客户端下载,找大学生做网站要多少钱,wordpress投稿者权限功能#xff1a;爬取到页面中翻译后的文本数据
获取请求地址和请求方式
先输入dog翻译一下#xff0c;发现是Ajax请求(动态实时刷新页面)#xff0c;Ajax请求的数据包可以在网络的XHR中看到。找到输入dog的数据包#xff0c;通过标头的表单数据kw:dog以及响应的结果就可以…功能爬取到页面中翻译后的文本数据
获取请求地址和请求方式
先输入dog翻译一下发现是Ajax请求(动态实时刷新页面)Ajax请求的数据包可以在网络的XHR中看到。找到输入dog的数据包通过标头的表单数据kw:dog以及响应的结果就可以看到是这个数据包。在标头的常规中得到请求URL和请求方式(post),在响应头看到响应结果类型为json数据 如何判断是不是Ajax请求 动态实时刷新页面只要页面出现了新内容并且url没有发生改变就是Ajax请求。 完整代码
import requests
import json#伪装UA
header{User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36 Edg/91.0.864.48
}
wordinput(输入要翻译的单词)
#post请求参数处理(同get请求的param一样)
data{kw:word #通过标头的表单数据可看到
}
urlhttps://fanyi.baidu.com/sug
responserequests.post(urlurl,datadata,headersheader)#获取json数据,使用response.text的话得到的内容是字节序列
doc_objresponse.json()
print(doc_obj)
filenameword.json
with open(filename,w,encodingutf-8) as f:json.dump(doc_obj,f,ensure_asciiFalse) #第三个参数是因为中文不能使用ascii编码
print(获取翻译结果成功)
