好听的网络公司名称,泰州网站建设方案优化,甘肃兰州旅游攻略,网站后台系统在爬虫开发时#xff0c;我们时常会遇到各种BUG各种问题#xff0c;下面是我初步汇总的一些报错和解决方案。在以后的学习中#xff0c;如果遇到其他问题#xff0c;我也会在这里进行更新。各位如有什么补充#xff0c;欢迎评论区留言~~~问题#xff1a;IP被封#xff0…在爬虫开发时我们时常会遇到各种BUG各种问题下面是我初步汇总的一些报错和解决方案。在以后的学习中如果遇到其他问题我也会在这里进行更新。各位如有什么补充欢迎评论区留言~~~问题IP被封或者因访问频率太高被拦截解决方案之一使用代理IP即可。问题正确使用XPath之后并没有输出解决方案之一XPath只能提取未注释的代码改用正则表达式即可。问题容易被反爬搞死解决方案之一headers中都要带上User-Agent而Cookie能不带则不带。报错UTF-8不能处理字节解决方案之一在headers中加入Cookie即可输出正常的HTML。报错‘ gbk ’不能处理‘ \xa0 ’ 解决方案之一with open(%s.html % title, w, encodingutf-8) as f:f.write(rep)问题输出结果是字节类型json对象无法正常显示解决方案之一使用json.loads方法即可。问题url https://tieba.baidu.com/f?kw%E8%8B%B1%E9%9B%84%E8%81%94%E7%9B%9Fieutf-8pn0网址复制到py文件中却变成了“乱码”解决方案之一调用urllib.parse.unquote进行URL解码即可。问题URL地址不规范解决方案之一分析URL时我们一般从第二页开始分析而不是第一页。问题不想Cookie中携带自身账号内容解决方案之一利用浏览器的无痕窗口功能进入网页再取Cookie即可。报错解决方案之一报错解决方案之一未完待续哦~~~~为我心爱的女孩~~
