当前位置: 首页 > news >正文

怎么做带后台的网站h5页面设计是什么意思

怎么做带后台的网站,h5页面设计是什么意思,企业网站建设发展平台,推广网站的方法Python Scrapy如何实现多页数据爬取#xff1f; 发布时间#xff1a;2020-06-23 11:47:46 来源#xff1a;亿速云 阅读#xff1a;112 作者#xff1a;清晨 这篇文章将为大家详细讲解有关Python Scrapy如何实现多页数据爬取#xff1f;#xff0c;小编觉得挺实用的…Python Scrapy如何实现多页数据爬取 发布时间2020-06-23 11:47:46 来源亿速云 阅读112 作者清晨 这篇文章将为大家详细讲解有关Python Scrapy如何实现多页数据爬取小编觉得挺实用的因此分享给大家做个参考希望大家阅读完这篇文章后可以有所收获。 1.先指定通用模板url https://www.qiushibaike.com/text/page/%d/#通用的url模板 pageNum 1 2.对parse方法递归处理 parse第一次调用表示的是用来解析第一页对应页面中的数据 对后面的页码的数据要进行手动发送 if self.pageNum 5: self.pageNum 1 new_url format(self.url%self.pageNum) #手动请求(get)的发送 yield scrapy.Request(new_url,callbackself.parse) 完整示例 class QiubaiSpider(scrapy.Spider): name qiubai # allowed_domains [www.xxx.com] start_urls [https://www.qiushibaike.com/text/] url https://www.qiushibaike.com/text/page/%d/#通用的url模板 pageNum 1 #parse第一次调用表示的是用来解析第一页对应页面中的段子内容和作者 def parse(self, response): div_list response.xpath(//*[idcontent-left]/div) all_data [] for div in div_list: author div.xpath(./div[1]/a[2]/h3/text()).extract_first() content div.xpath(./a[1]/div/span//text()).extract() content .join(content) # 将解析的数据存储到item对象 item QiubaiproItem() item[author] author item[content] content # 将item提交给管道 yield item # item一定是提交给了优先级最高的管道类 if self.pageNum 5: self.pageNum 1 new_url format(self.url%self.pageNum) #手动请求(get)的发送 yield scrapy.Request(new_url,callbackself.parse) 关于Python Scrapy如何实现多页数据爬取就分享到这里了希望以上内容可以对大家有一定的帮助可以学到更多知识。如果觉得文章不错可以把它分享出去让更多的人看到。
http://www.sadfv.cn/news/16767/

相关文章:

  • 阿坝网站设计网站建设公司华网天下买2年送2年
  • 2021建站公司东莞建设网官
  • 专业平台建设网站关了吗给公司做网站多钱
  • 如何建设好高校网站郑州模板建站定制网站
  • 品牌网站的建设网站建设需要的技术手段
  • 垂直行业门户网站wordpress 设置网站目录权限
  • 企业网站seo策略做推广的注册什么公司好
  • 网站建设算什么服务类型简单网页设计模板代码
  • 江门网站建设推荐学做效果图网站有哪些
  • 北京建公司网站价格免费行情软件网站直播
  • 网站要有可留言功能 怎么做便宜的网站设计企业
  • 体育视频网站建设网站建设色
  • 怎么做单位网站视频拍摄方法有哪些
  • 网站 建设 拖拉 源码 系统深圳龙岗天气
  • 网站会员后台管理系统品牌建设规划制定情况
  • 沧州企业网站建设汽车网站开发思路
  • 摄影网站制作北京工程建设交易中心网站
  • 济南设计网站wordpress新浪微博
  • 网站ui设计师招聘软件开发技术方案
  • 包头市做网站哪个网站开发公司小程序开发
  • 长沙网页制作网站网站高转化页面
  • 铜川泰士公馆建设网站php做的静态网站怎么加密
  • 做中文网站公司wordpress通过电子邮件
  • 互联网金融p2p网站建设模板网站推广六种方法
  • 网站备案要求python做网站 jsp网站
  • 做内贸在哪些网站上找客户网站建设的概念
  • 中国没公司怎么做网站番禺人才网招聘网官网
  • wordpress 5.0.2编辑器大城网站优化
  • 国税局网站里打印设置如何做安卓软件定制开发
  • 网站建设接单技巧网站模式下做淘宝客