专业电商网站,海外推广什么意思,wordpress 按销量,js获取网站html相信福利彩票大家都买过吧#xff0c;既然学爬虫为何不动手写个小程序抓一下呢#xff0c;说不定还能发现福彩的秘密#xff0c;本篇主要面向于对Python爬虫感兴趣的零基础的同学#xff0c;实例为中彩网的福利3D彩票#xff0c;比较有趣#xff0c;小伙伴们一起动手开始…相信福利彩票大家都买过吧既然学爬虫为何不动手写个小程序抓一下呢说不定还能发现福彩的秘密本篇主要面向于对Python爬虫感兴趣的零基础的同学实例为中彩网的福利3D彩票比较有趣小伙伴们一起动手开始吧。环境Windows XPPython :Python 2.7需要用到的库re,xlwt,urllib,collections1.分析网页链接1).首先,打开中彩网的福彩3D,查看3D开奖数据http://www.zhcw.com/3d/kaijiangshuju/index.shtml?type02).我们用chrome浏览器分析一下网站的结构和源码访问http://kaijiang.zhcw.com/zhcw/inc/3d/3d_wqhg.jsp跳转到http://kaijiang.zhcw.com/zhcw/html/3d/list.html经过观察和分析开奖数据链接很规律如下第一页http://kaijiang.zhcw.com/zhcw/html/3d/list_1.html最后一页http://kaijiang.zhcw.com/zhcw/html/3d/list_230.html3).页面分析结果经过对开奖数据页面分析总共有230页链接也很规律思路为从开奖数据页面抓取开奖日期、开奖期数及开奖号码等数据然后循环处理每一页最后将数据写入execl表格即可2.编写代码新手只要能达成目的即可思路就简单粗暴一点1).第一步准备食材食从何来与炒菜一个道理首先要准备食材要抓取到所有3D的开奖记录那么就要获取到所有开奖页面的html源码简单粗暴一点循环访问第1页到第230页将所有页面的html源码全部获取到示例代码如下输出的网站源码为:其实我们的彩票的数据都隐藏在上面这个源码html文件里面下面我们的主要工作就是解析html文件就可以啦2).第二步开火爆炒用get_3d_html()获取到的所有页面源码使用正则表达式从中提取到开奖等数据(开奖日期、开奖期号、开奖号码)代码如下观察开奖数据页面源码要获取的数据如下图红色框内的数据构造正则.?(.?).?(.?).?(.?).?(.?).?(.?)(u2017-08-23, u2017228, u5, u3, u5)(u2017-08-22, u2017227, u8, u8, u5)(u2017-08-21, u2017226, u9, u0, u3)(u2017-08-20, u2017225, u8, u0, u1)(u2017-08-19, u2017224, u2, u6, u5)(u2017-08-18, u2017223, u7, u7, u8)(u2017-08-17, u2017222, u7, u3, u1)(u2017-08-16, u2017221, u8, u5, u7)(u2017-08-15, u2017220, u2, u8, u7)(u2017-08-14, u2017219, u5, u1, u3)3.把数据写入表格中经过上面几步数据已经全部清洗完毕现在把抓取到的开奖数据保存进excel表格中吧利用xlwt模块生产一个表格对象(关于xlwt的用法可以看历史文章关于Excel表格如何处理|这篇最用心)先写一个表格的头部标题接着循环把获取的数据全部写入表格最后保存数据4.找出福彩3d的秘密上面的代码还有2页的数据现在我们把页面从range(1,3)改成range(1,22),获取全年的数据然后分析一下看看数字背后的秘密:1.最频繁出现的数字1).找出全年数字出现频率最高的3个数字2).找出百位数出现频率最高的3个数字3).找出十位数出现频率最高的3个数字4).找出个位数出现频率最高的3个数字全年最火的3个数字: 8 3 9Most popular nums: [(u8, 137), (u3, 136), (u9, 136)]百位数最火的3个数字:3 8 1Top3 in hundreds place: [(u3, 55), (u8, 50), (u1, 45)]十位数最火的3个数字:7,9,5Top3 in ten place: [(u7, 50), (u9, 47), (u5, 45)]个位数最火的3个数字:9,5,8Top3 in single place: [(u9, 57), (u5, 46), (u8, 46)]2.每期出现重复数字的概率利用set()简单的统计一下就可以了发现Python分析数据简直太方便了全年有133次出现重复数字,近三分之一的概率133Duplicate num percent:31.67%需要源码关注转发加我QQ“2507666028”即可找小编获取源码。
