北京网站建设公司房山华网,软件ui设计教程,昆明网站关键词优化,南宁建设信息网站爬取二手车并将数据保存在数据库中 查看网页结构分析爬取步骤解密加密信息将密文解密代码#xff1a; 进行爬取#xff1a;爬取函数写入解密文件函数和获取城市函数解密文件#xff0c;返回正确字符串函数保存到数据库 运行结果 查看网页结构分析爬取步骤
可以看出网页使用… 爬取二手车并将数据保存在数据库中 查看网页结构分析爬取步骤解密加密信息将密文解密代码 进行爬取爬取函数写入解密文件函数和获取城市函数解密文件返回正确字符串函数保存到数据库 运行结果 查看网页结构分析爬取步骤
可以看出网页使用了一定的加密 找到城市所在的位置为之后的城市循环提供方便
解密加密信息
在加密信息的class元素可以看到加密的文件名称 在source下面可以看到此文件 是一个woff文件 这个woff文件每天都会变化 我们可以在主页中的head下的style下面找到这个woff文件的url链接此后我们爬取页面时每次都爬一下这个woff文件并且保存下来就可以避免数据错误
将密文解密代码 # 读取加密文件进行密令转换tf TTFont(./trans.woff)# 可以打印看一下tf.getGlyphOrder()是什么东西num_list tf.getGlyphOrder()[1:]num_dict {zero: 0, one: 1, two: 2,three: 3, four: 4, five: 5,six: 6, seven: 7, eight: 8,nine: 9}albnum_list [num_dict[i] for i in num_list]# 密令转换列表new_string for i in old_str:if i.isdigit():char albnum_list.index(int(i))new_string str(char)else:new_string ireturn new_string进行爬取
爬取函数
def spider_data(url,driver,conn,cur):# 访问汽车信息页面driver.get(url)li_list driver.find_elements(By.XPATH,//ul[class row-fluid list-row js-car-list]/li)print(li_list)print(开始获取每一个汽车的信息)for li in li_list:# 如果这个页面不为空则进行trytry:# 找到汽车信息所在的位置car_info str_tran(li.find_element(By.XPATH,a/h3).text)car_year_mile li.find_element(By.XPATH, a/div[classmileage]/span).textcar_year datetime.strptime(str_tran(car_year_mile).split(/)[0],%Y年%m月).date()car_mile re.match((.*?)万,str_tran(car_year_mile).split(/)[1]).group(1)car_price_total li.find_element(By.XPATH, a/div[classtags-box]/div).textcar_price_total re.match((.?)万,car_price_total).group(1)try: # 如果有首付价格则进行trycar_price_pyment li.find_element(By.XPATH, a//div[classdown-payment]/div).textexcept Exception as e: # 没有首付价格 则首付价格等于车价car_price_pyment car_price_totalprint(car_info,car_year,car_mile,car_price_total,car_price_pyment)# 保存到数据库中store_data(car_info,car_year,car_mile,car_price_total,car_price_pyment,conn,cur)# 页面为空则报告错误 接着下一个汽车信息的爬取except Exception as e:print(********************error****************)print(*********************广告*****************)写入解密文件函数和获取城市函数
# 获取城市拼音 和 解密的信息列表
def get_city_name(driver):password_code []city_code []# 先访问一次页面driver.get(https://www.renrenche.com/hf/ershouche/p1)# 找到城市的标签所在位置div_list driver.find_elements(By.XPATH,//div[classarea-city-letter]/div)# 将城市的拼音全部保存到一个列表中for div in div_list:a_list div.find_elements(By.XPATH,a)for a in a_list:city_code.append(a.get_attribute(rrc-event-name))# 找到密文所在htm中的位置在style中 获取style标签下的元素内容的方法如下url_str driver.find_element(By.XPATH,//style[1]).get_attribute(textContent)# 匹配获取woff加密文件的urlwoff_url re.match([\s\S]?url\(\(.*?.woff)\, url_str).group(1)# 使用requests请求 将文件用二进制的方式保存下来response requests.get(woff_url,headers{user-agent: fake_useragent.UserAgent().random})re_cont response.contentwith open(./trans.woff, wb) as fp:fp.write(re_cont)# 返回城市的拼音return city_code解密文件返回正确字符串函数
# 读取woff文件 然后进行将错误的字符串转化成为正确的字符串
def str_tran(old_str):# 读取加密文件进行密令转换tf TTFont(./trans.woff)num_list tf.getGlyphOrder()[1:]num_dict {zero: 0, one: 1, two: 2,three: 3, four: 4, five: 5,six: 6, seven: 7, eight: 8,nine: 9}albnum_list [num_dict[i] for i in num_list]# 密令转换列表new_string for i in old_str:if i.isdigit():char albnum_list.index(int(i))new_string str(char)else:new_string ireturn new_string保存到数据库
def store_data(car_info,car_year,car_mile,car_price_total,car_price_pyment,conn,cur):number 0insert_sql finsert into car_info() values({number},{car_info},{car_year},{car_mile},{car_price_total},{car_price_pyment})try:cur.execute(insert_sql)except Exception as e:conn.rollback()conn.commit()print(插入数据库完成)运行结果
