上海的网站建设公司,班级建设网站首页,网站 68,怎样成立一个网站你好由于你是游客无法查看本文请你登录再进谢谢合作当你在爬某些网站的时候需要你登录才可以获取数据咋整#xff1f;莫慌小帅b把这几招传授给你让你以后从容应对那么接下来就是学习 python 的正确姿势登录的常见方法无非是这两种1、让你输入帐号和密码登录2、让你输入帐号密码… 你好由于你是游客无法查看本文请你登录再进谢谢合作当你在爬某些网站的时候需要你登录才可以获取数据咋整莫慌小帅b把这几招传授给你让你以后从容应对那么接下来就是学习 python 的正确姿势登录的常见方法无非是这两种1、让你输入帐号和密码登录2、让你输入帐号密码验证码登录今天小帅b先跟你说说第一种需要验证码的咱们下一篇再讲第一招Cookie大法你平常在上某个不为人知的网站的时候是不是发现你只要登录一次就可以一直看到你想要的内容过了一阵子才需要再次登录这就是因为 Cookie 在做怪简单来说就是每一个使用这个网站的人服务器都会给他一个 Cookie那么下次你再请求数据的时候你顺带把这个 Cookie 传过去服务器一看诶小伙子是老客户啊有登录过直接返回数据给他吧在服务中还可以设置 Cookie 的有效时间也就是说当你下次携带一个过期了的 Cookie 给服务器的时候服务器虽然知道你是老客户但是还是需要你重新再登录一次然后再给你一个有效的 CookieCookie 的时长周期是服务器那边定的ok了解了这一点之后我们就来玩一下吧我们以「逼乎」为例https://biihu.cc/account/login/输入地址之后按一下 F12点击 network 标签然后登录你的帐号然后点击其中一个你就可以看到在 Request Headers 有你的 Cookie有了 Cookie 之后我们在代码中直接获取我的个人信息import requestsheaders { # 假装自己是浏览器 User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/73.0.3683.75 Chrome/73.0.3683.75 Safari/537.36, # 把你刚刚拿到的Cookie塞进来 Cookie: eda38d470a662ef3606390ac3b84b86f9; Hm_lvt_f1d3b035c559e31c390733e79e0807361553503899; biihu__user_loginomvZVatKKSlcXbJGmXXew9BmqediJ4lzNoYGzLQjTR%2Fjw1wOz3o4lIacanmcNncX1PsRne5tXpE9r1sqrkdhAYQrugGVfaBICYp8BAQ7yBKnMpAwicq7pZgQ2pg38ZzFyEZVUvOvFHYj3cChZFEWqQ%3D%3D; Hm_lpvt_f1d3b035c559e31c390733e79e0807361553505597,}session requests.Session()response session.get(https://biihu.cc/people/wistbean%E7%9C%9F%E7%89%B9%E4%B9%88%E5%B8%85, headersheaders)print(response.text)运行后可以发现不用登录就可以直接拿到自己的个人信息了htmlheadmeta contenttext/html;charsetutf-8 http-equivContent-Type /meta contentwidthdevice-width, initial-scale1.0, maximum-scale1.0, user-scalableno nameviewport /meta http-equivX-UA-Compatible contentIEedge,Chrome1 /meta namerenderer contentwebkit /title小帅b真特么帅 的个人主页 - 逼乎titlemeta namekeywords content逼乎,问答,装逼,逼乎网站 /meta namedescription content逼乎 与世界分享你的装逼技巧与见解 /base hrefhttps://biihu.cc/ /link relstylesheet typetext/css hrefhttps://biihu.cc/static/css/bootstrap.css /link relstylesheet typetext/css hrefhttps://biihu.cc/static/css/icon.css /link hrefhttps://biihu.cc/static/css/default/common.css?v20180831 relstylesheet typetext/css /link hrefhttps://biihu.cc/static/css/default/link.css?v20180831 relstylesheet typetext/css /link hrefhttps://biihu.cc/static/js/plug_module/style.css?v20180831 relstylesheet typetext/css /link hrefhttps://biihu.cc/static/css/default/user.css?v20180831 relstylesheet typetext/css /link hrefhttps://biihu.cc/static/css/mood/mood.css relstylesheet typetext/css /script typetext/javascript var _02AEC94D5CA08B39FC0E1F7CC220F9B4a5359326797de302bfc9aa6302c001b8; var G_POST_HASH_02AEC94D5CA08B39FC0E1F7CC220F9B4; var G_INDEX_SCRIPT ; var G_SITE_NAME 逼乎; var G_BASE_URL https://biihu.cc; var G_STATIC_URL https://biihu.cc/static; var G_UPLOAD_URL /uploads; var G_USER_ID 188; var G_USER_NAME 小帅b真特么帅; var G_UPLOAD_ENABLE Y; var G_UNREAD_NOTIFICATION 0; var G_NOTIFICATION_INTERVAL 100000; var G_CAN_CREATE_TOPIC 1; var G_ADVANCED_EDITOR_ENABLE Y; var FILE_TYPES jpg,jpeg,png,gif,zip,doc,docx,rar,pdf,psd;scriptscript srchttps://biihu.cc/static/js/jquery.2.js?v20180831 typetext/javascriptscript....第二招表单请求大法很简单就是通过抓包获取请求登录的时候需要用到的用户名密码参数然后以表单的形式请求服务器如果你细心一点的话应该会知道之前说过拉具体在这去看下我就不多说了python爬虫03那个叫做 Urllib 的库让我们的 python 假装是浏览器第三招Selenium 自动登录法你应该看过这两个python爬虫09 | 上来自己动 这就是 selenium 的牛逼之处python爬虫11 | 这次将带你爬取b站上的NBA形象大使蔡徐坤和他的球友们看过的话那么对于你来说Selenium 自动登录也太 tm 简单了吧获取到两个输入框的元素再获取到登录按钮往输入框写你的帐号密码然后自动点击一下登录username WAIT.until(EC.presence_of_element_located((By.CSS_SELECTOR, 帐号的selector)))password WAIT.until(EC.presence_of_element_located((By.CSS_SELECTOR, 密码的selector)))submit WAIT.until(EC.element_to_be_clickable((By.XPATH, 按钮的xpath)))username.send_keys(你的帐号)password.send_keys(你的密码)submit.click()登录完之后拿到 Cookiecookies webdriver.get_cookies()有了 Cookie 你就可以拿到你想要的数据了ok以上这三招希望对你有帮助咱们下一篇说说验证码相关下回见peace帅b老仙法力无边(你想约我么)点个在看继续发力
