建立网站的英文短语,旅游网站怎么自己做,个人做网站好吗,wordpress提交新字段到表proxy_pool开源项目攻克学习2#xff1a;服务器架设
在这个文章proxy_pool开源项目攻克学习中#xff0c;我们完成了本地的proxy_pool架设。现在我们将他转移到服务器上。
硬件环境准备
腾讯centos服务器。
软件环境准备
redispython3.7proxy_pool开源项目
安装过程
总…proxy_pool开源项目攻克学习2服务器架设
在这个文章proxy_pool开源项目攻克学习中我们完成了本地的proxy_pool架设。现在我们将他转移到服务器上。
硬件环境准备
腾讯centos服务器。
软件环境准备
redispython3.7proxy_pool开源项目
安装过程
总结安装Proxy_pool的顺序过程 准备环境 python环境 redis服务器 下载安装开源代码 安装开源代码的依赖 配置setting 启动proxy_pool
step1. 准备环境
redis安装在centos上使用
yum install redis 安装完成后配置路径在
/etc/redis.confpython安装参考linux环境下安装多个任意版本的python环境
step2. 安装proxy_pool开源代码
网址 https://github.com/jhao104/proxy_pool
git clone https://github.com/jhao104/proxy_pool.git
cd proxy_pool
pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/
# 这里一定要升级一下flask否则后续一定会报错
pip3 install Flask2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple/step3. 配置redis
配置
vim /etc/redis.conf# 找到requirepass 去掉注释设置密码
requirepass 123456
# 找到daemonize 去掉注释改为yes设置守护线程
daemonize yes在Linux上如果开了redis的守护进程kill -9和redis-cli shutdown 命令是无法杀掉 redis 进程的 杀掉就会重新启动一个新的进程
最后在网上找到这个命令可以杀掉redis的守护线程 /etc/init.d/redis-server stop 启动和验证
# 若命令直接返回说明守护线程已经开启
redis-server /etc/redis.conf#测试 返回PONG说明启动成功
redis-cli127.0.0.16379 auth 123456
127.0.0.16379 ping
PONGstep4. 配置setting.py
HOST 不用改PORT也可以不用改这是你flask打开的默认地址
数据库需要改一下pwd改成你刚才设置的123456或者你自己设置的值。
端口改成6379。因为我们没有改redis-server的地址。
其他的不用动。然后再启动python脚本。
# setting.py 为项目配置文件# 配置API服务HOST 0.0.0.0 # IP
PORT 5000 # 监听端口# 配置数据库DB_CONN redis://:pwd127.0.0.1:8888/0# 配置 ProxyFetcherPROXY_FETCHER [freeProxy01, # 这里是启用的代理抓取方法名所有fetch方法位于fetcher/proxyFetcher.pyfreeProxy02,# ....
]step5. 后台启动python脚本
nohup python -u proxyPool.py schedule schedule.log 21
nohup python -u proxyPool.py server server.log 21 ps -ef | grep python
这样以后就可以关闭终端而保持进程在运行了。
step6. 问题与解决
python安装问题请参考linux环境下安装多个任意版本的python环境 开源项目问题或redis问题请参考proxy_pool开源项目攻克学习
