1.安装环境

apt-get update
apt-get install python3-pip
pip3 install requests

2.下载运行脚本

wget https://raw.githubusercontent.com/eqblog/91_porn_spider/master/91_spider.py
python3 91_spider.py

由于解析网址的问题,有时候会出现502的问题导致程序自己结束。所以可以使用supervisor来守护91_spider.py进程。不过supervisor并不直接支持python3,百度找到了一个简单的解决办法。

pip install virtualenv
virtualenv --distribute -p /usr/bin/python2 super 
cd super
source bin/activate
./bin/pip install supervisor
echo_supervisord_conf
echo_supervisord_conf > /etc/supervisord.conf

最后需要在/etc/supervisord.conf最后添加一条

[program:91]
command=python /root/91_spider.py

运行一下看看

supervisorctl restart 91

没问题的话退出virtulenv就可以了

deactivate 
Last modification:September 2, 2019
如果觉得我的文章对你有用,请随意赞赏