1.安装环境
apt-get update
apt-get install python3-pip
pip3 install requests
2.下载运行脚本
wget https://raw.githubusercontent.com/eqblog/91_porn_spider/master/91_spider.py
python3 91_spider.py
由于解析网址的问题,有时候会出现502的问题导致程序自己结束。所以可以使用supervisor来守护91_spider.py进程。不过supervisor并不直接支持python3,百度找到了一个简单的解决办法。
pip install virtualenv
virtualenv --distribute -p /usr/bin/python2 super
cd super
source bin/activate
./bin/pip install supervisor
echo_supervisord_conf
echo_supervisord_conf > /etc/supervisord.conf
最后需要在/etc/supervisord.conf最后添加一条
[program:91]
command=python /root/91_spider.py
运行一下看看
supervisorctl restart 91
没问题的话退出virtulenv就可以了
deactivate