linxianda 16cb3bbb08 更新 'spider/README.md' | před 5 roky | |
---|---|---|
.. | ||
README.md | před 5 roky |
此爬虫为:大象代理 http://daxiangdaili.com/
爬虫购买是专业版:归安总管理
爬虫接口只需要一个 订单号。
接口地址:
http://pvt.daxiangdaili.com/ip/?tid
本地环境、测试环境:61.160.36.225
预发布环境、线上环境:61.160.36.226,管理后台CJMS,平台下
测试环境、没有后台守护进程在维护脚本、目前开发环境调用的接口可直接调用线上提供的api接口获取 可拍IP列表
@cronta
*/2 * * * * root echo "[`date+"\%F\%T"`]`/usr/local/php/bin/php/data/webapps/admin.ouj.com/protected/bin/spider/spider_calculate.php`" >> /tmp/spider_calculate.log &
1、大象代理接口获取
2、61.160.36.225:8000 一个 python 爬虫服务获取的免费IP
开源的爬虫脚本:
https://github.com/qiyeboy/IPProxyPool
225使用的是python2的脚本。
本地环境需要 sqlite3 ,Ubuntu:apt-get install sqlite3 ,centos:yum install sqlite-devel
要注意安装相关依赖