dwcrawl/spider

#可视化爬虫

IP代理池

此爬虫为：大象代理 http://daxiangdaili.com/
爬虫购买是专业版：归安总管理
爬虫接口只需要一个 订单号。
接口地址：
http://pvt.daxiangdaili.com/ip/?tid
![代理的参数](http://screenshot.dwstatic.com/ojiastoreimage/07faa12eab01fd5fac3190e835bf837a_size1055x813_len83610.png)

---

• base_services/cjms/protected

  • bin/spider/ // 相关环境配置
    • spider_calculate.php //获取代理IP的脚本
      • 部署在 61.160.36.226 crontab 脚本自动运行
      • 这里 之前有部分 java 抓取服务还在使用，所以有2个存储的 redis Key。

  • controller

    • SpiderController.php // 爬虫接口
    • 提供爬虫获取接口、爬虫IP、剔除、IP可靠性记录、
    • 调用方：可视化爬虫 Node.js 后台 爬虫进程。

    • 爬虫队列分可靠爬虫 与 一般 爬虫。

      
      ![流程图](http://screenshot.dwstatic.com/ojiastoreimage/ead33b711c8bfb195ba640474805d823_size839x803_len120532.jpg)