|
|
@@ -1 +1,33 @@
|
|
|
-#可视化爬虫
|
|
|
+#可视化爬虫
|
|
|
+------------
|
|
|
+### IP代理池
|
|
|
+
|
|
|
+```
|
|
|
+此爬虫为：大象代理 http://daxiangdaili.com/
|
|
|
+爬虫购买是专业版：归安总管理
|
|
|
+爬虫接口只需要一个 订单号。
|
|
|
+接口地址：
|
|
|
+http://pvt.daxiangdaili.com/ip/?tid
|
|
|
+```
|
|
|
+
|
|
|
+------------
|
|
|
++ base_services/cjms/protected
|
|
|
+ + bin/spider/ // 相关环境配置
|
|
|
+ * spider_calculate.php //获取代理IP的脚本
|
|
|
+ * 部署在 61.160.36.226 crontab 脚本自动运行
|
|
|
+ * 这里 之前有部分 java 抓取服务还在使用，所以有2个存储的 redis Key。
|
|
|
+ + controller
|
|
|
+ - SpiderController.php // 爬虫接口
|
|
|
+ * 提供爬虫获取接口、爬虫IP、剔除、IP可靠性记录、
|
|
|
+ * 调用方：可视化爬虫 Node.js 后台 爬虫进程。
|
|
|
+ * 爬虫队列分可靠爬虫 与 一般 爬虫。
|
|
|
+------------
|
|
|
+
|
|
|
+```
|
|
|
+
|
|
|
+```
|
|
|
+
|
|
|
+
|
|
|
+
|
|
|
+
|
|
|
+
|
