#install 安装node相关依赖,node要求v8.0以上 ```bash npm install ``` 如果pupperteer安装出现问题,请参考如下 ```bash 安装 1.15.0 版本的 puppeteer 1.下载安装包 https://github.com/GoogleChrome/puppeteer/releases 2.这里的路径根据项目地址来 安装包解压到/data/webapps/test.spider.duowan.com/protected/node_modules目录下的puppeteer 3.进入puppeteer 执行: sudo npm install -d package.json 安装好依赖模块 sudo node install.js 安装puppeteer 服务(这个命令会自己安装chromium) 缺什么模块用 sudo npm install 模块名 ``` #config 配置项目 * 设置端口 /protected/conf/config.${env}.inc.js 其中 ${env} 是环境,分别为 dev-开发,form-正式 ```ini process.env.PORT = 端口号; ``` * 配置数据库 /protected/conf/config.${env}.inc.js ```js let dbInfo = {}; //数据库配置 dbInfo['Web'] = { host : '61.160.36.225', user : 'ojiatest', password : 'ojia305', database : 'Web', port : 3306, connectionLimit : 100 }; //redis配置 let redisInfo = {}; redisInfo['name_serv'] = { 'host' : '61.160.36.225', 'port' : 6405, 'pwd' : 'ojia123', 'db' : 1, 'connet_timeout' : 0 }; ``` **需要注意的是名字服务器发布后,会自动更新到 /protected/conf/conf_ns ,但是需要重启node进程,否则不会生效** * 代理 爬虫需要代理池,所有的代理ip获取都是通过访问 cjms 管理后台的接口:/protected/models/ProxyPool.js 1.获取ip列表:getXProxyList() 2.获取某个域名效果最好的代理:getXProxyBest(domain) 3.每次上报使用的代理好坏情况:reportProxy(domain, proxy, score)