这篇文章主要介绍node.js如何抓取代理ip，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！
成都创新互联专注于企业全网整合营销推广、网站重做改版、白沙黎族网站定制设计、自适应品牌网站建设、H5响应式网站、电子商务商城网站建设、集团公司官网建设、外贸网站制作、高端网站制作、响应式网页设计等建站业务，价格优惠性价比高，为白沙黎族等各大城市提供网站开发制作服务。
node.js实现抓取代理ip
主要文件：index.js
/*
* 支持：node.js v7.9.0
*/
const cheerio=require('cheerio');
const fetch =require('node-fetch');
const Promise=require('bluebird');
let mongoose=require('mongoose');
Promise.promisifyAll(mongoose);
let Schema=mongoose.Schema;
mongoose.connect('MongoDB://localhost:27017/ipproxypool');
let IPpool=new Schema({
ip:{type:String,unique:true}
})
let Ipproxy=mongoose.model('IP',IPpool);
function fetchUrl(url){
fetch(url,{
method:'get',
headers:{
}
})
.then(res=>res.text())
.then(body=>{
let $=cheerio.load(body);
let length=$('#list table tbody').find('tr').length;
for (let i=0;i包支持 ： package.json
{
"name": "demo-4-ipproxypool",
"version": "1.0.0",
"description": "",
"main": "index.js",
"scripts": {
"test": "echo \"Error: no test specified\" && exit 1"
},
"author": "false-l",
"license": "",
"devDependencies": {
"babel-preset-es2015": "^6.24.1",
"babel-preset-react": "^6.24.1",
"babel-preset-stage-3": "^6.24.1"
},
"dependencies": {
"babel-core": "^6.24.1",
"bluebird": "^3.5.0",
"cheerio": "^0.22.0",
"koa": "^2.2.0",
"koa-router": "^7.1.1",
"mongoose": "^4.9.6",
"node-fetch": "^1.6.3"
}
}本地需要安装mongodb数据库,用于存储抓取到的ip，目前还未实现ip验证。写这个主要是处于好奇。
上面的代码就可以实现抓取ip代理网站的ip并存到mongodb数据库中。
下面在放出一个基于koa2的api接口的简易服务器实现
server
const Promise=require('bluebird');
let mongoose=require('mongoose');
const koa=require('koa');
const app=new koa();
var router = require('koa-router')();
Promise.promisifyAll(mongoose);
let Schema=mongoose.Schema;
mongoose.connect('mongodb://localhost:27017/ipproxypool');
let IPpool=new Schema({
ip:{type:String,unique:true}
})
let Ipproxy=mongoose.model('IP',IPpool);
app.use(async (ctx, next) => {
await next();
var data=await Ipproxy.find({},function(err,ips){
var ipmap=[];
ips.forEach(function(ip){
ipmap[ip._id]=ip;
//console.log(ip)
});
})
var map=data.map(ip=>ip.ip);
ctx.response.type = 'text/json';
ctx.response.body = map;
});
app.listen(3000);
console.log('server listen:3000')至于为什么既有promise又有async，是因为对异步语法还不是很熟，怎么会怎么写了。
使用方式：
根据package.json
npm install // 安装支持
node index.js //获取代理 ip
node server.js //运行简易ip接口
以上是“node.js如何抓取代理ip”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注创新互联行业资讯频道！
本文名称：node.js如何抓取代理ip
本文网址：http://cdkjz.cn/article/iecsgi.html
