资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

golang如何实现抓取IP地址的蜘蛛程序详解-创新互联

背景

站在用户的角度思考问题,与客户深入沟通,找到寿阳网站设计与寿阳网站推广的解决方案,凭借多年的经验,让设计与互联网技术结合,创造个性化、用户体验好的作品,建站类型包括:网站建设、成都网站建设、企业官网、英文网站、手机端网站、网站推广、主机域名网站空间、企业邮箱。业务覆盖寿阳地区。

要做IP地址归属地查询,量比较大,所以想先从网上找到大部分的分配数据,写个蜘蛛程序来抓取入库,以后在程序的运行中不断进行维护、更新、完善。

一些关键点

  • goroutine的使用,让程序并行运行。
  • 正则表达式分组信息提取的使用,正确的提取我们关注的信息。
  • 数据库批量插入操作。
  • 数据库批量更新操作。

代码解析

按功能模块对核心代码进行说明

ip.go

主进程,实现goroutine的调用。

func main() {
 //利用go基本库封装的网页抓取函数,后面有说明
 ctx := common.HttpGet("http://ips.chacuo.net/") 
 //正则表达式,有两个分组(两组小括号),分别取城市信息与url,具体分析代码后面有说明
 reg := regexp.MustCompile(`
  • ([^<]+?)
  • `) //取得页面上所有的城市及相应url ips := reg.FindAllStringSubmatch(string(ctx), -1) ch := make(chan string) //建立无缓冲字符串通道 for _, el := range ips { //一个协程处理一个具体页面 go ipSpider.SpiderOnPage(el[1], el[2], ch) } for range ips { //阻塞等待所有抓取工作全部完成 fmt.Println(<-ch) } }

    另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


    分享题目:golang如何实现抓取IP地址的蜘蛛程序详解-创新互联
    本文路径:http://cdkjz.cn/article/dphoec.html
    多年建站经验

    多一份参考,总有益处

    联系快上网,免费获得专属《策划方案》及报价

    咨询相关问题或预约面谈,可以通过以下方式与我们联系

    大客户专线   成都:13518219792   座机:028-86922220