go爬虫技术用什么语言 go写爬虫 效率python

go语言 python ruby，这三个怎么选择

这选择显然是因人而异的。。至于怎么选，要看你是初学者，还是老手？。。对性能有要求，还是没要求？

我们注重客户提出的每个要求，我们充分考虑每一个细节，我们积极的做好成都做网站、成都网站建设服务，我们努力开拓更好的视野，通过不懈的努力，创新互联赢得了业内的良好声誉，这一切，也不断的激励着我们更好的服务客户。 主要业务：网站建设,网站制作,网站设计,微信平台小程序开发,网站开发,技术开发实力，DIV+CSS，PHP及ASP，ASP.Net，SQL数据库的技术开发工程师。

如果是完全没有基础，我建议哪个都不选，如果非要选一个，那就选PYTHON。。如果你是初学者，把网上的教程看个遍，再买上几本书。。。你所学会的也仅仅是语法，而根本不会编程。。。因为这些教程，也仅仅是教你语法，而没有教你编程。。你甚至把网上的教程看个精光，却连个最基本的OA系统都做不出来。。。只能在一个黑乎乎的控制台上，打印一堆破字符。。

-------网上的所有教程都会教你的：

怎么定义一个变量？怎么在控制台打印变量？

怎么写一个循环？怎么在控制台打印一堆变量？

怎么写一个函数？怎么在控制台打印返回值？

怎么创建一个对象？怎么在控制台打印对象属性？

------高级一点的教程，会教你的:

怎么用PYTHON的模块，写一个爬虫？

怎么用RUBY的ROR框架，获取一个表单？

怎么用GO的beego，写一个博客？

-------而这些的教程，从来不教你的：

面向对象有什么用？ 委托是什么？事件是什么？ 工厂模式，单例模式，观察者模式，这些都是啥？套接字是啥？UDP是啥？TCP/IP是啥？二叉树是什么玩意？状态机又是什么玩意？啥叫逆变？啥叫协变？啥叫异步？啥叫反射？

---------------------------------------------------------------------------------------------

如果一套教程，要把这些都讲明白。。。可能需要上千集。。。所以这些教程，都跳过了这些内容。。但如果你不明白这些，就根本学不会编程。。。如果你打算学一门语言，而手上只有几十集教程，外加三五本书。。。那你只能学会玩控制台。。。

所以初学者选择一门语言，首先要保证这门语言作为主要开发语言，常年被公司使用，这样才能真正学会编程。然而这三门语言都不具备这样的特点。它们通常都是被当成第二语言，做一些辅助开发的工作。其中Python只在极少数情况下，才被用来作为主要开发语言。至于Go与Ruby，我目前还没听说过它们有被当作主要开发语言的例子。我所推荐的是从C#和JAVA两者之间，二选一。。。学精其中一门之后，再来考虑PYTHON或GO作为第二语言。。。不然无论你选哪个，都几乎不可能靠一门语言找到工作。

为什么都说爬虫PYTHON好

选择Python作为实现爬虫的语言，其主要考虑因素在于：

(1) 抓取网页本身的接口

相比其他动态脚本语言(如Perl、Shell)，Python的urllib2包提供了较为完整的访问网页文档的API;相比与其他静态编程语言(如Java、C#、C++)，Python抓取网页文档的接口更简洁。

此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这时我们需要模拟User Agent的行为构造合适的请求，譬如模拟用户登录、模拟Session/Cookie的存储和设置。在Python里都有非常优秀的第三方包帮你搞定，如Requests或Mechanize。

(2) 网页抓取后的处理

抓取的网页通常需要处理，比如过滤Html标签，提取文本等。Python的Beautiful Soup提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。

其实以上功能很多语言和工具都能做，但是用Python能够干得最快、最干净，正如这句“Life is short，you need Python”。

(3) 开发效率高

因为爬虫的具体代码根据网站不同而修改的，而Python这种灵活的脚本语言特别适合这种任务。

(4) 上手快

网络上Python的教学资源很多，便于大家学习，出现问题也很容易找到相关资料。另外，Python还有强大的成熟爬虫框架的支持，比如Scrapy。

go写的爬虫相比python写的有哪些优势

Go没有泄露，并发原生支持，速度快。Python如果用代理IP，如果代理IP失效，会莫名其妙使用本地IP。且Go写爬虫可以和很多的数据库如mongo,redis,hbase,mysql集成。

Go开发效率还高，半个小时就写了个爬虫，看，写分布式爬虫也是Go的优势，因为Go协程比Python和Java都容易写。

最后，如果你用Go写爬虫，还可以直接用Go来写网站，三句代码就可以建立一个Web服务器和Python差不多，但包管理机制简单，只需go get –u –v 包

go是什么编程语言？主要应用于哪些方面？

Go语言由Google公司开发，并于2009年开源，相比Java/Python/C等语言，Go尤其擅长并发编程，性能堪比C语言，开发效率肩比Python，被誉为“21世纪的C语言”。

Go语言在云计算、大数据、微服务、高并发领域应用应用非常广泛。BAT大厂正在把Go作为新项目开发的首选语言。

Go语言能干什么?

1、服务端开发：以前你使用C或者C++做的那些事情，用Go来做很合适，例如日志处理、文件系统、监控系统等;

2、DevOps：运维生态中的Docker、K8s、prometheus、grafana、open-falcon等都是使用Go语言开发;

3、网络编程：大量优秀的Web框架如Echo、Gin、Iris、beego等，而且Go内置的 net/http包十分的优秀;

4、Paas云平台领域：Kubernetes和Docker Swarm等;

5、分布式存储领域：etcd、Groupcache、TiDB、Cockroachdb、Influxdb等;

6、区块链领域：区块链里面有两个明星项目以太坊和fabric都使用Go语言;

7、容器虚拟化：大名鼎鼎的Docker就是使用Go语言实现的;

8、爬虫及大数据：Go语言天生支持并发，所以十分适合编写分布式爬虫及大数据处理。