go语言10万并发 go语言并发编程实战

Go CSP并发模型

Go的CSP并发模型

十余年的东兰网站建设经验，针对设计、前端、开发、售后、文案、推广等六对一服务，响应快，48小时及时工作处理。营销型网站的优势是能够根据用户设备显示端的尺寸不同，自动调整东兰建站的显示方式，使网站能够适用不同显示终端，在浏览器中调整网站的宽度，无论在任何一种浏览器上浏览网站，都能展现优雅布局与设计，从而大程度地提升浏览体验。创新互联从事“东兰网站设计”,“东兰网站推广”以来，每个客户项目都认真落实执行。

Go实现了两种并发形式。第一种是大家普遍认知的：多线程共享内存。其实就是Java或者C++等语言中的多线程开发。另外一种是Go语言特有的，也是Go语言推荐的：CSP（communicating sequential processes）并发模型。

CSP 是 Communicating Sequential Process 的简称，中文可以叫做通信顺序进程，是一种并发编程模型，由 Tony Hoare 于 1977 年提出。简单来说，CSP 模型由并发执行的实体（线程或者进程）所组成，实体之间通过发送消息进行通信，这里发送消息时使用的就是通道，或者叫 channel。CSP 模型的关键是关注 channel，而不关注发送消息的实体。 Go 语言实现了 CSP 部分理论 。

“ 不要以共享内存的方式来通信，相反， 要通过通信来共享内存。”

Go的CSP并发模型，是通过 goroutine和channel 来实现的。

goroutine 是Go语言中并发的执行单位。其实就是协程。

channel是Go语言中各个并发结构体(goroutine)之前的通信机制。 通俗的讲，就是各个goroutine之间通信的”管道“，有点类似于Linux中的管道。

Channel

Goroutine

Go语言能在中国这么火是因为什么？

go语言之所以能成为我国最火的语言，是因为编写服务端高并发程序的优势。我大中华区但凡pv，日活高点的网站，应用，谁没点这个需求。这个领域中最优的几个:golang,erlang,rust。日常生活中人类社交是当今社会上的必然性，人们也伴随着科技时代的发展，智能电子产品的使用中也必然少不了语言输入，文字的编辑，语言转换的便利都均可来源于go语音输入法。

国内大学本科教育，哪个学校不以c/c++为入门教学语言。都十几年了，谭浩强还在大卖。语法相近的语言总是学习和使用成本最低的。这一点非常重要。coursera上有一门程序设计语言理论课上，开篇就阐述了这一点的重要性。假设go的入门成本是一个月，erlang的入门成本是2个月，那么整个程序员群体在学习后者的付出成本就很可观了。

google由于众所周知的原因，在国内程序员中不一般的地位。golang有个好背景。

go语言之前一直都没有接受待见，如今广大的群众开始接待，因为腾讯服务器段代码编译是支持go语言的

go语言会成为主流也是一个问题，

多虑了，没有竞争来关系。

虽然go成为源了世界上最并发的语言，这并不妨碍php成为世界上最好的语言，

也不妨碍java成为世界上最有模式的语言，

更不会妨碍c++成为21天就能学会了的语言。为什么Go语言如此不受待见

其实并没有不受待见，用的人还是很多的，解决一些特定领域的问题也很方便。

每种语言的流行程度主要取决于这个语言最著名的killerapp的流行程度，C有Linux，Go有Docker。

linux运维工程师工作内容？

1.6 Linux运维岗位及工作内容

互联网Linux运维工程师是一个融合多学科(网络、系统、开发、数据库、安全、存储等)的综合性技术岗位，甚至还需要沟通、为人处世、培训、销售、管理等非技术能力，这给运维工程师提供了一个广阔的发展空间。

1.数据安全

2.不宕机

3.服务质量

1.6.1 Linux运维工程师岗位职责

一般从企业入门到中级Linux运维工程师的工作大致有：

□挑选IDC机房及带宽、购买物理服务器。

□购买云服务及CDN服务相关。

□搭建部署压力测试和正式的业务系统运行环境(例如:网站运行环境)。

□负责日常项目或业务代码上线、故障排除、代码回滚等。

□对企业数据进行备份及故障恢复、处理网站运行中的各种故障（例如：硬件故障、软件故障、服务故障、数据损坏及丢失等）。

□对网站的运行状态及故障进行监控、提前解决网站运行的潜在安全问题。

□开发自动化程序（shell、python）或平台提高工作效率。

□根据访问量增加，提前规划和升级网站集群架构，根据公司需求增加业务应用。

□程序发布流程和规范，制定运维工作制度和规范。

□配合开发人员部署及调试产品研发需要的测试环境、代码发布等工作需求。

□公司如果较小可能还会兼职网管、网络工程师、数据库管理员、安全工程师、技术支持等职责。

涉及到的Linux平台上的运维工具有：Linux系统，Linux基础命令,Nginx,Apache,MySQL,PHP,Tomcat,Lvs,Keepalived,SSH,Ansible,Rsync,NFS,Inotify,Sersync,,OpenVPN,NTP,Kickstart/Cobbler,KVM,OpenStack,Docker,K8S，Mongodb,Redis,Memcached,Iptables,SVN,GIT,Jenkins,Shell/Python/Go语言等，除此之外还可能涉及到交换机、路由器、存储、安全、开发等知识。

总的来说：Linux初中级运维工程师更多的是使用工具软件的阶段，在一线城市互联网公司的薪资一般在8000-20000/月。老男孩教育毕业学生平均13-15K

职业发展方向：系统架构师、数据库工程师、运维开发工程师、系统网络安全工程师、运维经理、运维总监

1.6.2Linux运维架构师岗位职责

运维架构师是运维工程师的高级阶段，并没有明确的岗位界限区分，运维架构师一般来说是除了对运维工程师应用的开源工具熟练掌握之外，更多的是用思想来运维了，即DevOps的落地，各种企业运行过程中的解决方案提出和执行，例如：根据公司的现状可以设计各类运维解决方案的能力：

1、自动化代码上线（SVN/GIT+Jenkins+MVN）解决方案；

2、云计算部署架构及Docker+K8S及微服务架构方案；

3、服务自动化扩容方案（KVM/OpenStack/Docker+Ansible+Zabbix）；

4、10万并发的网站架构、秒杀系统的架构及解决发你个案；

5、多IDC机房互联方案、全网数据备份解决方案、账号统一认证方案；

6、数据库、存储及各重要服务节点的集群和高可用方案。

7、各网络服务的极端优化方案、服务解耦/拆分。

8、运维流程、制度、规范等的建设和推行。

9、沟通能力、培训能力、项目管理、业务需求分析及落地执行力等。

这里仅举几个例子，实际工作中会有更多，运维架构师的工作，其实就是解决企业中的用户访问量不断增大带来的痛点，最终达到高效、优质的为客户提供网站及业务服务。

总的来说：Linux运维架构师更多的是根据企业日益增长的访问量需求，利用若干运维工具组合加上经验思想，形成解决业务需求方案的阶段，当然也不排除对运维工具进行二次开发以及可视化展示运维数据的阶段（开发软件平台），这个阶段涉及的工具会非常多，几乎市面好用的开源工具都在备选之列，在一线城市互联网公司的薪资范围15000-100000/月。

职业方向：高级数据库工程师、运维开发工程师、运维经理、运维总监、技术总监

运维架构师：将多个工具组合，加上思想经验，形成方案，用思想和经验赚钱的阶段。

技术的提升仅是量的积累，思想的提升才是质的飞跃！——老男孩

Go语言——goroutine并发模型

参考：

Goroutine并发调度模型深度解析手撸一个协程池

Golang 的 goroutine 是如何实现的？

Golang - 调度剖析【第二部分】

OS线程初始栈为2MB。Go语言中，每个goroutine采用动态扩容方式，初始2KB，按需增长，最大1G。此外GC会收缩栈空间。

BTW，增长扩容都是有代价的，需要copy数据到新的stack，所以初始2KB可能有些性能问题。

更多关于stack的内容，可以参见大佬的文章。 聊一聊goroutine stack

用户线程的调度以及生命周期管理都是用户层面，Go语言自己实现的，不借助OS系统调用，减少系统资源消耗。

Go语言采用两级线程模型，即用户线程与内核线程KSE（kernel scheduling entity）是M:N的。最终goroutine还是会交给OS线程执行，但是需要一个中介，提供上下文。这就是G-M-P模型

Go调度器有两个不同的运行队列：

go1.10\src\runtime\runtime2.go

Go调度器根据事件进行上下文切换。

调度的目的就是防止M堵塞，空闲，系统进程切换。

详见 Golang - 调度剖析【第二部分】

Linux可以通过epoll实现网络调用，统称网络轮询器N（Net Poller）。

文件IO操作

上面都是防止M堵塞，任务窃取是防止M空闲

每个M都有一个特殊的G，g0。用于执行调度，gc，栈管理等任务，所以g0的栈称为调度栈。g0的栈不会自动增长，不会被gc，来自os线程的栈。

go1.10\src\runtime\proc.go

G没办法自己运行，必须通过M运行

M通过通过调度，执行G

从M挂载P的runq中找到G，执行G