go语言数据分析BI go 数据处理

GO语言（三十）：访问关系型数据库（上）

本教程介绍了使用 Godatabase/sql及其标准库中的包访问关系数据库的基础知识。

成都创新互联公司是专业的永济网站建设公司，永济接单;提供成都做网站、网站建设、外贸营销网站建设,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行永济网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

您将使用的database/sql包包括用于连接数据库、执行事务、取消正在进行的操作等的类型和函数。

在本教程中，您将创建一个数据库，然后编写代码来访问该数据库。您的示例项目将是有关老式爵士乐唱片的数据存储库。

首先，为您要编写的代码创建一个文件夹。

1、打开命令提示符并切换到您的主目录。

在 Linux 或 Mac 上：

在 Windows 上：

2、在命令提示符下，为您的代码创建一个名为 data-access 的目录。

3、创建一个模块，您可以在其中管理将在本教程中添加的依赖项。

运行go mod init命令，为其提供新代码的模块路径。

此命令创建一个 go.mod 文件，您添加的依赖项将在其中列出以供跟踪。

注意： 在实际开发中，您会指定一个更符合您自己需求的模块路径。有关更多信息，请参阅一下文章。

GO语言（二十五）：管理依赖项（上）

GO语言（二十六）：管理依赖项（中）

GO语言（二十七）：管理依赖项（下）

接下来，您将创建一个数据库。

在此步骤中，您将创建要使用的数据库。您将使用 DBMS 本身的 CLI 创建数据库和表，以及添加数据。

您将创建一个数据库，其中包含有关黑胶唱片上的老式爵士乐录音的数据。

这里的代码使用MySQL CLI，但大多数 DBMS 都有自己的 CLI，具有类似的功能。

1、打开一个新的命令提示符。

在命令行，登录到您的 DBMS，如下面的 MySQL 示例所示。

2、在mysql命令提示符下，创建一个数据库。

3、切到您刚刚创建的数据库，以便您可以添加表。

4、在文本编辑器的 data-access 文件夹中，创建一个名为 create-tables.sql 的文件来保存用于添加表的 SQL 脚本。

将以下 SQL 代码粘贴到文件中，然后保存文件。

在此 SQL 代码中：

（1）删除名为album表。 首先执行此命令可以让您更轻松地稍后重新运行脚本。

（2）创建一个album包含四列的表：title、artist和price。每行的id值由 DBMS 自动创建。

（3）添加带有值的四行。

5、在mysql命令提示符下，运行您刚刚创建的脚本。

您将使用以下形式的source命令：

6、在 DBMS 命令提示符处，使用SELECT语句来验证您是否已成功创建包含数据的表。

接下来，您将编写一些 Go 代码进行连接，以便进行查询。

现在你已经有了一个包含一些数据的数据库，开始你的 Go 代码。

找到并导入一个数据库驱动程序，该驱动程序会将您通过database/sql包中的函数发出的请求转换为数据库可以理解的请求。

1、在您的浏览器中，访问SQLDrivers wiki 页面以识别您可以使用的驱动程序。

2、使用页面上的列表来识别您将使用的驱动程序。为了在本教程中访问 MySQL，您将使用 Go-MySQL-Driver。

3、请注意驱动程序的包名称 - 此处为github.com/go-sql-driver/mysql.

4、使用您的文本编辑器，创建一个用于编写 Go 代码的文件，并将该文件作为 main.go 保存在您之前创建的数据访问目录中。

5、进入main.go，粘贴以下代码导入驱动包。

在此代码中：

（1）将您的代码添加到main包中，以便您可以独立执行它。

（2）导入 MySQL 驱动程序github.com/go-sql-driver/mysql。

导入驱动程序后，您将开始编写代码以访问数据库。

现在编写一些 Go 代码，让您使用数据库句柄访问数据库。

您将使用指向结构的指针sql.DB，它表示对特定数据库的访问。

编写代码

1、进入 main.go，在import您刚刚添加的代码下方，粘贴以下 Go 代码以创建数据库句柄。

在此代码中：

（3）使用 MySQL 驱动程序Config和FormatDSN类型以收集连接属性并将它们格式化为连接字符串的 DSN。

该Config结构使代码比连接字符串更容易阅读。

（4）调用sql.Open 初始化db变量，传递 FormatDSN。

（5）检查来自 的错误sql.Open。例如，如果您的数据库连接细节格式不正确，它可能会失败。

为了简化代码，您调用log.Fatal结束执行并将错误打印到控制台。在生产代码中，您会希望以更优雅的方式处理错误。

（6）调用DB.Ping以确认连接到数据库有效。在运行时， sql.Open可能不会立即连接，具体取决于驱动程序。您在Ping此处使用以确认 database/sql包可以在需要时连接。

（7）检查来自Ping的错误，以防连接失败。

（8）Ping如果连接成功，则打印一条消息。

文件的顶部现在应该如下所示：

3、保存 main.go。

1、开始跟踪 MySQL 驱动程序模块作为依赖项。

使用go get 添加 github.com/go-sql-driver/mysql 模块作为您自己模块的依赖项。使用点参数表示“获取当前目录中代码的依赖项”。

2、在命令提示符下，设置Go 程序使用的DBUSER和DBPASS环境变量。

在 Linux 或 Mac 上：

在 Windows 上：

3、在包含 main.go 的目录中的命令行中，通过键入go run来运行代码。

连接成功了！

接下来，您将查询一些数据。

如果要开发pc程序，开发的是一款可视化的开发工具，学什么编程语言比较好？

非编程篇/可直接上手的工具

1. Excel

Excel是最容易上手的图表工具，善于处理快速少量的数据。结合数据透视表，VBA语言，可制作高大上的可视化分析和dashboard仪表盘。

单表或单图用Excel制作是不二法则，它能快速地展现结果。但是越到复杂的报表，excel无论在模板制作还是数据计算性能上都稍显不足，任何大型的企业也不会用Excel作为数据分析的主要工具。

2. 可视化 BI（Power BI \Tableau \ 帆软FineBI等等）

也许是Excel也意识到自己在数据分析领域的限制和眼下自助分析的趋势，微软在近几年推出了BI工具Power BI。同可视化工具Tableau和国内帆软的BI工具一样，封装了所有可能分析操作的编程代码，操作上都是以点击和拖拽来实现，几款工具的定位稍有不同。

Power BI

最大的明显是提供了可交互、钻取的仪表板，利用Power Pivot可直接生产数据透视报告，省去了数据透视表。

Tableau

可视化图表较为丰富，堪称一等， 操作更为简单。

帆软FineBI

企业级的BI应用，实用性较强，因2B市场的大热受到关注。千万亿级的数据性能可以得到保证，业务属性较重，能与各类业务挂钩。

对于个人，上手简单，可以腾出更多的时间去学习业务逻辑的分析。

编程篇

对于寻求更高境界数据分析师或数据科学家，如果掌握可视化的编程技巧，就可以利用数据做更多的事情。熟练掌握一些编程技巧，赋予数据分析工作更加灵活的能力，各种类型的数据都能适应。大多数设计新颖、令人惊艳的数据图几乎都可以通过代码或绘图软件来实现。

与任何语言一样，你不可能立刻就开始进行对话。要从基础开始，然后逐步建立自己的学习方式。很可能在你意识到之前，你就已经开始写代码了。关于编程最酷的事情在于，一旦你掌握了一门语言，学习其他语言就会更加容易，因为它们的逻辑思路是共通的。

1. Python语言

Python 语言最大的优点在于善于处理大批量的数据，性能良好不会造成宕机。尤其适合繁杂的计算和分析工作，而且，Python的语法干净易读，可以利用很多模块来创建数据图形比较受IT人员的欢迎。

利用 Python 生成的图表

2. PHP语言

PHP这个语言松散却很有调理，用好了功能很强大。在数据分析领域可以用php做爬虫，爬取和分析百万级别的网页数据，也可与Hadoop结合做大数据量的统计分析。

因为大部分 Web 服务器都事先安装了 PHP 的开源软件，省去了部署之类的工作，可直接上手写。

比如 Sparkline（微线表）库，它能让你在文本中嵌入小字号的微型图表，或者在数字表格中添加视觉元素，就像下面这张图一样：

利用 PHP 图形函数库生成的微线表

一般 PHP会和 MySQL 数据库结合使用，这使它能物尽其用，处理大型的数据集。

3. HTML、JavaScript 和 CSS语言

很多可视化软件都是基于web端的，可视化的开发，这几类语言功不可没。而且随着人们对浏览器工作越来越多的依赖，Web 浏览器的功能也越来越完善，借助 HTML、JavaScript 和 CSS，可直接运行可视化展现的程序。

可交互日历，同时也是用户使用 your.flowingdata 的热度图

不过还是有几点需要注意。由于相关的软件和技术还比较新，在不同浏览器中你的设计可能在显示上会有所差别。在 Internet Explorer 6 这类老旧的浏览器中，有些工具可能无法正常运行。比如一些银行单位仍旧使用着IE，无论是自己使用还是开发的时候都要考虑这样的问题。

4. R语言

R语言是绝大多数统计学家最中意的分析软件，开源免费，图形功能很强大。

谈到R语言的历史，它是专为数据分析而设计的，面向的也是统计学家，数据科学家。但是由于数据分析越来越热门，R语言的使用也不瘦那么多限制了。

R的使用流程很简洁，支持 R 的工具包也有很多，只需把数据载入到 R 里面，写一两行代码就可以创建出数据图形。比如利用 Portfolio 工具包快速创建出如下的板块层级图。

比如热度图

GO语言（三十二）：访问关系型数据库（下）

在本节中，您将使用 Go 执行 SQL INSERT语句以向数据库添加新行。

您已经了解了如何使用Query和QueryRow处理返回数据的 SQL 语句。要执行 不 返回数据的 SQL 语句，请使用Exec.

1、在albumByID下面，粘贴以下addAlbum函数以在数据库中插入新专辑，然后保存 main.go。

在此代码中：

（1）用DB.Exec执行INSERT语句。

Exec接受一条 SQL 语句，后跟 SQL 语句的参数值。

（2）检查尝试INSERT中的错误。

（3）使用Result.LastInsertId检索插入的数据库行的 ID 。

（4）检查尝试检索 ID 的错误。

2、更新main以调用新addAlbum函数。

在main函数末尾添加以下代码。

在新代码中：

（1）调用addAlbum添加新专辑，将要添加的专辑的 ID 分配给albID变量。

从包含 main.go 目录的命令行中，运行代码。

恭喜！您刚刚使用 Go 对关系数据库执行了简单的操作。

本节包含您使用本教程构建的应用程序的代码。

数据分析师为何有专业要求？

一、统计学专业 统计学贯穿数据分析的全过程，没有统计学基础，很难有专业的数据分析。数据分析的各个步骤，都要用到统计学的知识。 问卷设计时，问卷的信度是否符合要求？效度有多大？要用到统计学； 可以说，数据分析是统计学的应用。掌握统计学是数据分析师的基本功。 二、心理学专业 企业要提高市场占有率，就是要提高人心占有率，因此数据分析师研究用户心理的工作必不可少。数据分析师若懂得心理学，则能更准确的探测到用户的真实想法。 例如，在做品牌形象分析时，常会用到的是映射法，映射法就是基于心理学的数据采集方法。比如，让你对某所别墅进行描述，很难说得清，但如果让你选择图片，你对图片的认识就映射了你对这所别墅的印象。比如，你选择了劳斯莱斯车，很明显，你认为这所别墅的形象是高端的。 三、社会学专业 从经济学的角度看，人具有经济性，追求利益最大化，比如人们总是喜欢买物美价廉的产品，消费量通常会随着价格的下降而上升。但从社会学的角度看，人还具有社会性，受到社会群体心理的影响。作为数据分析师，如果没有社会学背景，很难对市场现象做出合理的解释。 四、人口学专业 人的特点影响市场的特点。年龄不同，家庭类型不同，则需求、价值观和行为特征都不一样。比如，儿童主要以生理需求为主，没有太多的社会需求；青少年开始追求时尚和潮流，但不是高收入人群，购买的频率高但可接受价格很低；人到中年，消费行为趋于理性化，强调功能、成本和技术优势；而到了老年，对价格比较敏感。 有人口学知识，数据分析师可以更好地理解到用户的差异性，有助于选择市场细分的维度，提出合理的精细化营销建议。 五、营销学专业 数据分析师常要为企业的营销决策提供支持，这就要求懂营销。 具有营销背景的数据分析师思路会更清晰、更开阔。当让他做竞争分析时，他会想到波特五个力；让他做环境分析时，他会想到PEST、让他做消费者偏好分析，他会想到科特勒用户决策流程；让他做企业业务状况分析，他会想到4P…… 六、财务管理专业 诸如此类的财务管理问题是企业选择投资项目的依据、评价财务状况的指标、评估决策效果的量尺。懂得财务管理，得失一笔账，才能算得更清楚。”