postgresql实战的简单介绍

程序员的开源月刊《HelloGitHub》第 68 期

HelloGitHub 分享 GitHub 上有趣、入门级的开源项目。

站在用户的角度思考问题，与客户深入沟通，找到山丹网站设计与山丹网站推广的解决方案，凭借多年的经验，让设计与互联网技术结合，创造个性化、用户体验好的作品，建站类型包括：成都网站设计、网站建设、企业官网、英文网站、手机端网站、网站推广、主机域名、网页空间、企业邮箱。业务覆盖山丹地区。

这里有实战项目、入门教程、黑 科技 、开源书籍、大厂开源项目等，涵盖多种编程语言 Python、Java、Go、C/C++、Swift...让你在短时间内感受到开源的魅力，对编程产生兴趣！

1、 toybox ：该项目将 200 多个常用的 Linux 命令行工具，做成一个可执行文件。从而可以让 Android 这种原本不支持 Linux 命令的系统，也得以用上 ls、find、ps 等命令。还可以用于快速构建最小的 Linux 环境

2、 the_silver_searcher ：比 ack 更快的命令行搜索工具。速度快、功能强大、使用简单，支持 Linux、Windows、macOS 操作系统，还能够整合进 Vim 和 Emacs 等编辑器

3、 WindTerm ：支持 SSH/Telnet/Serial/Shell/Sftp 的终端工具。虽然该软件完全免费，但部分代码尚未完全开源，对安全敏感的同学可以再观望下

4、 wavefunctioncollapse ：基于波函数坍缩 (WFC) 算法，实现的无限城市示例。城市里有房子、楼梯、树木、连接房屋的通道，你可以在城市中自由移动、跳跃、飞行，但不论你怎么移动都找不到尽头，因为这座城市会无限延伸

5、 NETworkManager ：管理和解决网络问题的工具。它集成了 IP 和端口扫描、WiFi 分析器、跟踪路由、DNS 查询等工具

6、 ppsspp ：能够运行在 Android 和 PC 上的开源 PSP 模拟器

7、 leocad ：用来创建虚拟乐高模型的 CAD 工具。适用于 Windows、Linux 和 macOS 系统

8、 csshake ：用 CSS 实现抖动效果

9、 MangoDB ：真正开源的 MongoDB 替代品。它底层采用 PostgreSQL 作为存储引擎，用 Go 语言实现了 MongoDB 协议，所以几乎兼容所有的 MongoDB 库，迁移起来毫无负担。如果你用不到 MongoDB 的高级功能，还受限于它的开源协议，那么这个项目可作为 MongoDB 的开源替代方案。它才刚刚起步，建议观望一段时间或做足测试再用于生产环境

10、 caddy ：用 Go 编写的轻量级 Web 服务器。它相较于 Apache、Nginx 这些知名 Web 服务器，独特点在于提供了编译好的可执行文件，实现了真正的开箱即用。无需任何配置即可拥有免费的 HTTPS、自动把 Markdown 文件转化成 HTML 等人性化的功能。如果是搭建中小型的 Web 服务，它完全够用而且省时省心

11、 croc ：可以让任意两台计算机，安全方便地传输文件和文件夹的工具。轻松实现端到端加密的跨平台文件传输，还支持多文件传输、传输中断和恢复等功能

12、 jnativehook ：获取键盘和鼠标事件的 Java 库。轻松监听按键、鼠标移动、点击等事件

13、 spider-flow ：用流程图的方式编写爬虫的平台。无需写代码就可以快速完成一个简单的爬虫

14、 greenDAO ：高性能的 Android ORM 库。拥有体积小、易于使用、支持数据库加密等特点，通过它 Android 开发者可以采用面向对象的方式操作数据库，不需要再手写和拼接 SQL 啦

15、 vue-color-avatar ：纯前端实现的矢量风格头像生成网站。可以通过搭配不同的素材，生成个性化头像。该项目使用 Vite + Vue3 开发，能够帮助前端初学者熟悉 Vue3 语法并掌握项目搭建的相关知识

16、 colorfu ：自动生成由文字/颜色/图片/纹理元素组成的壁纸

17、 pm2 ：Node.js 的进程管理工具。它容易上手操作简单，可以有效地提高 Node.js 程序运行的稳定性，支持自动重启、负载均衡、不停服务重启、性能监控等功能，多用于生产环境中管理、监控 Node.js 进程

18、 automa ：通过图形化界面拖拽功能模块，实现浏览器自动操作的扩展工具。轻松实现自动填表、截图、定时执行等操作。让浏览器自动完成预设工作流的插件，从而减少重复性操作提高效率

19、 PyWebIO ：快速构建 Web 应用的 Python 工具。通过该项目你可在不写 HTML、CSS、JS 代码的前提下，仅用 Python 快速完成一个包含数据展示、表单的小型 Web 应用页面

20、 pottery ：以 Python 的方式操作 Redis 的库。忘记那些 Redis 命令吧，只要你知道如何使用 Python 字典，那么你就会用这个库操作 Redis

21、 zulip ：完全开源的企业级即时通讯项目。后端采用 Python 语言实现性能足够强大，功能齐全相当于开源、免费的 Slack，拥有拖拽上传文件、代码高亮、Markdown 语法、应用整合、容易接入的 API 等功能，还支持 Web、PC、iOS 和 Android 主流平台，众多知名企业都在用，能够有效地提高团队沟通和办公效率。同时该项目对新手用户友好，如果你想加入一个不错的 Python 开源项目，推荐你花时间研究下它一定会有所收获

22、 webssh ：简单的 SSH 连接服务器的 Python Web 应用。该项目后端采用 Tornado Web 框架和 Python SSH 库 paramiko，前端是 TypeScript 写的命令行前端组件 Xterm.js 实现。整个项目简单还具有实用价值，可作为 Python Web 的实战项目学习

23、 django-debug-toolbar ：Django 的调试工具栏。可显示当前请求和响应有关的各种调试信息，包括耗时、SQL、配置、性能等信息

24、 hyperfine ：命令行基准测试工具。可用来查看和对比命令的耗时，支持多次运行的统计分析、结果导出等功能

25、 xcode-dev-cleaner ：用于清理各种 Xcode 的缓存数据，释放存储空间。注意是清除 Xcode 缓存数据，不是卸载 Xcode 哈

26、 toml ：更易读和易于维护的配置文件格式。如果你厌倦了 INI 的局限性、层层嵌套的 JSON 和 YAML 令人心惊胆战的缩进语法，不防给 TOML 一个机会，它支持多种数据类型、抛弃了缩进和嵌套，而且众多流行编程语言都有对应的库。TOML 已经足够成熟，绝对值得一试

27、 waka-readme-stats ：自动在 GitHub 个人首页展示编程时长的工具。该项目通过 WakaTime 记录用户在 IDE 的使用时间，统计编程时长和数据，然后采用 GitHub Action 自动获取并动态更新到 GitHub 个人首页。轻而易举地展示自己的编程时长

28、 PathPlanning ：常见的路径规划算法集合。项目包含了 Python 代码实现、运行过程动画以及相关论文

29、 howdy ：为 Linux 系统提供人脸识别解锁电脑的工具。通过电脑内置的摄像头和红外设备，实现了类似 Windows Hello 风格的身份认证，可用于登陆、锁屏、sudo 等任何需要输入密码的地方

30、 The-Open-Book ：开源的电子水墨屏阅读设备。动手能力强的同学可跟着这个项目，从焊电路板开始亲手制作出一个类 Kindle 的 4.2 英寸阅读设备

31、 fl_chart ：Flutter 图表库。它支持折线图、条形图、饼图、散点图和雷达图

32、 ugo-compiler-book ：《从头开发一个迷你 Go 语言》该书教你从头实现迷你 Go 语言，内容包含了词法解析、语法树构建、函数闭包、接口、CGO 的实现等内容

33、 archbase ：教科书《计算机体系结构基础》第三版

34、 spring-in-action-v6-translate ：《Spring 实战第 6 版》中文翻译

35、 best_AI_papers_2021 ：2021 年必看的人工智能论文列表。该项目不是简单的罗列论文，它不仅包含相关论文的代码、效果展示，还有深入的文章和讲解视频。通过学习这些前沿的人工智能论文，提前了解 AI 在未来更多可能性

36、 AnimeGANv2 ：可以将图片和视频转换成漫画风格的工具。采用的是神经风格迁移+生成对抗网络（GAN）的组合，转换速度快

感谢您的阅读，如果觉得内容还不错的话 求赞、求分享 ，您的每一次支持都将让 HelloGitHub 变得更好！

5分钟搞定MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战

CloudCanal 2.1.0.x 版本开始支持 StarRocks 作为对端的数据迁移同步能力

本文通过 MySQL-StarRocks 的数据迁移同步案例简要介绍这个源端的能力。链路特点：

StarRocks 提供了多种导入方式。CloudCanal 采用了 StreamLoad 的方式进行导入，源端的消息会转成字节流，通过 HTTP 协议发往 StarRocks。

相比直接通过 SQL 写入的方式，StreamLoad 方式会有更好的性能，写入的数据直接经 FE 转发给 BE 处理。如果直接采用 SQL 写入，在 FE 侧，会有额外的 SQL 解析开销。

CloudCanal 提供了 StreamLoad 可配置的丰富参数，包括：

过快的写入会导致 StarRocks 来不及 compaction，从而产生异常。CloudCanal 提供了两个任务参数，支持在一批数据写入后自动停顿一段时间，避免这种问题。参数为：

CloudCanal 任务详情页，点击 参数修改 ，即可调整

StarRocks 作为实时数仓，采用 主键模型 或者 聚合模型 较多。CloudCanal默认采用 主键模型 ，能够实时同步源端的 INSERT / UPDATE / DELETE 。

基于 StreamLoad 的写入方式，实际写入对端的操作均为 INSERT。CloudCanal 同步时会自动将 UPDATE/DELETE 转成INSERT语句，并修改 __ops 值，StarRocks 会自动进行compaction。

StarRocks 不支持 \n 等特殊符号写入，CloudCanal 任务通过参数设置( enableEscape 参数) 开启自动转义。

对于高流量的场景，建议使用 4G 及以上的任务规格配置，并且对相关参数进行调优，调优建立在任务无 GC 问题、对端 StarRocks 没有 compaction 瓶颈的情况下。

本文简单介绍了如何使用 CloudCanal 进行MySQL到StarRocks 的数据迁移同步。各位读者朋友，如果你觉得还不错，请点赞、评论加转发吧。

默认任务参数配置下，如果导入数据过于频繁可能会任务异常，这时候可以调节上文提到的fullBatchWaitTimeMs和increBatchWaitTimeMs参数或者调整StarRocks的Server侧的合并策略。下图为StarRocks官方提供的常见问题FAQ

CloudCanal-免费好用的企业级数据同步工具，欢迎品鉴。

了解更多产品可以查看 官方网站 ：

CloudCanal社区 ：

postgresql 高可用集群搭建资料

多种方案，含zookeeper方案 ： PostgreSQL 流行 HA 方案

有实例 有讲解！ postgresql 高可用集群搭建 ： PostgreSQL_HA_with_primary_standby_2vip

pgpool+Keepalived 实现postgresql 高可用集群： PostgreSQL+pgpooll+Keepalived双机HA方案

利用pgpool 实现postgresql 高可用集群 ： POSTGRESQL主备部署模式

看起来不错 ： 双机热备技术：使用pgpool搭建高可用PostgreSQL HA的步骤

PostgreSQL 流复制 + Pgpool-II 实现高可用 HA

推荐使用pgpool原因： PostgreSQL的集群技术比较

很好的要看corosync+pacemaker： 基于Pacemaker的PostgreSQL一主多从读负载均衡集群搭

可能复杂 ： Pacemaker+corosync搭建PostgreSQL共享存储HA

corosync+pacemaker 有实例 ： postgresql双机热备、高可用方案（采用pacemaker+corosync实现）

需求讲得好 ： PostgresSQL HA高可用架构实战

PostgresSQL HA高可用架构实战

流复制HA（pgpool） ：较简单、易实现

共享存储HA（corosync+pacemaker）：功能完备、学习成本高、复杂

领域驱动实战-支付系统

在Airwallex，领域驱动设计(DDD)方法被用来指导我们的工程师如何对复杂的业务问题和系统设计建模。在这篇博客中，我们提供了一个全面的工作流，我们使用DDD模式进行建模，然后对支付系统进行落地。

全球支付系统是复杂和不断变化的，涉及从订单、欺诈、通知、与各种支付方式的集成到清算和结算等广泛的板块。

在处理复杂的系统时，大多数开发人员可能会遇到一些一致的问题：

在Airwallex，领域驱动设计(DDD)方法被用来指导我们的工程师如何解决复杂的业务问题和系统建模。

然而，DDD只是各种模式的集合，很难将其应用于系统设计。在这篇博客中，我们提供了一个全面的工作流程，介绍了我们是如何在Airwallex应用领域驱动设计的，从中得到的经验教训，以及我们接下来要做什么。

领域驱动设计(由Eric Evans提出)是一组帮助基于业务领域的底层模型设计软件系统的思想、原则和模式。DDD有两个不同的空间，问题空间和解决方案空间。

在问题空间中，您使用战略模式定义系统的顶层的系统层次，这些战略模式关注域、子域和通用语言的分析。

在解决方案空间中，采用战术模式来提供一组设计模式，您可以使用这些设计模式创建领域模型。这些模式包括有界上下文、上下文映射、实体、聚合、领域事件、领域服务、应用程序服务和基础设施。这些战术模式将帮助您设计既松散耦合又具有内聚性的微服务。

下面是一个常见的案例:

一位顾客想在该商家的网站上购买一件价格为10美元的t恤。顾客可以用多种支付方式来支付这件t恤，比如Visa卡或微信钱包。在客户支付后，商家会从支付网关收到一个通知，显示客户的支付已经成功。然后，商家可以在Airwallex webapp中查看支付细节，包括购买价格、商家费用以及资金将何时进入Airwallex Global Account钱包。

下面是分析结果。

支付系统

付款处理：商家可以通过各种付款方式接受客户的付款。

金融：清算和解决商家的付款资金。

付款意向：商家创建的订单的价格，产品，客户等。

付款尝试：商家创建的交易以获得订单的客户。

付款方式：客户支付产品的方式。

付款结算：付款之 后钱进入商家钱包。

付款视图：汇总付款详细信息视图，包含与一笔付款相关的所有数据。

有界上下文(BC)限定了域模型的范围。根据对问题空间的分析结果，我们可以定义以下边界上下文：

支付网关: API网关，为商家提供restful API来创建或查看支付。

支付核心模块: 支付意图，方法资源管理。

支付适配器: 与一个外部的PSP集成，例如微信，支付宝，Visa，万事达等。

支付结算: 计算并结算商户每次支付的原则和费用。支付融合:支付明细汇总视图。

下面是生成的上下文映射的一个示例：

从上面分析的场景和通用语言中，我们可以确定以下聚合、实体、值对象和域事件：

根据我们的经验，领域服务为单个聚合使用业务逻辑服务，遵循单一责任。通常，我们将封装领域仓储、聚合修改和在领域服务中发布的领域事件。以PaymentAttemptExecutorService为例：

领域事件可以使系统更具有可扩展性，并避免任何耦合，且一个聚合不应该决定其他聚合应该做什么。

例如，当PaymentCaptureCommand命令将支付状态更改为已支付时，会发出领域事件PaymentAttemptCapturedEvent。在PaymentAttemptCapturedEvent的领域事件处理程序（EventHandler）中，我们可以在该业务逻辑上加上你想要的逻辑。例如，通知支付聚合有界上下文更新支付详情，通知支付结算有界上下文计算结算金额和费用。

在DDD模式中，基础设施层作用于将核心业务领域与技术实现细节分开。该层通常采用ACL (anti - corruption-layer)模式。以领域仓储为例：

领域仓储只定义接口功能，但实现细节应该隐藏在基础设施层中，细节上你可以使用PostgreSQL或MongoDB来保存数据。例如，在基础设施层中，PaymentAttemptPgRepository是基于PostgreSQL的特定实现，而toPO是一个转换器，用于将域对象PaymentAttempt转换为持久化对象。

现在，我们已经为支付系统定义了一组有界上下文，并在每个有界上下文中标识了一组实体、聚合和领域事件服务。下一步是从域模型到应用程序微服务设计。这里，我们选择将一个有边界的上下文映射到一个微服务。

采用DDD可以提供许多好处，例如，在所有团队之间进行清晰的沟通，以及在设计系统时使用成熟的模式来管理复杂性并提供更好的可伸缩性。

使用通用语言，我们可以实现更多的自描述类名和函数名。

使用聚合模式，我们可以实现清晰的边界和单一的职责。

使用领域事件模式，我们可以分割核心业务流程，减少聚合之间的耦合。

通过基础设施层和ACL模式，我们可以将核心业务领域模型与技术实现细节分离开来。通过限定上下文模式，我们可以派生出潜在的微服务候选对象。

在实践中应用DDD时，我们想要分享一些挑战和经验教训：

原文地址：