$ for node in $(kubectl get nodes | grep -i gcp | awk '{print $1}'); do kubectl annotate node $node kilo.squat.ai/location="gcp"; done
$ for node in $(kubectl get nodes | tail -n +2 | grep -v gcp | awk '{print $1}'); do kubectl annotate node $node kilo.squat.ai/location="$node"; done
通过 kgctl 获取网络拓扑架构图：
$ kgctl graph | circo -Tsvg > cluster.svg
如果集群中还包含 AWS 节点，可以这么添加 annotation：
$ for node in $(kubectl get nodes | grep -i aws | awk '{print $1}'); do kubectl annotate node $node kilo.squat.ai/location="aws"; done
$ for node in $(kubectl get nodes | grep -i gcp | awk '{print $1}'); do kubectl annotate node $node kilo.squat.ai/location="gcp"; done
$ for node in $(kubectl get nodes | tail -n +2 | grep -v aws | grep -v gcp | awk '{print $1}'); do kubectl annotate node $node kilo.squat.ai/location="$node"; done
网络拓扑架构图如下：
2. Kilo 部署
如果你用的是国内的云主机，一般都绑定了 IP 地址和 MAC 地址，也无法关闭源地址检测，无法使用 Bridge 模式，也就无法使用 Kilo 的逻辑分组互联模式，只能使用全互联模式。如果集群中还包含了数据中心，数据中心的节点之间是可以使用 Bridge 模式的，可以给数据中心的节点添加相同的 annotation，其他节点添加各不相同的 annotation。
14: kilo0: mtu 1420 qdisc noqueue state UNKNOWN group default qlen 1000
link/none
inet 10.4.0.1/16 brd 10.4.255.255 scope global kilo0
valid_lft forever preferred_lft forever
6: kube-bridge: mtu 1420 qdisc noqueue state UP group default qlen 1000
link/ether 2a:7d:32:71:75:97 brd ff:ff:ff:ff:ff:ff
inet 10.42.0.1/24 scope global kube-bridge
valid_lft forever preferred_lft forever
inet6 fe80::287d:32ff:fe71:7597/64 scope link
valid_lft forever preferred_lft forever
其中 kilo0 是 WireGuard 虚拟网络接口：
$ ip -d link show kilo0
14: kilo0: mtu 1420 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
link/none promiscuity 0
wireguard addrgenmode none numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535
$ wg show kilo0
interface: kilo0
public key: VLAjOkfb1U3/ftNOVtAjY8P3hafR12qQB05ueUJtLBQ=
private key: (hidden)
listening port: 51820
peer: JznFuu9Q7gXcfHFGRLB/LirKi8ttSX22T5f+1cWomzA=
endpoint: xxxx:51820
allowed ips: 10.42.1.0/24, 192.168.20.1/32, 10.4.0.2/32
latest handshake: 51 seconds ago
transfer: 88.91 MiB received, 76.11 MiB sent
peer: gOvNh2FHJKtfigxV1Az5OFCq2WMq3YEn2F4H4xknVFI=
endpoint: xxxx:51820
allowed ips: 10.42.2.0/24, 192.168.30.1/32, 10.4.0.3/32
latest handshake: 17 seconds ago
transfer: 40.86 MiB received, 733.03 MiB sent
...
...
kube-bridge 是本地容器网络 veth pair 所连接的 Bridge：
$ bridge link show kube-bridge
7: veth99d2f30b state UP @wg0: mtu 1420 master kube-bridge state forwarding priority 32 cost 2
8: vethfb6d487c state UP @wg0: mtu 1420 master kube-bridge state forwarding priority 32 cost 2
10: veth88ae725c state UP @wg0: mtu 1420 master kube-bridge state forwarding priority 32 cost 2
11: veth5c0d00d8 state UP @wg0: mtu 1420 master kube-bridge state forwarding priority 32 cost 2
12: veth6ae51319 state UP @wg0: mtu 1420 master kube-bridge state forwarding priority 32 cost 2
13: vethe5796697 state UP @wg0: mtu 1420 master kube-bridge state forwarding priority 32 cost 2
15: vethe169cdda state UP @wg0: mtu 1420 master kube-bridge state forwarding priority 32 cost 2
21: vethfe78e116 state UP @wg0: mtu 1420 master kube-bridge state forwarding priority 32 cost 2
至此 Kilo 的全互联模式就部署好了，跨公有云的各个云主机节点上的容器已经可以相互通信，下一步就是打通本地与云上容器之间的网络。
3. 打通本地与云上容器网络
为了便于理解，先来做个假设，假设有 4 个公有云节点，分别是 AWS、Azure、GCP、阿里云，再假设 Service 的子网是 10.43.0.0/16，Pod 的子网是 10.42.0.0/16，那么每台节点的 Pod 子网分别为 10.42.0.0/24、10.42.1.0/24、10.42.2.0/24、10.42.3.0/24。
