隨著Kubernetes繼續將自己確立為容器編排的行業標準，為你的應用和工具找到使用宣告式模型的有效方法是成功的關鍵。在這篇文章中，我們將在AWS中建立一個K3s Kubernetes叢集，然後使用Argo CD和Vault實現安全的GitOps。你可以在以下兩個連結中分別檢視基礎架構以及Kubernetes umbrella應用程式：

https://github.com/atoy3731/aws-k8s-terraformhttps://github.com/atoy3731/k8s-tools-app

以下是我們將會使用到的元件：

AWS——這是我們將在底層基礎設施使用的雲提供商。它將管理我們的虛擬機器以及Kubernetes工作所需的網路，並允許Ingress從外界進入叢集。

K3s——由Rancher開發的輕量級Kubernetes發行版。它對許多alpha功能和雲外掛進行了清理，同時也使用關係型資料庫（本例中是RDS）代替etcd進行後端儲存。

Rancher——API驅動的UI，可以輕鬆管理你的Kubernetes叢集

Vault——Hashicorp的金鑰管理實現。我將使用Banzai Cloud Vault的bank-vaults實現，它可以透過使用Admission Webhook將金鑰直接注入pod中。這大大減輕了你在Git倉庫中儲存金鑰的需求。

Argo CD——這是一個GitOps工具，可以讓你在Git中維護Kubernetes資源的狀態。Argo CD會自動將你的Kubernetes資源與Git倉庫中的資源進行同步，同時也確保叢集內對manifest的手動更改會自動還原。這保證了你的宣告式部署模式。

Cert Manager或LetsEncrypt——提供了一種為Kubernetes Ingress自動生成和更新證書的方法。

讓我們先從AWS基礎架構開始。

前期準備

你需要在你的系統中安裝以下CLI：

TerraformKubectlAWS

同時，你還需要AWS管理員訪問許可權以及一個訪問金鑰。如果你沒有，你可以使用信用卡建立一個賬戶。

最後，你需要一個可以管理/更新的託管域名，以指向你的基於Kubernetes彈性負載均衡器（ELB）。如果你還沒有，建議你在NameCheap上開一個賬戶，然後購買一個.dev域名。它價格便宜，而且效果很好。

AWS基礎架構

對於我們的AWS基礎架構，我們將使用Terraform與S3支援來持久化狀態。這為我們提供了一種方法來宣告性地定義我們的基礎架構，並在我們需要的時候反覆進行更改。在基礎設施倉庫中，你會看到一個k3s/example.tfvars檔案。我們需要根據我們特定的環境/使用情況更新這個檔案，設定以下值：

db_username — 將應用於Kubernetes後端儲存的RDS例項的管理員使用者名稱db_password — RDS使用者的管理員密碼。這通常應該在你的terraform apply命令內聯過程中傳遞此引數，但為了簡單起見，我們將在檔案中設定它。public_ssh_key — 你的公共SSH金鑰，當你需要SSH到Kubernetes EC2s時，你將使用它。keypair_name — 要應用於你的public_ssh_key的金鑰對名稱。key_s3_bucket_name — 生成的bucket將在叢集成功建立時儲存你的kubeconfig檔案。

如果你想修改叢集大小或設定特定的CIDRs（無類域間路由），可以設定下面的一些可選欄位，但預設情況下，你會得到一個6節點（3個伺服器，3個代理）的K3s叢集。

同時，你將需要建立S3 bucket來儲存你的Terraform狀態並且在k3s/backends/s3.tfvars和k3s/main.tf檔案中更改bucket欄位來與其匹配。

一旦我們更新了所有的欄位，並建立了S3狀態bucket，我們就開始應用Terraform吧。首先，確保你在AWS賬戶中有一個管理IAM使用者並且你已經在系統上正確設定了環境變數或AWS憑證檔案，以便能夠與AWS API對接，然後執行以下命令：

cd k3s/terraform init -backend-config=backends/s3.tfvarsterraform apply -var-file=example.tfvars

一旦你執行以上命令，Terraform會在apply成功後輸出預期的AWS狀態。如果一切看起來都符合預期，請輸入yes。這時候由於RDS叢集的原因，需要5—10分鐘的時間來配置AWS資源。

驗證你的Kubernetes叢集

Terraform成功應用之後（再多等幾分鐘的時間確保K3s已經部署完畢），你需要使用以下命令從S3 bucket中抓取kubeconfig檔案（替換你在example.tfvars中輸入的bucket名稱）：

aws s3 cp s3://YOUR_BUCKET_NAME/k3s.yaml ~/.kube/config

這應該成功完成，讓你現在能夠與你的叢集通訊。讓我們檢查一下我們的節點狀態，在繼續之前，確保它們都處於就緒狀態。

$ kubectl get nodesNAME                         STATUS   ROLES    AGE   VERSIONip-10-0-1-208.ec2.internal   Ready    <none>   39m   v1.18.9+k3s1ip-10-0-1-12.ec2.internal    Ready    master   39m   v1.18.9+k3s1ip-10-0-1-191.ec2.internal   Ready    master   39m   v1.18.9+k3s1ip-10-0-2-12.ec2.internal    Ready    master   39m   v1.18.9+k3s1ip-10-0-2-204.ec2.internal   Ready    <none>   39m   v1.18.9+k3s1ip-10-0-1-169.ec2.internal   Ready    <none>   39m   v1.18.9+k3s1

我們也來看看Argo CD的狀態，它是透過manifest自動部署的：

$ kubectl get pods -n kube-system | grep argocdhelm-install-argocd-5jc9s                        0/1     Completed   1          40margocd-redis-774b4b475c-8v9s8                    1/1     Running     0          40margocd-dex-server-6ff57ff5fd-62v9b               1/1     Running     0          40margocd-server-5bf58444b4-mpvht                   1/1     Running     0          40margocd-repo-server-6d456ddf8f-h9gvd              1/1     Running     0          40margocd-application-controller-67c7856685-qm9hm   1/1     Running     0          40m

現在我們可以繼續為我們的ingress和證書自動化配置萬用字元DNS。

DNS配置

對於DNS，我透過Namecheap獲得atoy.dev域名，但你可以使用任何你喜歡的DNS供應商。我們需要做的是建立一個萬用字元CNAME條目，以將所有請求路由到AWS ELB，它正在管理應用程式的ingress。

你需要從該條目複製DNS名稱。為我的域名訪問NamecCheap 高階DNS頁面，並輸入*.demo.atoy.dev**的CNAME條目。**指向你從AWS複製的域名。你可以根據你的提供商/域名調整這個名稱：

要驗證它是否有效，你可以安裝/使用nslookup來確保它解析到正確的主機名：

$ nslookup test.demo.atoy.devServer:  71.252.0.12Address: 71.252.0.12#53Non-authoritative answer:test.demo.atoy.dev canonical name = a4c6dfd75b47a4b1cb85fbccb390fe1f-529310843.us-east-1.elb.amazonaws.com.Name: a4c6dfd75b47a4b1cb85fbccb390fe1f-529310843.us-east-1.elb.amazonaws.comAddress: 52.20.5.150Name: a4c6dfd75b47a4b1cb85fbccb390fe1f-529310843.us-east-1.elb.amazonaws.comAddress: 23.20.0.2

現在到Umbrella應用程式。

Argo CD和Umbrella應用程式

我們已經知道Argo CD已經部署好了，但現在我們要使用Argo CD的App-of-Apps部署模型來部署我們的其餘工具套件。由於我們使用的是GitOps，你需要將k8s-tools-app倉庫fork到你自己的Github賬戶上，然後我們需要做一些修改來匹配你各自的環境。

你需要為https://github.com/atoy3731/k8s-tools-app.git 進行全域性查詢/替換，並將其更改到之前fork的新儲存庫git URL。這使你可以管理自己的環境，讓Argo CD可以從那裡拉取。另外，需要確保你的Git倉庫是公開的，以便Argo CD可以訪問它。在resources/tools/resources/other-resources.yaml中，更改argoHostand issuerEmail，使其與你的域名和郵箱相匹配。在resources/tools/resources/rancher.yaml中，更改主機名稱和郵件以匹配各自的域名和email。在resources/apps/resources/hello-world.yaml中，將兩個引用app.demo.aptoy.dev改為與你的域名一致。

一旦你做了這些更新，繼續提交/推送你的更改到你的forked Github倉庫。現在你已經準備好應用umbrella應用程式了。在本地克隆的倉庫中執行以下操作：

$ kubectl apply -f umbrella-tools.yamlappproject.argoproj.io/tools createdapplication.argoproj.io/umbrella-tools created

現在，Argo CD將開始配置所有其他工具，這些工具是倉庫為你的叢集定義的。你可以透過執行以下操作來獲得已部署的應用程式的列表：

$ kubectl get applications -n kube-systemNAME                AGEother-resources     56mumbrella-tools      58mrancher             57mvault-impl          57mvault-operator      58mvault-webhook       57mcert-manager        57mcert-manager-crds   58m

你將不得不等待5分鐘左右的時間，讓一切都準備好，讓LetsEncrypt生成暫存證書。一旦事情按預期執行，你應該看到兩個生成的Ingress條目，你可以透過瀏覽器訪問：

$ kubectl get ingress -ANAMESPACE       NAME             CLASS    HOSTS                     ADDRESS                                                                  PORTS     AGEcattle-system   rancher          <none>   rancher.demo.atoy.dev   a4c6dfd75b47a4b1cb85fbccb390fe1f-529310843.us-east-1.elb.amazonaws.com   80, 443   59mkube-system     argocd-ingress   <none>   argo.demo.atoy.dev      a4c6dfd75b47a4b1cb85fbccb390fe1f-529310843.us-east-1.elb.amazonaws.com   80, 443   58m

現在你可以透過 https://rancher.YOUR-DOMAIN 瀏覽 Rancher，透過 https://argo.YOUR-DOMAIN 瀏覽 Argo CD。

NOTE 1：為了避免LetsEncrypt的任何速率限制，我們使用的是無效的暫存證書。這有一個好處是當你在你的瀏覽器訪問Argo、Rancher或你的hello world應用程式，它會給你一個SSL異常。使用Chrome瀏覽器，在你的異常頁面載入時輸入thisisunsafe，它會讓你繞過它。你也可以瞭解更新Cert-manager的ClusterIssuer，以使用生產級的可信證書。

NOTE 2：K3s預裝了一個Traefik作為ingress controller，出於簡單起見，我們直接使用它。

NOTE 4： 要登入Argo CD，它使用admin作為使用者名稱，使用argocd-server pod名作為密碼。你可以透過下面的操作來獲得這個伺服器的pod名（本例中是argocd-server-5bf58444b4-mpvht）。

$ kubectl get pods -n kube-system | grep argocd-serverargocd-server-5bf58444b4-mpvht                   1/1     Running     0          64m

現在你應該能夠訪問Argo CD UI，登入並檢視，如下所示：

既然我們的工具已經部署完成，讓我們在Vault中儲存金鑰，以便hello world應用程式提取。

在Vault中建立金鑰

$ sh tools/vault-config.shYour Vault root token is: s.qEl4Ftr4DR61dmbH3umRaXP0Run the following:export VAULT_TOKEN=s.qEl4Ftr4DR61dmbH3umRaXP0export VAULT_CACERT=/Users/adam.toy/.vault-ca.crtkubectl port-forward -n vault service/vault 8200 &You will then be able to access Vault in your browser at: [https://localhost:8200](https://localhost:8200)

執行輸出的命令，然後導航到https://localhost:8200。輸入上面的root token進行登入。

現在我們已經為hello world應用程式準備好金鑰了。

部署Hello World 應用程式

現在，回到我們的父版本，讓我們執行下面的程式碼來部署hello world應用程式：

$ kubectl apply -f umbrella-apps.yamlappproject.argoproj.io/apps createdapplication.argoproj.io/umbrella-apps created

建立完成後，回到Argo CD UI，你應該看到兩個新應用程式，umbrella-apps和demo-app。單擊demo-app，然後等待所有資源正常執行：

一旦狀態都是healthy之後，你應該能夠透過訪問https://app.YOUR-DOMAIN 導航到你的應用程式。

讓我們也來驗證一下我們的Vault金鑰是否被注入到我們的應用程式pod中。在Argo CD UI的demo-app中，點選應用程式的一個Pod，然後點選頂部的日誌標籤。左邊應該有兩個容器，選擇 test-deployment容器。在日誌的頂部，你應該看到你的金鑰在兩行等號之間：

測試GitOps

現在我們來測試一下Argo CD，確保當我們在倉庫中做一些更改時它能夠自動同步。

在你的工具庫中，找到resources/apps/resources/hello-world.yaml檔案，將replicaCount的值從5改到10。提交併推送你的更改到主分支，然後在Argo CD UI中導航回demo-app。當Argo CD達到它的重新整理間隔時，它會自動開始部署其他5個應用程式副本（如果你不想等待，可以點選你的** umbrella-apps **Argo應用程式**中的重新整理按鈕）：

清 除

清理了ELB之後，執行以下命令並在出現提示時輸入yes：

terraform destroy -var-file=example.tfvars

下一步是什麼？

我們已經有一個很好的工具集來使用GitOps部署應用程式。那麼下一步是什麼？如果你願意接受挑戰，可以嘗試在hello world應用旁邊部署自己的應用，甚至嘗試透過在應用manifest倉庫中更新映象標籤來實現CI/CD。這樣一來，當構建新的應用映象時，新的標籤就會在manifest倉庫中自動更新，Argo CD就會部署新版本。