"stable"なHelm ChartからNGINXを移行する方法

過去4年間、Kubernetes用のIngress NGINX Controllerをデプロイしたい人はHelmプロジェクトで管理されているstableリポジトリで公式のHelm chartであるnginx-ingressを見つけることができました。

ですがもうそんな時代は終わりました。リポジトリはリバースプロキシやロードバランサーとして使用されている最も人気のあるIngressコントローラーであるNGINXだけでなく、すべてのオープンソースのK8sアプリのためのものです。

Helm 3の登場に伴い、Helmプロジェクトはstableリポジトリを非推奨としています。2019年11月時点ではchart所有者が個々のリポジトリに移行していく中で、新規chartはstableとして受入れられませんでした。 — stableリポジトリはHelm Hubから削除され、今年の11月には正式に廃止される予定です。

これはNGINXデプロイのインストーラーやメンテナーにとって何を意味するのでしょうか？まず最初にNGINXプロジェクトはGitHubリポジトリにKubernetes用に新しいingress-nginx Helm chartを提供しています。NGINX Ingress Controllerのデプロイメントをインストールおよび更新する場合はこのリポジトリのchartを使用してください。

新しいchartは現在、同じバージョンのNGINXアプリを展開しているにもかかわらず、stableのchartと同じではありません。このため、新しいchartを使用してNGINXを更新する際には多少の調整が必要になります。

ここではどのような機能があるのか、またJFrog ChartCenterが移行に際してどのようにして役立つのかを見てみましょう。

Helmセントラル・リポジトリ

stableなHelm chartは人気のある多数のKubernetesアプリの公式chartを常にセントラル・リポジトリで見つけることができることを意味していました。それはHelmクライアントにstableリポジトリを追加するだけです:

$ helm repo add stable https://kubernetes-charts.storage.googleapis.com/

この単一のstableリポジトリから作成者が承認した最新のHelm chartを使用して間違いなくnginx-ingressをデプロイすることができます。

stableリポジトリはほぼ陳腐化しているため、既知のHelm chart唯一のソースとしては利用できなくなっています。NGINXはHelmクライアントに個別にingress-nginxを追加するように指示するようになっています:

$ helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx

セントラル・リポジトリがなければ別のK8sアプリを維持する度に別のhelm repo addを実行する必要があります。

もっと良い方法はないのでしょうか？

ChartCenterのIngress NGINXコントローラー

JFrog ChartCenterはHelmコミュニティによって変更不可であり、安全で信頼性の高いchartを見つけ、1つの場所からすべてのchartをプロキシするための信頼できる唯一の情報源を持つために構築された無料のHelm chartセントラル・リポジトリです。Helmクライアントから1つのHelmセントラル・リポジトリとして使用できるので、多数公開されているHelmリポジトリを追加する必要がなく、代わりに1つだけを利用することができます。

ChartCenterを通して、30,000バージョン以上のHelm chartが利用可能であり、NGINX Ingressコントローラーを含む多数の人気のあるアプリchartがホームページに掲載されているため、容易に検索できます。

ChartCenterからstableなhelm chartからnginx-ingressを検索可能です:

また、ChartCenterでcurrentなchartからingress-nginxを見つけることもできます。

ChartCenterの利用

一度、ChartCenterをHelmクライアントに追加すると我々のデモで使用するNGINXリポジトリの両方を含む全てをHelm chartセントラル・リポジトリとして使用することができます。

ステップ1: HelmリポジトリとしてChartCenterを追加

Helmクライアントを設定し、ChartCenterリポジトリを単一のセントラルロケーションとしてchartが使用できるように設定します:

$ helm repo add center https://repo.chartcenter.io

$ helm repo add center https://repo.chartcenter.io
$ helm repo update

ステップ: リポジトリとしてChartCenterを利用

それではhelmクライアントからnginx-ingressとingress-nginxのchartを確認してみましょう:

$ helm search repo center/stable/nginx-ingress
NAME                       	CHART VERSION	APP VERSION	DESCRIPTION
center/stable/nginx-ingress	1.41.2       	v0.34.1    	An nginx Ingress controller that uses ConfigMap...
 
$ helm search repo center/kubernetes-ingress-nginx/ingress-nginx
NAME                                         	CHART VERSION	APP VERSION	DESCRIPTION
center/kubernetes-ingress-nginx/ingress-nginx	2.11.2       	0.34.1     	Ingress controller for Kubernetes using NGINX a...

ChartCenter UIで検索した同一バージョンのchartが表示されます。

そして、ここでは異なるHelmリポジトリからのchartを1つのHelmセントラル・リポジトリで利用することがいかに簡単なのかが分かります。

nginx-ingress Helm chartのインストール

アップグレードをテストするためにnginx-ingress chartをインストールする必要があります。小さなシェルスクリプトnginx-ingress.shを使用して、上書き用のvaluesファイルを作成し、nginx-ingressをインストールします。

nginx-ingress.shにはchart名、バージョン、ロードバランサーの固定IPがあります:

#!/bin/bash
 
CHART_NAME="center/stable/nginx-ingress"
CHART_VERSION="1.41.2"
RELEASE=nginx-ingress
NAMESPACE=nginx-ingress
VALUES_FILE=nginx-ingress.yaml
LB_STATIC_IP=35.197.192.35
 
generateValues() {
   cat << EOF > "${VALUES_FILE}"
# Override values for nginx-ingress
 
controller:
 
 ## Use host ports 80 and 443
 daemonset:
   useHostPort: true
 
 kind: DaemonSet
 
 service:
 
   ## Set static IP for LoadBalancer
   loadBalancerIP: ${LB_STATIC_IP}
 
   externalTrafficPolicy: Local
 
 stats:
   enabled: true
 
 metrics:
   enabled: true
EOF
}
 
generateValues
kubectl create ns nginx-ingress || true
echo
helm upgrade --install ${RELEASE} -n ${NAMESPACE} ${CHART_NAME} --version ${CHART_VERSION} -f ${VALUES_FILE}
echo
kubectl -n ${NAMESPACE} get all

nginx-ingress.shを実行し、nginx-ingressをインストールしてみましょう:

$ ./nginx-ingress.sh
namespace/nginx-ingress created
 
Release "nginx-ingress" does not exist. Installing it now.
NAME: nginx-ingress
LAST DEPLOYED: Mon Aug 10 17:27:13 2020
NAMESPACE: nginx-ingress
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
The nginx-ingress controller has been installed.
It may take a few minutes for the LoadBalancer IP to be available.
You can watch the status by running 'kubectl --namespace nginx-ingress get services -o wide -w nginx-ingress-controller'
 
An example Ingress that makes use of the controller:
 
  apiVersion: extensions/v1beta1
  kind: Ingress
  metadata:
    annotations:
      kubernetes.io/ingress.class: nginx
    name: example
    namespace: foo
  spec:
    rules:
      - host: www.example.com
        http:
          paths:
            - backend:
                serviceName: exampleService
                servicePort: 80
              path: /
    # This section is only required if TLS is to be enabled for the Ingress
    tls:
        - hosts:
            - www.example.com
          secretName: example-tls
 
If TLS is enabled for the Ingress, a Secret containing the certificate and key must also be provided:
 
  apiVersion: v1
  kind: Secret
  metadata:
    name: example-tls
    namespace: foo
  data:
    tls.crt: 
    tls.key: 
  type: kubernetes.io/tls
 
NAME                                                 READY   STATUS              RESTARTS   AGE
pod/nginx-ingress-controller-rrsl9                   0/1     ContainerCreating   0          1s
pod/nginx-ingress-default-backend-5b967cf596-wrrfl   0/1     ContainerCreating   0          1s
 
NAME                                       TYPE           CLUSTER-IP      EXTERNAL-IP   PORT(S)                      AGE
service/nginx-ingress-controller           LoadBalancer   10.242.2.213         80:30643/TCP,443:31622/TCP   2s
service/nginx-ingress-controller-metrics   ClusterIP      10.242.10.112           9913/TCP                     2s
service/nginx-ingress-default-backend      ClusterIP      10.242.11.172           80/TCP                       2s
 
NAME                                      DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
daemonset.apps/nginx-ingress-controller   1         1         0       1            0                     3s
 
NAME                                            READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/nginx-ingress-default-backend   0/1     1            0           2s
 
NAME                                                       DESIRED   CURRENT   READY   AGE
replicaset.apps/nginx-ingress-default-backend-5b967cf596   1         1         0       2s

そしてPodとserviceを確認してみましょう:

$ kubectl -n nginx-ingress get pods
NAME                                             READY   STATUS    RESTARTS   AGE
nginx-ingress-controller-rrsl9                   1/1     Running   0          78s
nginx-ingress-default-backend-5b967cf596-wrrfl   1/1     Running   0          78s
 
$ kubectl -n nginx-ingress get svc
NAME                               TYPE           CLUSTER-IP      EXTERNAL-IP     PORT(S)                      AGE
nginx-ingress-controller           LoadBalancer   10.242.2.213    35.197.192.35   80:30643/TCP,443:31622/TCP   89s
nginx-ingress-controller-metrics   ClusterIP      10.242.10.112             9913/TCP                     89s
nginx-ingress-default-backend      ClusterIP      10.242.11.172             80/TCP                       89s

NGINX IngressコントローラーPodが起動し、ロードバランサーで外部IPが割当てられました。

nginx-ingress chartのインストールが成功したので、アップグレードに移りましょう。

ingress-nginx Helm chartのアップグレード

NGINX Ingress Controllerのアップグレードを最新のchartを利用して実施しましょう。

ingress-nginx.shという名前に変えて今回もシェルスクリプトを実行します。

ingress-nginx.shはchart名とバージョンは異なりますがHelmのリリース名とロードバランサーの静的IPは同じです。

#!/bin/bash
 
CHART_NAME="center/kubernetes-ingress-nginx/ingress-nginx"
CHART_VERSION="2.11.1"
RELEASE=nginx-ingress
NAMESPACE=nginx-ingress
VALUES_FILE=ingress-nginx.yaml
LB_STATIC_IP=35.197.192.35
 
generateValues() {
   cat << EOF > "${VALUES_FILE}"
# Override values for ingress-nginx
 
controller:
 
 ## Use host ports 80 and 443
 hostPort:
   enabled: true
 
 kind: DaemonSet
 
 service:
 
   ## Set static IP for LoadBalancer
   loadBalancerIP: ${LB_STATIC_IP}
 
   externalTrafficPolicy: Local
 
 stats:
   enabled: true
 
 metrics:
   enabled: true
 
 admissionWebhooks:
   enabled: false
 
defaultBackend:
 enabled: true
EOF
}
 
generateValues
echo
helm upgrade --install ${RELEASE} -n ${NAMESPACE} ${CHART_NAME} --version ${CHART_VERSION} -f ${VALUES_FILE}
echo
kubectl -n ${NAMESPACE} get all

ingress-nginx.shはnginx-ingress.shといくつかの違いがあります:

controller:
 
 ## Use host ports 80 and 443
 daemonset:
   useHostPort: true

いくつかの値が変更されました:

controller:
 
 ## Use host ports 80 and 443
 hostPort:
   enabled: true
 
 kind: DaemonSet

いくつかの値が追加されました:

admissionWebhooks:
   enabled: false
 
defaultBackend:
  enabled: true

今回のアップグレードシナリオではadmissionWebhooksを使用していないため無効にし、nginx-ingressのchartではデフォルトで有効になっていますがdefaultBackendを有効にしています。もちろん、必要に応じて値を微調整することができます。

ingress-nginx.shを実行し、nginx-ingressをアップグレードしてみましょう:

Release "nginx-ingress" has been upgraded. Happy Helming!
NAME: nginx-ingress
LAST DEPLOYED: Mon Aug 10 18:00:31 2020
NAMESPACE: nginx-ingress
STATUS: deployed
REVISION: 2
TEST SUITE: None
NOTES:
The ingress-nginx controller has been installed.
It may take a few minutes for the LoadBalancer IP to be available.
You can watch the status by running 'kubectl --namespace nginx-ingress get services -o wide -w nginx-ingress-ingress-nginx-controller'
 
An example Ingress that makes use of the controller:
 
  apiVersion: networking.k8s.io/v1beta1
  kind: Ingress
  metadata:
    annotations:
      kubernetes.io/ingress.class: nginx
    name: example
    namespace: foo
  spec:
    rules:
      - host: www.example.com
        http:
          paths:
            - backend:
                serviceName: exampleService
                servicePort: 80
              path: /
    # This section is only required if TLS is to be enabled for the Ingress
    tls:
        - hosts:
            - www.example.com
          secretName: example-tls
 
If TLS is enabled for the Ingress, a Secret containing the certificate and key must also be provided:
 
  apiVersion: v1
  kind: Secret
  metadata:
    name: example-tls
    namespace: foo
  data:
    tls.crt: 
    tls.key: 
  type: kubernetes.io/tls
 
NAME                                                              READY   STATUS        RESTARTS   AGE
pod/nginx-ingress-controller-rrsl9                                1/1     Terminating   0          33m
pod/nginx-ingress-default-backend-5b967cf596-wrrfl                0/1     Terminating   0          33m
pod/nginx-ingress-ingress-nginx-controller-f9ztr                  0/1     Pending       0          5s
pod/nginx-ingress-ingress-nginx-defaultbackend-845f7cfd46-56grw   1/1     Running       0          5s
 
NAME                                                     TYPE           CLUSTER-IP      EXTERNAL-IP     PORT(S)                      AGE
service/nginx-ingress-controller                         LoadBalancer   10.242.2.213    35.197.192.35   80:30643/TCP,443:31622/TCP   33m
service/nginx-ingress-ingress-nginx-controller           LoadBalancer   10.242.13.184          80:30601/TCP,443:30644/TCP   6s
service/nginx-ingress-ingress-nginx-controller-metrics   ClusterIP      10.242.12.190             9913/TCP                     6s
service/nginx-ingress-ingress-nginx-defaultbackend       ClusterIP      10.242.11.112             80/TCP                       5s
 
NAME                                                    DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
daemonset.apps/nginx-ingress-ingress-nginx-controller   1         1         0       1            0                     6s
 
NAME                                                         READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/nginx-ingress-ingress-nginx-defaultbackend   1/1     1            1           6s
 
NAME                                                                    DESIRED   CURRENT   READY   AGE
replicaset.apps/nginx-ingress-ingress-nginx-defaultbackend-845f7cfd46   1         1         1       6s

Podとservice を確認してみましょう:

$ kubectl -n nginx-ingress get pods
NAME                                                          READY   STATUS    RESTARTS   AGE
nginx-ingress-ingress-nginx-controller-f9ztr                  0/1     Running   0          34s
nginx-ingress-ingress-nginx-defaultbackend-845f7cfd46-56grw   1/1     Running   0          34s

$ kubectl -n nginx-ingress get svc
NAME                                             TYPE           CLUSTER-IP      EXTERNAL-IP     PORT(S)                      AGE
nginx-ingress-controller                         LoadBalancer   10.242.2.213    35.197.192.35   80:30643/TCP,443:31622/TCP   34m
nginx-ingress-ingress-nginx-controller           LoadBalancer   10.242.13.184          80:30601/TCP,443:30644/TCP   40s
nginx-ingress-ingress-nginx-controller-metrics   ClusterIP      10.242.12.190             9913/TCP                     40s
nginx-ingress-ingress-nginx-defaultbackend       ClusterIP      10.242.11.112             80/TCP                       39s

Podが更新されていて、新旧2つのserviceがあります。

kubectl -n nginx-ingress get svcを再度、実行してみましょう:

$ kubectl -n nginx-ingress get svc
NAME                                             TYPE           CLUSTER-IP      EXTERNAL-IP     PORT(S)                      AGE
nginx-ingress-ingress-nginx-controller           LoadBalancer   10.242.13.184   35.197.192.35   80:30601/TCP,443:30644/TCP   3m26s
nginx-ingress-ingress-nginx-controller-metrics   ClusterIP      10.242.12.190             9913/TCP                     3m26s
nginx-ingress-ingress-nginx-defaultbackend       ClusterIP      10.242.11.112             80/TCP                       3m25s

すると、古いserviceは削除され、kubectlを使った他のコマンドを利用せすにhelm upgradeを実行しただけで新しいserviceが作成されました。もちろん、serviceを置換する場合は新しいserviceのために新しいロードバランサーを作成する必要があるため、ダウンタイムが発生します。

ありがとう、そして幸運を

2つの異なるchart間のシームレスなアップグレードを実現してくれたNGINX Ingressコントローラーのchartメンテナーに感謝します。

他のK8sアプリの個々のchartリポジトリへの移行も同様にスムーズに実施できます。Helm chartセントラル・リポジトリとしてChartCenterを利用することで、これらを実施することができます。

Happy Ingressing

“stable”なHelm ChartリポジトリからChartCenterでNGINXを移行する