Инструменты CSI#

CSI (Container Storage Interface) - это стандарт для работы с хранилищами данных в DropApp. CSI добавляет возможность управления и настройки доступа к хранилищам данных в DropApp через плагины.

CSI-external-provisioner#

CSI-external-provisioner - компонент, который управляет динамическим выделением томов CSI. Он обеспечивает создание, монтирование и удаление томов CSI по запросу. Предоставляет API для создания, удаления и монтирования томов и запускается в DropApp в виде pod.

Рекомендуемые флаги приведены в таблице.

CSI-external-provisioner может работать в одном pod с другими внешними контроллерами CSI, такими как CSI-external-attacher, CSI-external-snapshotter и CSI-external-resizer.

CSI-external-provisioner не масштабируется с большим количеством реплик. Только один экземпляр CSI-external-provisioner избирается в качестве главного процесса и работает. Новый главный процесс переизбирается через 15 секунд после завершения работы старого процесса.

Внешний поставщик можно использовать для создания объектов CSIStorageCapacity, которые содержат информацию о емкости хранилища, доступной через драйвер. Затем планировщик DropApp использует эту информацию при выборе nodes для модулей с несвязанными томами, ожидающими первого потребителя.

Все объекты CSIStorageCapacity, созданные экземпляром CSI-external-provisioner, имеют определенные метки:

• csi.storage.k8s.io/drivername - имя драйвера CSI;

• csi.storage.k8s.io/managed-by- CSI-external-provisioner для централизованного предоставления, CSI-external-provisioner для распределенного предоставления.

Они создаются в namespace, указанном в namespace переменной среды.

Каждый экземпляр CSI-external-provisioner управляет именно теми объектами с метками, которые соответствуют экземпляру.

При необходимости все объекты CSIStorageCapacity, созданные экземпляром CSI-external-provisioner, могут иметь владельца. Это гарантирует автоматическое удаление объектов при удалении драйвера CSI. Владелец определяется переменными среды POD_NAME/NAMESPACE и параметром --capacity-ownerref-level.

Если владение отключено, администратор хранилища отвечает за удаление потерянных объектов CSIStorageCapacity, и для очистки потерянных объектов драйвера можно использовать следующую команду:

kubectl delete csistoragecapacities -l csi.storage.k8s.io/drivername=my-csi.example.com

Настройка поддержки емкости#

Следуйте последовательности действий, чтобы настроить поддержку емкости:

1. Установите переменные среды POD_NAME и NAMESPACE:

   env:
   - name: NAMESPACE
     valueFrom:
     fieldRef:
     fieldPath: metadata.namespace
   - name: POD_NAME
     valueFrom:
     fieldRef:
     fieldPath: metadata.name
   

2. Примените манифест:

   CSI-external-provisioner.yaml

   kind: Deployment
   apiVersion: apps/v1
   metadata:
     name: csi-provisioner
   spec:
     replicas: 3
     selector:
       matchLabels:
         app: csi-provisioner
     template:
       metadata:
         labels:
           app: csi-provisioner
       spec:
         serviceAccount: csi-provisioner
         containers:
           - name: csi-provisioner
             image: dappregistry/1.2/csi-provisioner:v3.3.0
             args:
               - "--csi-address=$(ADDRESS)"
               - "--leader-election"
               - "--http-endpoint=:8080"
             env:
               - name: ADDRESS
                 value: /var/lib/csi/sockets/pluginproxy/mock.socket
             imagePullPolicy: "IfNotPresent"
             volumeMounts:
               - name: socket-dir
                 mountPath: /var/lib/csi/sockets/pluginproxy/
             ports:
               - containerPort: 8080
                 name: http-endpoint
                 protocol: TCP
             livenessProbe:
               failureThreshold: 1
               httpGet:
                 path: /healthz/leader-election
                 port: http-endpoint
               initialDelaySeconds: 10
               timeoutSeconds: 10
               periodSeconds: 20
           - name: mock-driver
             image: quay.io/k8scsi/mock-driver:canary
             env:
               - name: CSI_ENDPOINT
                 value: /var/lib/csi/sockets/pluginproxy/mock.socket
             volumeMounts:
               - name: socket-dir
                 mountPath: /var/lib/csi/sockets/pluginproxy/
         volumes:
           - name: socket-dir
             emptyDir:
   

3. Добавьте в командную строку флаги --enable-capacity.

4. Добавьте StorageCapacity: true в информационный объект CSIDriver.

5. Если CSI-external-provisioner не развернут StatefulSet, настройте при помощи флага --capacity-ownerref-level какими объектами будет происходить управление CSIStorageCapacity.

6. Настройте частоту опроса драйвера для обнаружения измененной емкости с помощью флага --capacity-poll-interval.

7. Настройте количество рабочих потоков, используемых параллельно с помощью флага --capacity-threads.

8. Включите создание информации также для классов хранения, которые используют немедленную привязку тома с файлом --capacity-for-immediate-binding.

CSI-external-attacher#

CSI-external-attacher - компонент, который управляет присоединением томов к pods. Он обеспечивает подключение томов к указанному pod. Компонент предоставляет API для присоединения томов и запускается в DropApp в виде pod.

Параметры командной строки CSI-external-attacher представлены в таблице.

CSI-external-resizer#

CSI-external-resizer - компонент, который управляет изменением размеров томов. Он обеспечивает операцию изменения размеров томов CSI. Компонент предоставляет API для изменения размеров томов и запускается в DropApp в виде pod.

Параметры командной строки CSI-external-resizer аналогичны приведенным в таблицах разделов CSI-external-attacher и CSI-external-provisioner.

CSI-external-snapshotter#

CSI-external-snapshotter - компонент управляет созданием и восстановлением снимков томов. Он обеспечивает создание и восстановление снимков томов CSI. Компонент предоставляет API для создания и восстановления снимков томов и запускается в DropApp в виде pod.

CSI-external-snapshotter должен запускаться один раз для каждого драйвера CSI. Развертывание одного контроллера CSI-external-snapshotter работает для всех драйверов CSI в кластере.

Параметры командной строки CSI-external-snapshotter аналогичны приведенным в таблицах разделов CSI-external-attacher и CSI-external-provisioner.

CSI-node-driver-registrar#

CSI-node-driver-registrar - компонент управляет регистрацией драйверов для устройств хранения данных на nodes DropApp. Он обеспечивает регистрацию драйвера на каждом node, который будет использоваться для работы с хранилищами данных. Компонент предоставляет API для регистрации драйверов и запускается в DropApp в виде DaemonSet.

CSI-node-driver-registrar представляет собой дополнительный контейнер, который извлекает информацию о драйвере (используя NodeGetInfo) из конечной точки CSI и регистрирует ее в Kubelet на этом node с помощью механизма регистрации подключаемого модуля Kubelet.

Kubelet напрямую выполняет вызовы CSI NodeGetInfo, NodeStageVolume и NodePublishVolume для драйверов CSI. Он использует механизм регистрации подключаемого модуля Kubelet для обнаружения сокета домена unix для взаимодействия с драйвером CSI. Следовательно, все драйверы CSI должны использовать этот sidecar-контейнер для регистрации в Kubelet.

CSI-node-driver-registrar не взаимодействует с API DropApp, поэтому правила RBAC не нужны.

CSI-node-driver-registrar должен иметь возможность монтировать тома hostPath и иметь права доступа к файлам.

Регистрация DropApp CSI Driver#

Для регистрации CSI Driver выполните следующие шаги:

1. Получите доступ к сокету драйвера CSI (путь: /var/lib/kubelet/plugins/<drivername.example.com>/).

2. Получите доступ к регистрационному сокету (путь: /var/lib/kubelet/plugins_registry/). Убедитесь, что плагин для регистрации доступен на хосте, на котором запущен DropApp. Обычно это можно проверить, выполнив команду kubectl get pods -n kube-system. Если виден pod с именем etcd-<host_name>, то плагин доступен.

3. Проверьте работоспособность CSI-node-driver-registrar:

     containers:
       - name: csi-driver-registrar
         image: dappregistry/sig-storage/csi-node-driver-registrar:v2.5.1
         args:
           - "--v=5"
           - "--csi-address=/csi/csi.sock"
           - "--kubelet-registration-path=/var/lib/kubelet/plugins/<drivername.example.com>/csi.sock"
         livenessProbe:
           exec:
             command:
             - /csi-node-driver-registrar
             - --kubelet-registration-path=/var/lib/kubelet/plugins/<drivername.example.com>/csi.sock
             - --mode=kubelet-registration-probe
           initialDelaySeconds: 30
           timeoutSeconds: 15
   

   Выше приведена конфигурация контейнера для DropApp, который используется для регистрации DropApp CSI Driver. В контейнере используется образ Docker, он содержит программу CSI-node-driver-registrar, которая регистрирует DropApp CSI Driver в кластере.

   Контейнер используется для запуска программы для регистрации драйвера DropApp. Драйвер - это компонент, который позволяет nodes DropApp подключаться к блочным устройствам, таким как диски или сетевые хранилища. В данном случае, контейнер используется для регистрации драйвера DropApp в системе.

   Флаг --mode=kubelet-registration-probe модифицирует CSI-node-driver-registrar в зонд, проверяющий, прошла ли регистрация подключаемого модуля Kubelet успешно. Значение --kubelet-registration-path должно быть таким же, как задано в аргументах контейнера, --csi-address в этом режиме не требуется.

   Если --http-endpoint установлено, то CSI-node-driver-registrar предоставляет конечную точку проверки работоспособности по указанному адресу и пути /healthz, указывая, существует ли сокет регистрации.

4. Примените спецификацию:

         containers:
           - name: csi-driver-registrar
             image: /sig-storage/csi-node-driver-registrar:v2.5.1
             args:
               - "--csi-address=/csi/csi.sock"
               - "--kubelet-registration-path=/var/lib/kubelet/plugins/<drivername.example.com>/csi.sock"
               # Адрес не является существующим и приведен в качестве примера.
               - "--health-port=9809"
             volumeMounts:
               - name: plugin-dir
                 mountPath: /csi
               - name: registration-dir
                 mountPath: /registration
             ports:
               - containerPort: 9809
                 name: healthz
             livenessProbe:
               httpGet:
                 path: /healthz
                 port: healthz
               initialDelaySeconds: 5
               timeoutSeconds: 5
         volumes:
           - name: registration-dir
             hostPath:
               path: /var/lib/kubelet/plugins_registry/
               type: Directory
           - name: plugin-dir
             hostPath:
               path: /var/lib/kubelet/plugins/<drivername.example.com>/
               # Адрес не является существующим и приведен в качестве примера.
               type: DirectoryOrCreate
   

Выше представлен контейнер для DropApp, используемый для регистрации DropApp Controller Manager в кластере DropApp. В конфигурации контейнера используется образ Docker с программой CSI-node-driver-registrar. Контейнер также содержит два тома - /csi и /registration, которые используются для хранения данных регистрации DropApp Controller. Порт 9809 используется для проверки работоспособности контейнера. Liveness Probe проверяет работоспособность контейнера каждые 5 секунд.