Полная конфигурация values TenantCluster#
Конфигурационные параметры values (файл values.yaml) при развертывании TenantCluster (виртуального или логически изолированного кластера арендатора) определяют базовые настройки и политики изоляции. Данные параметры позволяют задать квоты потребления ресурсов, правила управления доступом на основе ролей (RBAC), сетевые политики, а также правила синхронизации ресурсов между управляющим (хост) и виртуальным кластерами.
Конфигурация values#
Все values можно переопределить через CR TenantCluster с именем вложенного кластера и указание нужных параметров в spec.values. Общее описание конфигурации values для инструментов содержится в разделе «Конфигурации инструментов дополнительных компонентов».
sync – настройки синхронизации ресурсов между виртуальным и хост-кластерами
controlPlane – настройка компонентов control-plane и Deployment виртуального кластера
deploy – конфигурация дополнительных компонентов, развертываемых в виртуальном кластере
integrations – интеграция vCluster с операторами и инструментами хост-кластера
policies – политики, применяемые к развертыванию vCluster и внутри виртуального кластера
exportKubeConfig – параметры экспорта файла kubeconfig виртуального кластера
sync – настройки синхронизации ресурсов между виртуальным и хост-кластерами#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение синхронизации |
|
|
Включение синхронизации эндпоинтов из виртуального кластера в хост-кластер |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Синхронизация всех |
|
|
Включение синхронизации |
|
|
Синхронизация всех |
|
|
Включение синхронизации pod из виртуального кластера в хост-кластер |
|
|
Правила сопоставления и замены образов при синхронизации pod |
|
|
Принудительные |
|
|
Включение гибридного планирования pod |
|
|
Список планировщиков, развернутых в хост-кластере |
|
|
Использование |
|
|
Имя |
|
|
Имя |
|
|
Включение перезаписи полного (абсолютного) доменного имени (FQDN, Fully Qualified Domain Name) для pod типа |
|
|
Реестр контейнерного образа (например, |
|
|
Путь к репозиторию контейнерного образа (например, |
|
|
Тег образа контейнера |
|
|
Ограничение ресурсов CPU для контейнера |
|
|
Ограничение ресурсов памяти для контейнера |
|
|
Запрашиваемые ресурсы CPU для контейнера |
|
|
Запрашиваемые ресурсы памяти для контейнера |
|
|
Включение синхронизации |
|
|
Включение синхронизации ресурсов Gateway API |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Включение синхронизации пространств имен |
|
|
Запрет создания пространств имен, не соответствующих заданным правилам сопоставления |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Включение синхронизации событий из хост-кластера в виртуальный |
|
|
Включение синхронизации |
|
|
Сопоставление по имени в формате: |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Сопоставление |
|
|
Селектор для фильтрации синхронизируемых ресурсов. Если не задан, синхронизируются все ресурсы данного типа |
|
|
Политика пространства имен по умолчанию для разрешенных маршрутов |
|
|
Переопределения для разрешенных маршрутов |
|
|
Включение передачи адресов в статусе |
|
|
Включение передачи метаданных исходного |
|
|
Очистка ( |
|
|
Очистка данных инфраструктуры в конфигурации |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
|
Включение синхронизации реальных узлов. При отключении vCluster создает фиктивные узлы |
|
|
Синхронизация меток и |
|
|
Очистка статуса образов при синхронизации узла для скрытия информации о загруженных образах |
|
|
Синхронизация всех узлов хост-кластера, а не только тех, на которых запущены pod виртуального кластера |
|
|
Метки, добавляемые ко всем создаваемым ресурсам |
|
|
Включение синхронизации |
|
|
Сопоставление |
|
|
Включение синхронизации |
|
|
Включение синхронизации |
|
controlPlane – настройка компонентов control-plane и Deployment виртуального кластера#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение дистрибутива Kubernetes. Одновременно может быть включен только один дистрибутив |
|
|
Версия Kubernetes для использования |
|
|
Политика получения контейнерного образа ( |
|
|
Реестр контейнерного образа. Пустое значение означает Docker Hub |
|
|
Путь к репозиторию контейнерного образа дистрибутива |
|
|
Тег образа контейнера |
|
|
Включение компонента API Server |
|
|
Команда запуска контейнера, переопределяющая стандартный |
|
|
Дополнительные аргументы для запуска бинарного файла дистрибутива |
|
|
Включение компонента Controller Manager |
|
|
Команда запуска контейнера, переопределяющая стандартный |
|
|
Дополнительные аргументы для Controller Manager |
|
|
Включение компонента Scheduler |
|
|
Команда запуска контейнера, переопределяющая стандартный |
|
|
Дополнительные аргументы для Scheduler |
|
|
Переменные окружения контейнера |
|
|
Параметры контекста безопасности ( |
|
|
Ограничение ресурсов CPU для контейнера |
|
|
Ограничение ресурсов памяти для контейнера |
|
|
Запрашиваемые ресурсы CPU для контейнера |
|
|
Запрашиваемые ресурсы памяти для контейнера |
|
|
Использование встроенной базы данных (БД) |
|
|
Дополнительные аргументы для Kine (встроенная БД) |
|
|
Использование внешней БД |
|
|
Строка подключения ( |
|
|
Ссылка на |
|
|
Провайдер идентификации для генерации временных токенов аутентификации (например, |
|
|
Путь к файлу сертификата для подключения к БД |
|
|
Путь к файлу приватного ключа для подключения к БД |
|
|
Путь к файлу CA-сертификата для подключения к БД |
|
|
Дополнительные аргументы для Kine (внешняя БД) |
|
|
Использование встроенного etcd |
|
|
Сигнал для миграции с развернутого внешнего etcd на встроенный |
|
|
Дополнительные аргументы для встроенного etcd |
|
|
Использование внешнего etcd |
|
|
Адрес эндпоинта внешнего сервера etcd (например, |
|
|
Путь к файлу CA-сертификата для etcd |
|
|
Путь к файлу сертификата клиента для etcd |
|
|
Путь к файлу приватного ключа клиента для etcd |
|
|
Развертывание собственного внешнего etcd в рамках чарта |
|
|
Развертывание etcd в виде |
|
|
Включение инъекции переменных окружения сервисов ( |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Метки, добавляемые ко всем создаваемым ресурсам |
|
|
Реестр контейнерного образа etcd |
|
|
Путь к репозиторию контейнерного образа etcd |
|
|
Тег образа контейнера |
|
|
Политика получения образа etcd |
|
|
Дополнительные аргументы, передаваемые команде запуска etcd |
|
|
Переменные окружения контейнера |
|
|
Запрашиваемые ресурсы CPU для контейнера |
|
|
Запрашиваемые ресурсы памяти для контейнера |
|
|
Аннотации, добавляемые ко всем создаваемым pod |
|
|
Метки, добавляемые ко всем создаваемым pod |
|
|
Количество реплик pod |
|
|
Политика управления pod в |
|
|
Селектор узлов ( |
|
|
Настройки правила привязки ( |
|
|
|
|
|
Ограничения топологии для равномерного распределения pod по зонам доступности и узлам |
|
|
Имя |
|
|
Параметры контекста безопасности pod |
|
|
Параметры контекста безопасности контейнера |
|
|
Включение создания |
|
|
Политика сохранения PVC при удалении |
|
|
Размер хранилища PVC |
|
|
Имя |
|
|
Режимы доступа к PVC |
|
|
Шаблоны |
|
|
Дополнительные тома ( |
|
|
Дополнительные точки монтирования ( |
|
|
Активация создания |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Адрес, на котором прокси vCluster принимает подключения |
|
|
Порт прокси vCluster. Изменение не поддерживается |
|
|
Дополнительные имена хостов (SANs) для подписи сертификата прокси vCluster |
|
|
Включение компонента CoreDNS |
|
|
Запуск встроенного сервиса CoreDNS в рамках control-plane, а не в виде отдельного |
|
|
Пользовательские манифесты для развертывания CoreDNS (переопределяют стандартные) |
|
|
Пользовательская конфигурация CoreDNS (переопределяет стандартную) |
|
|
Имя |
|
|
Параметры контекста безопасности pod |
|
|
Параметры контекста безопасности контейнера |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Метки, добавляемые ко всем создаваемым ресурсам |
|
|
Тип сервиса CoreDNS |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Метки, добавляемые ко всем создаваемым ресурсам |
|
|
Параметры контейнерного образа |
|
|
Количество реплик pod |
|
|
Метки, добавляемые ко всем создаваемым pod |
|
|
Аннотации, добавляемые ко всем создаваемым pod |
|
|
Селектор узлов для планирования pod |
|
|
Настройки правила привязки ( |
|
|
|
|
|
Ограничение ресурсов CPU для контейнера |
|
|
Ограничение ресурсов памяти для контейнера |
|
|
Запрашиваемые ресурсы CPU для контейнера |
|
|
Запрашиваемые ресурсы памяти для контейнера |
|
|
Ограничения топологии для равномерного распределения pod по зонам доступности и узлам |
|
|
Активация создания |
|
|
Метки, добавляемые ко всем создаваемым ресурсам |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
|
|
|
|
|
|
Тип основного сервиса vCluster |
|
|
Включение |
|
|
Хост, по которому будет доступен vCluster |
|
|
Тип пути |
|
|
Дополнительные метки |
|
|
Аннотации |
|
|
Имя |
|
|
Экспонирование control-plane через |
|
|
Версия API для |
|
|
Хост, по которому будет доступен vCluster через |
|
|
Ссылки на родительские ресурсы ( |
|
|
Дополнительные параметры спецификации |
|
|
Метки, добавляемые ко всем создаваемым ресурсам |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Каталог для хранения данных в автономном режиме |
|
|
Присоединение автономного узла к кластеру. Если |
|
|
Конфигурация процесса интеграции containerd |
|
|
Включение автоматической установки и настройки containerd силами vCluster |
|
|
Метки, добавляемые ко всем создаваемым ресурсам |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Политика получения основного образа vCluster |
|
|
Реестр контейнерного образа vCluster |
|
|
Путь к репозиторию контейнерного образа vCluster |
|
|
Тег образа контейнера |
|
|
Рабочий каталог для основного процесса |
|
|
Команда запуска контейнера, переопределяющая стандартный |
|
|
Аргументы, переопределяющие стандартные аргументы запуска контейнера |
|
|
Переменные окружения контейнера |
|
|
Лимит эфемерного хранилища |
|
|
Ограничение ресурсов памяти для контейнера |
|
|
Запрашиваемое эфемерное хранилище |
|
|
Запрашиваемые ресурсы CPU для контейнера |
|
|
Запрашиваемые ресурсы памяти для контейнера |
|
|
Метки, добавляемые ко всем создаваемым pod |
|
|
Аннотации, добавляемые ко всем создаваемым pod |
|
|
Количество реплик pod |
|
|
Время действия аренды ( |
|
|
Дедлайн для обновления аренды лидером (в секундах) |
|
|
Интервал повторных попыток получения аренды (в секундах) |
|
|
Параметры контекста безопасности pod |
|
|
Активация разрешения на эскалацию привилегий в контейнере |
|
|
ID пользователя для запуска контейнера |
|
|
ID группы для запуска контейнера |
|
|
Включение создания |
|
|
Политика сохранения PVC |
|
|
Размер хранилища PVC |
|
|
Имя |
|
|
Режимы доступа к PVC |
|
|
Шаблоны |
|
|
Дополнительные точки монтирования ( |
|
|
Дополнительные тома для pod |
|
|
Переопределение тома данных. Работает корректно только если |
|
|
Том для бинарных файлов дистрибутива, используемых контроллером синхронизации. Не требует постоянного хранения |
|
|
Включение инъекции переменных окружения сервисов для pod |
|
|
Политика управления pod в |
|
|
Ограничения топологии для равномерного распределения pod по зонам доступности и узлам |
|
|
Имя |
|
|
Селектор узлов для планирования pod |
|
|
Настройки правила привязки ( |
|
|
|
|
|
Включение проверки работоспособности |
|
|
Количество неудачных попыток до перевода контейнера в статус |
|
|
Задержка в секундах перед первой проверкой работоспособности |
|
|
Максимальное время ожидания ответа на проверку (в секундах) |
|
|
Интервал в секундах между проверками работоспособности |
|
|
Включение проверки готовности |
|
|
Количество неудачных попыток до перевода контейнера в статус |
|
|
Максимальное время ожидания ответа на проверку (в секундах) |
|
|
Интервал в секундах между проверками готовности |
|
|
Включение проверки запуска |
|
|
Количество неудачных попыток проверки запуска |
|
|
Максимальное время ожидания ответа на проверку (в секундах) |
|
|
Интервал в секундах между проверками запуска |
|
|
Список init-контейнеров, запускаемых перед основными |
|
|
Список дополнительных sidecar-контейнеров для |
|
|
Список псевдонимов хостов для добавления в |
|
|
Активация создания |
|
|
Метки, добавляемые ко всем создаваемым ресурсам |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Префикс реестра по умолчанию для всех внутренних образов, развертываемых vCluster или Helm. Не влияет на образы пользовательских рабочих нагрузок |
|
|
Включение виртуального планировщика |
|
|
Включение создания |
|
|
Имя для создаваемого |
|
|
Список |
|
|
Метки, добавляемые ко всем создаваемым ресурсам |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Включение создания |
|
|
Имя |
|
|
Список |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Метки, добавляемые ко всем создаваемым ресурсам |
|
|
Метки, добавляемые ко всем создаваемым ресурсам |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Включение сервера konnectivity |
|
|
Дополнительные аргументы для сервера konnectivity |
|
|
Включение агента konnectivity |
|
|
Количество реплик pod |
|
|
Параметры контейнерного образа |
|
|
Политика получения образа агента konnectivity |
|
|
Селектор узлов для планирования pod |
|
|
|
|
|
Дополнительные переменные окружения для агента konnectivity |
|
|
Дополнительные аргументы для агента konnectivity |
|
|
Включение встроенного cloud controller manager. Отключите при использовании внешнего CCM (например, AWS или GCP) |
|
|
Включение встроенного реестра образов |
|
|
Разрешение анонимной загрузки образов из встроенного реестра без аутентификации |
|
|
Конфигурация встроенного реестра (в формате конфигурации Docker registry) |
|
|
Включение встроенного kube-vip |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Включение |
|
privateNodes – конфигурация режима выделенных узлов#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение режима выделенных узлов |
|
|
Конфигурация kubelet, объединяемая с настройками по умолчанию |
|
|
Включение автоматического обновления узлов |
|
|
Максимальное количество узлов, обновляемых одновременно |
|
|
Параметры контекста безопасности pod |
|
|
Параметры контекста безопасности контейнера |
|
|
Включение автоматической установки и настройки containerd |
|
|
Конфигурация автоматического масштабирования узлов |
|
|
Включение VPN для приватных узлов |
|
|
Включение VPN-связи между узлами ( |
|
|
Включение демона для управления приватными узлами |
|
|
Включение балансировщика нагрузки для трафика control-plane на узлах |
|
|
Проксирование трафика kube-proxy через балансировщик нагрузки control-plane |
|
|
Порт для балансировщика нагрузки control-plane |
|
deploy – конфигурация дополнительных компонентов, развертываемых в виртуальном кластере#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение LocalPathProvisioner для динамического выделения хранилища |
|
|
Включение сетевого плагина Flannel (CNI) |
|
|
Включение развертывания kube-proxy |
|
|
Параметры контейнерного образа |
|
|
Политика получения образа kube-proxy |
|
|
Селектор узлов для планирования pod |
|
|
|
|
|
Дополнительные переменные окружения для kube-proxy |
|
|
Дополнительные аргументы для запуска kube-proxy |
|
|
Конфигурация kube-proxy, объединяемая с настройками по умолчанию |
|
|
Включение MetalLB для предоставления внешних IP-адресов |
|
|
Список IP-адресов для пула адресов MetalLB |
|
|
Включение L2-анонсирования для пула адресов MetalLB |
|
|
Параметры контейнерного образа контроллера MetalLB |
|
|
Параметры контейнерного образа |
|
|
Включение развертывания Ingress-nginx |
|
|
Назначение развернутого |
|
|
Включение развертывания Metrics Server |
|
|
Включение развертывания |
|
integrations – интеграция vCluster с операторами и инструментами хост-кластера#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение интеграции с Metrics Server |
|
|
Проксирование API узлов из хост-кластера в виртуальный для Metrics Server |
|
|
Проксирование API pod из хост-кластера в виртуальный для Metrics Server |
|
|
Включение интеграции с External Secrets Operator |
|
|
Включение |
|
|
Синхронизация |
|
|
Синхронизация хранилищ |
|
|
Синхронизация кластерных хранилищ |
|
|
Включение интеграции с KubeVirt |
|
|
Включение |
|
|
Синхронизация ресурсов |
|
|
Синхронизация ресурсов |
|
|
Синхронизация ресурсов |
|
|
Синхронизация ресурсов |
|
|
Синхронизация ресурсов |
|
|
Синхронизация ресурсов |
|
|
Включение интеграции с Cert-manager |
|
|
Синхронизация ресурсов |
|
|
Синхронизация ресурсов |
|
|
Синхронизация ресурсов |
|
|
Метки, добавляемые ко всем создаваемым ресурсам |
|
|
Включение интеграции с Istio |
|
|
Синхронизация ресурсов |
|
|
Синхронизация ресурсов |
|
|
Синхронизация ресурсов |
|
rbac – настройки RBAC (управление доступом на основе ролей)#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение создания ролей для vCluster |
|
|
Полное переопределение правил для ролей |
|
|
Дополнительные правила, добавляемые к ролям |
|
|
Включение создания |
|
|
Полное переопределение правил для |
|
|
Дополнительные правила, добавляемые к |
|
|
Включение правил RBAC, необходимых для работы с |
|
networking – сетевые настройки виртуального кластера#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
CIDR-диапазон для pod в виртуальном кластере. Следует задавать только при включенном |
|
|
Список сервисов для синхронизации из виртуального кластера в хост-кластер. При синхронизации в другое пространство имен требуются дополнительные права доступа |
|
|
Список сервисов для синхронизации из хост-кластера в виртуальный |
|
|
Пользовательские правила разрешения DNS. Работает только при включенном встроенном CoreDNS |
|
|
Домен Kubernetes-кластера, используемый внутри виртуального кластера |
|
|
Использование DNS хост-кластера в качестве резервного. Позволяет обращаться к сервисам хост-кластера по полному имени (например, |
|
|
Добавление специального имени хоста vCluster к узлам для маршрутизации. Может не работать с некоторыми приложениями (например, Prometheus требует IP-адрес узла) |
|
|
Создание отдельного сервиса в хост-кластере для каждого узла, указывающего на виртуальный кластер, для корректной маршрутизации трафика |
|
policies – политики, применяемые к развертыванию vCluster и внутри виртуального кластера#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение квоты ресурсов ( |
|
|
Метки, добавляемые ко всем создаваемым ресурсам |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Параметры квоты ресурсов (лимиты и запросы на CPU, память, хранилище, количество объектов) |
|
|
Выражения для селектора области действия квоты |
|
|
Области действия для квоты ресурсов |
|
|
Включение ограничений. Значение |
|
|
Метки, добавляемые ко всем создаваемым ресурсам |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Значение по умолчанию для эфемерного хранилища |
|
|
Значение по умолчанию для памяти |
|
|
Значение по умолчанию для CPU |
|
|
Запрашиваемое по умолчанию эфемерное хранилище |
|
|
Запрашиваемая по умолчанию память |
|
|
Запрашиваемый по умолчанию CPU |
|
|
Минимальные допустимые значения для |
|
|
Максимальные допустимые значения для |
|
|
Включение развертывания |
|
|
Метки, добавляемые ко всем создаваемым ресурсам |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Резервный DNS-сервер, используемый, если в виртуальном кластере отсутствует собственный DNS-сервер |
|
|
Настройки |
|
|
Правила исходящего трафика для control-plane vCluster |
|
|
Включение разрешения на публичный исходящий трафик для рабочих нагрузок |
|
|
Разрешенный CIDR-диапазон для публичного исходящего трафика (например, |
|
|
Список CIDR-диапазонов, исключенных из разрешенного исходящего трафика |
|
|
Настройки |
|
|
Правила исходящего трафика для рабочих нагрузок vCluster |
|
|
|
|
|
|
|
exportKubeConfig – параметры экспорта файла kubeconfig виртуального кластера#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Имя контекста в генерируемом файле |
|
|
Пользовательский URL-адрес сервера для генерируемого |
|
|
Пропуск проверки TLS-сертификата сервера |
|
|
Имя |
|
|
Пространство имен |
|
|
|
|
|
Имя |
|
|
Пространство имен для сохранения |
|
|
Дополнительные |
|
plugins – конфигурация плагинов vCluster#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Определение плагинов vCluster, которые необходимо загрузить |
|
experimental – экспериментальные функции vCluster#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение балансировщика нагрузки для среды Docker |
|
|
Проброс портов балансировщика нагрузки на локальный хост |
|
|
Включение прокси-сервера для реестра образов в среде Docker |
|
|
Сопоставление пользовательских ресурсов (в формате |
|
|
Установка ссылки на владельца ( |
|
|
Сырые манифесты Kubernetes, применяемые непосредственно в хост-кластере |
|
|
Шаблон манифеста Kubernetes, который рендерится с использованием значений vCluster перед применением в хост-кластере |
|
|
Манифесты и чарты Helm для развертывания внутри самого виртуального кластера |
|
|
Конфигурация для создания |
|
telemetry – настройки телеметрии#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение сбора анонимной телеметрии об использовании vCluster |
|
logging – настройки структурированного логирования#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Формат вывода логов vCluster: |
|