Vector-aggregator#
Vector-aggregator - это архитектурная роль Vector, при которой Vector разворачивается как централизованный инструмент для обработки и маршрутизации данных телеметрии, поступающих от агентов в частности, от Vector-agent или других источников.
Основные задачи и возможности Vector в режиме aggregator в DropApp:
Централизованная обработка данных: Vector-aggregator принимает данные от множества агентов (например, запущенных на узлах как Vector в режиме
agent) и выполняет их преобразование, фильтрацию и агрегацию перед отправкой в конечное хранилище или систему анализа.Масштабируемость и распределенная обработка: Vector-aggregator позволяет вынести тяжелые операции по обработке данных за пределы узлов, где работают контейнеры, обеспечивая более равномерную нагрузку и высокую производительность.
Поддержка множества протоколов и источников: Vector-aggregator может принимать данные из разных источников (например, через
TCP,UDP,HTTP,gRPC), что делает его универсальным центром обработки телеметрии в кластере.Резервное копирование и буферизация: обеспечивает временное хранение данных и их отправку даже в условиях нестабильного соединения с целевыми системами, снижая риск потери данных.
Интеграция с Kubernetes через
DeploymentилиStatefulSet: Vector-aggregator в режимеaggregatorобычно разворачивается как отдельный компонент кластера, например, с использованиемDeploymentилиStatefulSet, чтобы обеспечить отказоустойчивость и управляемость.Маршрутизация и мультиплексирование данных: позволяет направлять данные в разные системы назначения (Elasticsearch, S3, Loki, Kafka и др.) в зависимости от типа и содержания.
Примечание
Vector-aggregator устанавливается по умолчанию с компонентом logging. Для Vector-aggregator преднастроена интеграция с Vector-agent.
Конфигурация values#
Значения можно переопределить через редактирование инструмента с именем vector-aggregator и указанием нужных values в spec.values. Общее описание конфигурации values для инструментов описано в разделе «Конфигурации инструментов дополнительных компонентов».
rollWorkload – пересоздание workload при изменении ConfigMap
rollWorkloadSecrets – пересоздание workload при изменении Secret
rollWorkloadExtraObjects – пересоздание workload при изменении extraObjects
podDisruptionBudget – ограничение одновременной недоступности pod
workloadResourceAnnotations – аннотации workload-ресурса Vector
revisionHistoryLimit – количество сохраняемых ресурсов для отката
terminationGracePeriodSeconds – тайм-аут корректного завершения работы pod
affinity – правила привязки (affinity и anti-affinity) pod к узлам
topologySpreadConstraints – ограничения распределения pod по топологии
ingress – настройки Ingress для маршрутизации внешнего трафика
existingConfigMaps – внешние ConfigMap с конфигурацией Vector
persistence – параметры постоянного хранилища (PersistentVolumeClaim)
shareProcessNamespace – совместное использование пространства имен процессов контейнерами
nameOverride – переопределение имени чарта#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Переопределение базового имени ресурсов чарта для генерации имен |
|
fullnameOverride – полное переопределение имени чарта#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Полное переопределение имени для всех создаваемых ресурсов чарта |
|
role – роль экземпляра Vector#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Роль экземпляра Vector. |
|
daemonSet – переопределение версии API для DaemonSet#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Переопределение версии API для |
|
statefulSet – переопределение версии API для StatefulSet#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Переопределение версии API для |
|
rollWorkload – пересоздание workload при изменении ConfigMap#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Активация добавления контрольной суммы сгенерированного |
|
rollWorkloadSecrets – пересоздание workload при изменении Secret#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Активация добавления контрольной суммы сгенерированного |
|
rollWorkloadExtraObjects – пересоздание workload при изменении extraObjects#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Активация добавления контрольной суммы объектов из extraObjects в аннотации |
|
commonLabels – общие метки для всех ресурсов#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Дополнительные метки, добавляемые ко всем создаваемым ресурсам |
|
image – параметры контейнерного образа#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Переопределение реестра и имени образа Vector |
|
|
Политика загрузки образа Vector. |
|
|
Список |
|
|
Тег образа контейнера |
|
|
SHA-хеш образа для проверки целостности |
|
|
Базовый дистрибутив образа Vector. При указании заменяет суффикс базового дистрибутива в |
|
replicas – количество реплик#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Количество реплик pod |
|
hostAliases – псевдонимы хостов#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Список псевдонимов хостов для добавления в |
|
podManagementPolicy – политика управления pod#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Политика управления pod для |
|
secrets – секреты для использования Vector#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Набор произвольных ключей и значений, добавляемых в |
|
autoscaling – настройки автомасштабирования#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Создание |
|
|
Активация масштабирования внешним механизмом, например KEDA |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Минимальное количество реплик при автоматическом масштабировании |
|
|
Максимальное количество реплик при автоматическом масштабировании |
|
|
Целевой процент утилизации CPU для HPA Vector |
|
|
Целевой процент утилизации памяти для HPA Vector |
|
|
Настройка пользовательской метрики для автомасштабирования. |
|
|
Раздельная настройка поведения |
|
podDisruptionBudget – ограничение одновременной недоступности pod#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение |
|
|
Минимальное количество pod, которое должно оставаться доступным после вытеснения ( |
|
|
Максимальное количество pod, которое может быть недоступно после вытеснения ( |
|
rbac – настройки RBAC (управление доступом на основе ролей)#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Активация автоматического создания ресурсов RBAC |
|
|
Дополнительные правила Kubernetes RBAC, добавляемые в |
|
psp – создание PodSecurityPolicy#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Создание ресурса |
|
serviceAccount – настройки сервисного аккаунта#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение создания |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Имя |
|
|
Активация автоматического монтирования учетных данных API в |
|
podAnnotations – аннотации pod Vector#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Аннотации, добавляемые на pod Vector |
|
podLabels – метки pod Vector#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Метка для pod Vector. Обычно используется для исключения логов Vector из сбора метрик |
|
podPriorityClassName – имя PriorityClass#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Имя |
|
podHostNetwork – использование hostNetwork#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Активация запуска pod Vector в сетевом пространстве узла |
|
podSecurityContext – параметры контекста безопасности pod#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Переопределяет стандартный |
|
workloadResourceAnnotations – аннотации workload-ресурса Vector#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Аннотации для ресурса |
|
securityContext – контекст безопасности контейнеров Vector#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Контекст безопасности для контейнеров Vector |
|
command – команда запуска контейнера#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Команда запуска контейнера, переопределяющая стандартный |
|
args – аргументы запуска контейнера#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Аргументы, переопределяющие стандартные аргументы запуска контейнера |
|
env – параметры переменных окружения контейнера#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Переменные окружения контейнера. |
|
envFrom – альтернативные источники переменных окружения#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Источники переменных окружения ( |
|
containerPorts – порты контейнера Vector#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Cписок портов контейнера с отключением автоматической генерации |
|
resources – запросы и ограничения ресурсов контейнера#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Запросы и ограничения ресурсов для контейнера. |
|
lifecycle – хуки жизненного цикла контейнера#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Параметры |
|
minReadySeconds – минимальное время готовности pod#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Время в состоянии |
|
revisionHistoryLimit – количество сохраняемых ресурсов для отката#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Количество предыдущих версий ресурса, сохраняемых для отката |
|
updateStrategy – стратегия обновления ресурсов#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Стратегия обновления ресурса. |
|
terminationGracePeriodSeconds – тайм-аут корректного завершения работы pod#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Время, отведенное на корректное завершение работы pod |
|
nodeSelector – селектор узлов для планирования pod#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Селектор узлов для планирования pod |
|
tolerations – параметры Toleration для pod#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
|
|
affinity – правила привязки (affinity и anti-affinity) pod к узлам#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Настройки правила привязки ( |
|
topologySpreadConstraints – ограничения распределения pod по топологии#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Ограничения топологии для равномерного распределения pod по зонам доступности и узлам |
|
service – настройки Service#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Активация создания |
|
|
Тип |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Задание |
|
|
Список портов |
|
|
Политика маршрутизации внешнего трафика для |
|
|
Политика маршрутизации внутреннего трафика для |
|
|
Статический IP-адрес для |
|
|
Политика использования IPv4/IPv6 для |
|
|
Список IP-семейств, поддерживаемых |
|
|
Параметр распределения трафика для |
|
serviceHeadless – настройки headless-сервиса#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Создание headless-сервиса |
|
ingress – настройки Ingress для маршрутизации внешнего трафика#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение |
|
|
Имя |
|
|
Аннотации |
|
|
Массив хостов |
|
|
Массив объектов TLS для |
|
existingConfigMaps – внешние ConfigMap с конфигурацией Vector#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Список существующих |
|
dataDir – путь для хранения данных Vector#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Путь к каталогу данных Vector при использовании существующих |
|
customConfig – пользовательская конфигурация Vector#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
API-адрес Vector для |
|
|
Включение встроенного API Vector |
|
|
Каталог хранения данных Vector |
|
|
Адрес прослушивания входа |
|
|
Тип источника для приема данных |
|
|
Адрес прослушивания входа Fluent |
|
|
Тип источника для приема событий Fluent |
|
|
Тип источника внутренних метрик Vector |
|
|
Адрес прослушивания входа |
|
|
Тип источника для приема событий |
|
|
Адрес прослушивания входа Splunk HEC |
|
|
Тип источника для приема событий Splunk HEC |
|
|
Адрес прослушивания входа StatsD |
|
|
Режим работы входа StatsD, например |
|
|
Тип источника для приема метрик StatsD |
|
|
Адрес прослушивания входа Syslog |
|
|
Режим работы входа Syslog, например |
|
|
Тип источника для приема сообщений Syslog |
|
|
Адрес прослушивания входа Vector |
|
|
Тип источника для приема событий от других экземпляров Vector |
|
|
Версия протокола источника Vector |
|
|
Тип |
|
|
Список входов для |
|
|
VRL-скрипт, который добавляет значение |
|
|
Тип |
|
|
Список входов для |
|
|
VRL-скрипт, который заполняет поле |
|
|
Тип |
|
|
Список входов для |
|
|
VRL-скрипт, который пытается определить systemd unit из |
|
|
Тип |
|
|
Список входов для |
|
|
Условие маршрута для audit-событий Kubernetes |
|
|
Условие маршрута для логов pod Kubernetes |
|
|
Условие маршрута для логов узла и внешних источников |
|
|
Тип |
|
|
Список входов для |
|
|
VRL-скрипт, который извлекает ключевые pod |
|
|
Тип |
|
|
HTTP эндпоинт Loki для записи логов pod |
|
|
Разрешает неограниченное разрешение шаблонов для sink логов pod |
|
|
Список входов для |
|
|
Кодек сериализации событий перед отправкой в Loki |
|
|
Алгоритм сжатия запросов к Loki |
|
|
Максимальный размер batch в байтах при отправке в Loki |
|
|
Максимальное количество событий в batch при отправке в Loki |
|
|
Тайм-аут batch перед принудительной отправкой в Loki |
|
|
Количество параллельных запросов к Loki |
|
|
Интервал rate limit для запросов к Loki |
|
|
Максимальное количество запросов к Loki за один интервал rate limit |
|
|
Начальный backoff при повторных попытках отправки в Loki |
|
|
Максимальная длительность повторных попыток отправки в Loki |
|
|
Тайм-аут HTTP-запроса к Loki |
|
|
Тип буфера для |
|
|
Максимальный размер буфера |
|
|
Поведение при заполнении буфера |
|
|
Статическая метка |
|
|
Шаблон метки |
|
|
Шаблон метки |
|
|
Шаблон метки |
|
|
Шаблон метки |
|
|
Шаблон метки |
|
|
Шаблон метки |
|
|
Шаблон метки |
|
|
Шаблон метки |
|
|
Шаблон метки |
|
|
Действие для событий, пришедших не по порядку времени |
|
|
Тип |
|
|
HTTP эндпоинт Loki для записи логов узлов |
|
|
Разрешает неограниченное разрешение шаблонов для |
|
|
Список входов для |
|
|
Кодек сериализации событий перед отправкой логов узлов в Loki |
|
|
Алгоритм сжатия запросов |
|
|
Максимальный размер batch для логов узлов в байтах |
|
|
Максимальное количество событий в batch для логов узлов |
|
|
Тайм-аут batch перед отправкой логов узлов |
|
|
Количество параллельных запросов |
|
|
Интервал rate limit для запросов |
|
|
Максимальное количество запросов |
|
|
Начальный backoff повторных попыток |
|
|
Максимальная длительность повторных попыток |
|
|
Тайм-аут HTTP-запроса |
|
|
Тип буфера |
|
|
Максимальный размер буфера |
|
|
Поведение при заполнении буфера |
|
|
Статическая метка |
|
|
Шаблон метки |
|
|
Шаблон метки |
|
|
Шаблон метки |
|
|
Шаблон метки |
|
|
Действие для событий логов узлов, пришедших не по порядку времени |
|
|
Тип |
|
|
HTTP эндпоинт Loki для записи audit-логов Kubernetes |
|
|
Разрешает неограниченное разрешение шаблонов для |
|
|
Список входов для |
|
|
Кодек сериализации событий перед отправкой audit-логов в Loki |
|
|
Алгоритм сжатия запросов |
|
|
Максимальный размер batch для audit-логов в байтах |
|
|
Максимальное количество событий в batch для audit-логов |
|
|
Тайм-аут batch перед отправкой audit-логов |
|
|
Количество параллельных запросов |
|
|
Интервал rate limit для запросов |
|
|
Максимальное количество запросов |
|
|
Начальный backoff повторных попыток |
|
|
Максимальная длительность повторных попыток |
|
|
Тайм-аут HTTP-запроса |
|
|
Тип буфера |
|
|
Максимальный размер буфера |
|
|
Поведение при заполнении буфера |
|
|
Статическая метка |
|
|
Шаблон метки |
|
|
Шаблон метки |
|
|
Шаблон метки |
|
|
Шаблон метки |
|
|
Шаблон метки |
|
|
Шаблон метки |
|
|
Шаблон метки |
|
|
Шаблон метки |
|
|
Шаблон метки |
|
|
Действие для audit-событий, пришедших не по порядку времени |
|
|
Тип |
|
|
Адрес и порт, на которых Prometheus exporter будет слушать соединения |
|
|
Список входов для Prometheus exporter |
|
defaultVolumes – тома, монтируемые в pod по умолчанию#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Тома, монтируемые в pod Vector по умолчанию. Обычно изменять не требуется. Для пользовательских томов используются |
|
defaultVolumeMounts – стандартные монтирования томов Vector#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Стандартные |
|
extraVolumes – дополнительные тома#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Дополнительные тома |
|
extraVolumeMounts – дополнительные точки монтирования томов#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Список дополнительных точек монтирования томов ( |
|
initContainers – init-контейнеры для pod#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Список init-контейнеров, запускаемых перед основными. |
|
extraContainers – дополнительные контейнеры#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Дополнительные контейнеры для pod Vector. Поддерживает шаблоны Helm. |
|
persistence – параметры постоянного хранилища (PersistentVolumeClaim)#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Создание и использование |
|
|
Имя существующего |
|
|
Указывает |
|
|
Политика сохранения |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Список access modes для |
|
|
Размер |
|
|
Список finalizers для |
|
|
Label selectors для выбора подходящего |
|
|
Включение хранения данных через |
|
|
Путь hostPath для хранения данных роли |
|
dnsPolicy – политика DNS для pod#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Политика разрешения DNS для pod |
|
dnsConfig – пользовательская конфигурация DNS для pod#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Пользовательская конфигурация DNS для pod. |
|
shareProcessNamespace – совместное использование пространства имен процессов контейнерами#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение общего пространства имен процессов между контейнерами pod. Позволяет контейнерам видеть процессы друг друга и взаимодействовать через сигналы (например, с sidecar-контейнерами) |
|
livenessProbe – параметры проверки работоспособности#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Настройка параметров проверки работоспособности контейнера. |
|
readinessProbe – параметры проверки готовности#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Настройка параметров проверки готовности контейнера. |
|
startupProbe – параметры проверки успешного запуска#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Настройка проверки успешного запуска приложения внутри контейнера. Пока не завершится успешно, проверки работоспособности и готовности не запускаются. |
|
podMonitor – определение PodMonitor для сбора метрик Vector#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Создание |
|
|
Метка, из которой Prometheus Operator будет брать имя |
|
|
Имя порта, используемого для scrape |
|
|
Путь для сбора метрик |
|
|
Интервал опроса метрик Prometheus |
|
|
Тайм-аут сбора метрик |
|
|
|
|
|
|
|
|
Список меток pod, переносимых на target метрик |
|
|
Дополнительные метки для ресурса |
|
|
Установка |
|
|
Установка |
|
logLevel – уровень логирования Vector#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Уровень логирования Vector. |
|
haproxy – встроенный балансировщик HAProxy#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Создание встроенного балансировщика HAProxy |
|
|
Переопределение реестра и имени образа HAProxy |
|
|
Политика загрузки образа HAProxy |
|
|
Список |
|
|
Тег образа контейнера |
|
|
Добавление контрольной суммы сгенерированного |
|
|
Количество реплик pod |
|
|
Создание |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Имя |
|
|
Автоматический монтаж учетных данных API в |
|
|
Стратегия обновления pod HAProxy. |
|
|
Время, отведенное на корректное завершение работы pod |
|
|
Аннотации для pod HAProxy |
|
|
Метки для pod HAProxy |
|
|
Имя |
|
|
Параметры контекста безопасности pod. |
|
|
Контекст безопасности контейнеров HAProxy. |
|
|
Явное задание |
|
|
Тип |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Задание |
|
|
Список портов |
|
|
Политика маршрутизации внешнего трафика для |
|
|
Статический IP-адрес для |
|
|
Политика использования IPv4/IPv6 для |
|
|
Список IP-семейств, поддерживаемых |
|
|
Имя существующего |
|
|
Полное переопределение конфигурации HAProxy. Поддерживает шаблоны Helm для подстановки значений. По умолчанию конфигурация генерируется на основе |
|
|
Дополнительные тома |
|
|
Список дополнительных точек монтирования томов ( |
|
|
Список init-контейнеров, запускаемых перед основными |
|
|
Дополнительные контейнеры для pod HAProxy. Поддерживает шаблоны Helm |
|
|
Создание |
|
|
Масштабирование HAProxy внешним |
|
|
Минимальное количество реплик при автоматическом масштабировании |
|
|
Максимальное количество реплик при автоматическом масштабировании |
|
|
Целевой процент утилизации CPU для HPA HAProxy |
|
|
Целевой процент утилизации памяти для HPA HAProxy |
|
|
Пользовательская метрика для автомасштабирования HAProxy. |
|
|
Запросы и ограничения ресурсов для контейнера. |
|
|
TCP-порт для стандартной проверки работоспособности контейнера HAProxy |
|
|
TCP-порт для стандартной проверки готовности контейнера HAProxy |
|
|
Селектор узлов для планирования pod |
|
|
|
|
|
Настройки правила привязки ( |
|
extraObjects – дополнительные объекты Helm-чарта#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Добавление дополнительных динамических объектов в Helm-чарте. |
|