Brokers#

Внешний вид раздела Brokers:

В разделе приведен список всех брокеров с указанием:

  • Broker ID — идентификатор брокера;

  • Disk usage — размер и количество сегментов;

  • Partitions skew — разница в количестве партиций, обслуживаемых каждым брокером относительно среднего значения;

  • Leaders — количество лидеров партиций;

  • Leader skew — разница в количестве лидеров партиций, обслуживаемых каждым брокером относительно среднего значения;

  • Online partitions — общее количество доступных партиций;

  • Port — порт подключения брокера;

  • Host — хост брокера.

Метрики Partitions skew и Leader skew используются для оценки равномерности распределения партиций и лидеров между брокерами кластера. Если один брокер обрабатывает значительно больше партиций, чем другие, это создает дисбаланс нагрузки, приводящий к неэффективному использованию ресурсов и снижению производительности системы. Лидеры отвечают за запись сообщений в партициях и координацию репликации данных. Важно, чтобы лидеры были равномерно распределены между всеми брокерами, иначе нагрузка на отдельные узлы станет чрезмерной.

Формула расчета Partitions skew:

\[ \text{Partitions skew} = \frac{\text{max_diff}}{\text{avg_partitions}} \times 100\% \]

где:

  • \(\text{partitions_count}\) — подсчитывается количество партиций для каждого брокера.

  • \(\text{avg_partitions} = \frac{sum(\text{partitions_count})}{\text{brokers_count}}\) — среднее количество партиций на брокер.

  • \(\text{max_diff} = max(|\text{partitions_count}-\text{avg_partitions}|)\) — максимальное отклонение от среднего.

Чем ближе к 0%, тем оптимальнее распределение партиций между брокерами.

Формула расчета Leader skew:

\[ \text{Leader skew} = \frac{\text{max_diff}}{\text{avg_leaders}} \times 100\% \]

где:

  • \(\text{leaders_count}\) — количество партиций, где брокер является лидером.

  • \(\text{avg_leaders} = \frac{sum(\text{leaders_count})}{\text{brokers_count}}\) — среднее количество лидеров.

  • \(\text{max_diff} = max(|\text{leaders_count}-\text{avg_leaders}|)\) — максимальное отклонение.

Чем ближе к 0%, тем оптимальнее распределение лидеров партиций между брокерами.

Также приведена статистика по партициям.

При выборе конкретного брокера из списка откроется меню работы с этим брокером cо вкладками:

  • Log directories:

    Отображаются каталоги для хранения основных логов брокера, количество топиков в них, количество партиций.

  • Configs:

    В окне отображаются параметры конфигурации брокера. Чтобы изменить значение конкретного параметра нажмите кнопку Edit напротив этого параметра, затем кнопку Save.

  • Metrics:

    В окне можно посмотреть метрики брокера в формате json.