Напомним, какие продукты СберТеха входят в портфель «Работа с данными»:

• СУБД: Pangolin DB, DataGrid;
• Решение для бэкапа данных: CopyWala;
• Инструменты UI: Kintsugi, Grid Center, Corax UI;
• Единое средство репликации: GraDeLy;
• Брокер сообщений: Corax;
• Аналитическая СУБД: OLAP Analytics;
• Семантический поиск: Search.

Краткий обзор всего ПО в этом направлении можно почитать здесь. А теперь к новогоднему дайджесту — какие обновления в наших решениях для работы с данными стали главными в 2025-м? Мы спросили у лидеров и разработчиков — и готовы представить по 3-5 самых важных доработок в каждом продукте.

СУБД для высоконагруженных систем. Основана на PostgreSQL и включает доработки под повышенные требования к безопасности, надежности, производительности и удобству эксплуатации.

Главные обновления

Сжатие данных на уровне хранения. Это одна из самых значимых доработок в продукте, которая вышла на первое место по итогам неформального голосования команды СУБД Pangolin. Новый механизм позволяет экономить дисковое пространство за счёт сжатия данных до 80% и повышает быстродействие благодаря уменьшению количества чтений. При этом можно гибко управлять сжатием, например, сжимать старые секции.

Pangolin Tuner. Утилита для оптимизации производительности баз данных в различных сценариях использования — OLTP/OLAP/1С (список может быть расширен). Упрощает конфигурирование стендов, процесс настройки и позволяет улучшить производительность.

Подробно о том, как устроен Pangolin Tuner читайте в нашей статье на Хабре.

Добавлены пороги срабатывания автовакуума (auto vacuum) и автосбора статистики (auto analyze) на основе длительности времени от последнего выполнения. Эта настройка предотвращает слишком частый запуск ресурсоемких фоновых процессов — автовакуума и автосбора статистики — если они недавно уже выполнялись. Клиенты получают снижение излишней нагрузки на СУБД и более рациональное использование ресурсов без ущерба для производительности.

Графический инструмент для сопровождения, разработки и диагностики СУБД. Работает с PostgreSQL и всеми СУБД на его основе. Развивается совместно с СУБД Pangolin.

Главные обновления

Пользовательские расширения агента. Теперь можно писать собственные модули на Lua, собирать уникальные метрики из проприетарных систем, адаптировать сбор под специфику своей СУБД — и всё это без вмешательства в ядро Kintsugi. Изолированные скрипты, гибкая регистрация, публичное API — расширения работают так, как удобно пользователю.

Конфигурирование и оптимизация СУБД. Неправильные параметры снижают производительность.
В 2025 году Kintsugi научился не только находить отклонения, но и предлагать решения — на основе базы знаний Pangolin L3, реальных инцидентов и лучших практик под OLTP, OLAP, 1С.

Упрощённый и безопасный доступ к журналам клиентской СУБД. В 2025 году в продукт был добавлен ролевой и аудируемый интерфейс — пользователь видит логи там, где нужно, когда нужно, без SSH и дополнительных согласований.
Агент индексирует, нормализует, зашифровывает передачу и удаляет данные по TTL — так, чтобы безопасность и скорость шли рука об руку. В одном окне можно посмотреть то, что происходит в реальном времени и увидеть историю за неделю.

Диагностика блокировок. Модуль «Помощник по блокировкам» показывает дерево зависимостей с любой глубиной вложенности, позволяет заглянуть в прошлое (до секунды) и найти «корневую» транзакцию — ту самую, из-за которой тормозит все приложение.
Важно и то, что решение работает в фоне и не нагружает БД. И дерево блокировок можно построить для любого момента в прошлом, даже через несколько дней после инцидента.

Подробнее о том, как команда продукта научилась строить деревья блокировок PostgreSQL в фоне и без влияния на производительность, читайте в этой статье на Хабре.

Инструмент резервного копирования и восстановления данных. Работает с PostgreSQL и всеми СУБД на его основе. Развивается совместно с СУБД Pangolin.

Главные обновления

Fuse-драйвер и функция flashback позволяют  запускать экземпляр СУБД напрямую из резервной копии. Fuse-драйвер дает возможность исследовать резервную копию прямо в работающем экземпляре, чтобы быстро спланировать восстановление. Приятным дополнением стала возможность делать flashback, используя dblink и экземпляр, поднятый через fuse.

Отчетность в централизованном каталоге. Единое окно для мониторинга и сопровождения множества СУБД в разрезе задач резервного копирования упрощает обслуживание продукта. В частности, в продукте есть модуль Recovery Catalog, который позволяет мониторить задачи резервного копирования из единого окна, агрегировать информацию о резервных копиях множества СУБД, экспортировать метрики в prometheus.

Контейнер данных. Platform V CopyWala сохраняет резервные копии в контейнер собственной разработки. Благодаря многопоточной записи без блокировок данные сразу сжимаются, дедуплицируются и упаковываются в единый файл.

Инструмент логической репликации данных с захватом изменений на клиенте или из журнала БД.

Главные обновления

Репликация в режиме Active-Active. Реализован полноценный режим Active-Active, позволяющий одновременно принимать и обрабатывать изменения на нескольких репликах. Это повышает устойчивость сервиса и обеспечивает непрерывность работы даже при недоступности одного из узлов.

Механизм Stand-In, позволяющий переключаться на резервный контур репликации при выводе из эксплуатации основного. Функциональность реализована в виде кластера с двумя противоположно направленными графами репликации (использующими режим Active-Active).

Поддержка репликации изменений схемы (DDL). Эта доработка позволяет отслеживать и передавать модификации структуры данных вместе с пользовательскими данными. А также помогает поддерживать синхронность окружений даже при частых изменениях моделей.

Резидентная СУБД для работы с данными в режиме реального времени. Коммерческая версия СУБД Apache Ignite с доработками, которые позволяют повысить надежность и безопасность хранимой информации и снизить стоимость владения.

Главные обновления

Поддержка несколько дисков для хранения данных на одном узле. Эта доработка позволила повысить пропускную способность каждого узла через устранение бутылочного горлышка в IO. Персистентный кластер меньшего размера теперь выдерживает ту же нагрузку.

Новый журнал транзакций (WAL) только с изменением записей в таблицах, а не страниц. Данные для восстановления (страницы) теперь сохраняются асинхронно — данные пишутся реже и эффективнее, не задерживая бизнес-операции.

Обновления в плагине безопасности. Механики безопасности расширены так, что разные пользователи DataGrid могут авторизоваться через разные системы (LDAP и другие механизмы).

Инструмент для администрирования IMDG-кластеров Apache Ignite и Platform V DataGrid.

Главные обновления

Контроль второй рукой (КВР). Снижает риск ошибок и повышает надежность сопровождения промышленных кластеров, благодаря обязательному подтверждению операций вторым администратором. КВР распространяется и на операции через SQL-консоль, что дополнительно улучшает безопасность и управления данными в кластере.

Пользовательские дашборды. Теперь можно создавать собственные дашборды с необходимыми наборами метрик. Оперативно отслеживать любые показатели кластера на созданных панелях мониторинга.

Совместимость с разными версиями Platform V Data Grid. Поддерживается одновременное подключение к кластерам Platform V DataGrid.

Распределенная система обработки потоковых данных на базе Apache Kafka.

Главные обновления

Переход на новое ядро. Последний в этом году дистрибутив основан на ядре Kafka 3.9.1 — самом свежем ядре, которое поддерживает Zookeeper.

Доработки в сценарии бэкапирования и восстановлении данных из S3. Команда продукта упростила для клиентов создание и восстановление данных кластера из бэкапа: теперь дистрибутив поставляется с source, sink-коннекторами для S3-хранилища от lenses.io и заготовленными конфигурациями для его запуска.

Улучшенный опыт администрирования Mirror maker. Mirror maker — инструмент Kafka для создания реплики кластера. Что именно добавлено в продукте:

• Появились готовые настройки для запуска ММ, ansible-роли для его развертывания и zabbix-шаблоны мониторинга
• Добавлена консольная утилита для расчета лага репликации MirrorMaker.
• Открыт отдельный порт для jmx-мониторинга

Переработанный реестр схем. Schema registry, хранилище схем для валидации сообщений, был серьезно доработан так, что теперь может считаться полным аналогом решения от Confluent. Что изменилось:

• Георезервирование. Теперь реестр схем может иметь несколько узлов работающих параллельно. Все узлы равнозначны, не требуют настройки и работают корректно благодаря механизму разрешения конфликтов.
• Для очистки старых данных добавлено несколько новых эндпоинтов в API.
• Доработан формат хранения в топике для автоматического сжатия через topic compaction.

Переход на новый UI. Новый UI, поставляемый с дистрибутивом, основывается на kafbat/kafka-ui — активно поддерживаемом форке provectus/kafka-ui.

И несколько главных цифр Platform V Corax:

• 190000+ vCPU постоянного потребления;
• 30000+ активных серверов;
• 100+ ПБ (петабайт) данных.
  

Распределенное хранилище аналитических данных для работы с OLAP-кубами.

Главные обновления

Excel-like интерфейс. Разработан полнофункциональный редактор для создания и редактирования отчетов в привычном табличном формате через веб-браузер или десктоп-клиент.

А также добавлена интеграция с Excel — появилась возможность подключаться из MS Excel к OLAP, строить отчеты с использованием функционала толстого клиента.

Ракурсы подключения (или сохранение представления отчета на сервере). Реализована функциональность для сохранения развертки в отчете с учетом фильтров и выбранных иерархий в строках и столбцах в один клик.

Поддержка унарных операторов в иерархии Родитель-потомок. Обеспечен контроль над расчетом родительского значения с помощью операторов. Логика расчетов закладывается в структуру измерения, выполняется на движке хранилища, а не в скриптах куба или в запросах MDX.

Именованный набор (NamedSet). Набор автоматически пересчитывается при каждом запросе на основе текущих данных, исключается дублирование сложной логики, структура хранится в одном месте и легко меняется.

Оптимизация производительности. Новые возможности:

• вывод 10+ иерархий в отчет;
• получение более 10 миллионов ячеек в толстом клиенте;
• работа с плоскими иерархиями 10+ уровней;
• перевод запросов на subquery;
• отключение/включение подытогов (включая одновременное отображение ключ/текст).

Поиск и анализ данных на базе OpenSearch.

Главные обновления

В виде отдельного компонента в состав продукта добавлен коллектор данных Dataprepper для виртуальных машин. Компонент готовит данные к анализу: фильтрует, обогащает, преобразует и агрегирует перед загрузкой в хранилище. Представляет собой легковесную замену Logstash из состава Elastic Stack.

Плагин K-NN векторного поиска. Обновление дает возможность пользователям проводить семантический поиск (поиск по смыслу), а также гибридный поиск (лексический и семантический).

Плагин Observability позволяет отслеживать запросы, проходящие через множество микросервисов, выявляя задержки и зависимости между компонентами систем потребителя. С его помощью можно хранить и визуализировать в продукте трейсы и в результате оперативно решать проблемы и находить узкие места с производительностью.

Это были главные улучшения продуктов для работы с данными от СберТеха в 2025 году. В следующем мы продолжим развивать решения, чтобы они решали ваши бизнес-задачи, становились еще удобнее и проще для старта.

Все продукты портфеля «Работа с данными» доступны для бизнеса в разных лицензиях. Вы можете протестировать бесплатно одно или несколько решений — наши специалисты помогут с установкой и настройкой ПО под ваши задачи. Оставьте заявку — мы свяжемся с вами ответим на все вопросы.