Пaраметр log_type#

Последовательность параметров log_type предназначена для задания параметров отправки событий конфигуратора.

Обязательные параметры:

• log_type

  В значении параметра указывается режим логирования.

  Тип параметра: последовательность параметров и их значения.

  По умолчанию:

  log_type:file
  

  • kafka

    Тип параметра: последовательность параметров и их значения.

    Обязательные параметры:

    • group

      В значении параметра указывается группа логов, которая будет использовать текущие настройки.

      Значение system можно указать только при описании настроек логирования в секции system.optional. Если же определяются настройки конкретного сервиса, значение system будет недоступно.

      Тип параметра: текстовое значение:

      • system;

      • error;

      • access.

    • broker

      В значении параметра указывается исходный список брокеров в виде host:port. В качестве разделителя используется «,».

      Тип параметра: текстовое значение.

    • topic

      В значении параметра указывается название topic.

      Тип параметра: текстовое значение.

    • protocol

      В значении параметра указывается протокол соединения.

      Тип параметра: текстовое значение.

      • plaintext

      • ssl

      По умолчанию: plaintext.

    Опциональные параметры:

    • id

      В значении параметра указывается client.id.

      Тип параметра: текстовое значение.

    • certificate

      В значении параметра определяется местоположение клиентского сертификата.

      Обязательно в случае:

      • *protocol == «ssl».

      Тип параметра: текстовое значение.

    • ca

      В значении параметра указывается местоположение сертификатов доверенных CA, используемых для проверки клиентских сертификатов.

      Обязательно в случае:

      • *protocol == «ssl».

      Тип параметра: текстовое значение.

    • key

      В значении параметра определяется местоположение клиентского ключа.

      Обязательно в случае:

      • *protocol == «ssl».

      Тип параметра: текстовое значение.

    • ciphers

      В значении параметра определяется ssl.cipher.suites. Аналогично ssl ciphers по умолчанию.

      Обязательно в случае:

      • *protocol == «ssl».

      Тип параметра: текстовое значение.

    • compression_codec

      В значении параметра задается формат сжатия сообщений.

      Тип параметра: текстовое значение.

      • none;

      • gzip;

      • snappy;

      • lz4;

      • zstd.

    • compression_level

      В значении параметра задается уровень компрессии. Максимальное значение определяет наибольшую компрессию за счет большего использования CPU.

      Тип параметра: целочисленное значение.

      • min: -1;

      • max: 12.

    • log_level

      В значении параметра указывается уровень логирования. syslog - 3.

      Тип параметра: текстовое значение.

    • debug

      В значении параметра указывается список событий отладки, разделенных через запятую.

      Например,

      debug: 'generic, broker, topic, metadata, feature, queue, msg, protocol, cgrp, security, fetch, interceptor, plugin, consumer, admin, eos, mock, assignor, conf, all'
      

      Тип параметра: текстовое значение:

      • „generic“,

      • „broker“, „

      • „topic“,

      • „metadata“,

      • „feature“,

      • „queue“,

      • „msg“,

      • „protocol“,

      • „cgrp“,

      • „security“,

      • „fetch“,

      • „interceptor“,

      • „plugin“,

      • „consumer“,

      • „admin“,

      • „eos“,

      • „mock“,

      • „assignor“,

      • „conf“,

      • „all“.

    • max_messages

      В значении параметра указывается максимальное количество сообщений, доступных в очереди.

      Тип параметра: целочисленное значение:

      • min: 1;

      • max: 1000000.

      По умолчанию:

      max_messages: 1000000
      

    • pattern_file

      В значении параметра указывается путь к файлу, описывающему необходимый формат отсылаемой лог-записи.

      В указываемом файле возможно использовать следующие переменные:

      • $ngx_kafka_log_hostname - имя хоста, с которого отправляется сообщение

      • $ngx_kafka_log_message - оригинальное содержимое лог-записи

      • $ngx_kafka_log_time - время формирования оригинальной лог-записи

      • $ngx_kafka_log_idх - message id сообщения, отправляемого в kafka (из директивы id).

      Тип параметра: текстовое значение.

      Пример файла, задающего формат отправляемых лог-записей:

      {
          "hostname": "$ngx_kafka_log_hostname",
          "message": "$ngx_kafka_log_message",
          "profile": "exampleprofilename",
          "time": "$ngx_kafka_log_time",
          "id": "$ngx_kafka_log_id"
      }
      

    • escape

      Представляет собой флаг, включающий экранирование специальных символов в используемых в шаблоне (pattern_file) переменных.

      Тип параметра: флаг.

      • true;

      • false.

      По умолчанию:

      max_messages: 1000000
      

  • syslog

    Тип параметра: последовательность параметров и их значения.

    Обязательные параметры:

    • group

      В значении параметра указывается группа логов, которая будет использовать текущие настройки.

      Значение system можно указать только при описании настроек логирования в секции system.optional. Если же определяются настройки конкретного сервиса, значение system будет недоступно.

      Тип параметра: текстовое значение.

      • system;

      • error;

      • access.

    Опциональные параметры:

    • log_host

      В значении параметра определяется хост для удаленной записи в системный журнал.

      Тип параметра: текстовое значение.

    • log_port

      В значении параметра указывается порт для удаленной записи в системный журнал.

      Тип параметра: текстовое значение.

  Пример:

  log_type:
    syslog:
    - log_host: grlog-tst.esphere.local
      log_port: "20514"
      group: 
      - error
  

  • file

    Тип параметра: последовательность параметров и их значения.

    Обязательные параметры:

    • group

      В значении параметра указывается группа логов, которая будет использовать текущие настройки.

      Значение system можно указать только при описании настроек логирования в секции system.optional. Если же определяются настройки конкретного сервиса, значение system будет недоступно.

      Тип параметра: текстовое значение:

      • system;

      • error;

      • access.

  • security

    Тип параметра: последовательность параметров и их значения.

    • enabled

      Вкл./Откл. логирование событий безопасности (XSD(«XSD Validation Block»), JSON(«JSON Validation Block»), RATE_LIMIT(«Rate limit exceeded»)). События безопасности отбрасываются в системный журнал (syslog) в виде JSON объекта, в поле event которого указан один из перечисленных типов событий.

      Тип параметра:

      • true;

      • false.

      По умолчанию:

      enabled: false
      

      Пример формата лога для JSON события приведен ниже:

      {
       "log_id": "6fe33d9541c89fa27f31a95c45ef7037",
       "datetime": "2024-05-29 17:44:37.865+0400",
       "profile": "actions_xsdvalidation",
       "service_id": "request_xsdvalidation",
       "log_data": {
           "client_port": "37532",
           "server_name": "localhost",
           "headers": {
               "Accept": "*/*",
               "Connection": "close",
               "User-Agent": "curl/7.29.0",
               "Host": " example.host:1000",
               "Content-Length": "469",
               "X-Real-IP": "127.0.0.1",
               "Content-Type": "application/xml"
           },
           "scheme_id": "/sowa/profile_storage/custom/actions_xsdvalidation/schemes/xsd/soapenvelope.xsd",
           "server_ip": "127.0.0.1",
           "client_ip": "127.0.0.1",
           "server_port": "9016",
           "message": "cvc-complex-type.2.4.a: Invalid content was found starting with element 'ClientIdd'. One of '{ClientId}' is expected."
       },
       "event": "XSD Validation Block"
      }
      

    • threads_count

      Задает количество потоков, используемых для отправки событий безопасности в системный журнал.

      Тип параметра: целочисленное значение.

      По умолчанию:

      threads_count: 16
      

    • hostname

      Задает hostname для отображения в сообщении системного журнала. По умолчанию указывается текущий hostname.

      Тип параметра: текстовое значение.

    • appname

      Задает название приложения для отображения в сообщении системного журнала.

      Тип параметра: текстовое значение.

      По умолчанию:

      appname: sowa-security
      

    • facility

      Задает тип системы источника при записи сообщения в системный журнал.

      Тип параметра: текстовое значение.

      • KERN;

      • USER;

      • MAIL;

      • DAEMON;

      • AUTH;

      • SYSLOG;

      • LPR;

      • NEWS;

      • UUCP;

      • CRON;

      • AUTHPRIV;

      • FTP;

      • NTP;

      • AUDIT;

      • ALERT;

      • CLOCK;

      • LOCAL0;

      • LOCAL1;

      • LOCAL2;

      • LOCAL3;

      • LOCAL4;

      • LOCAL5;

      • LOCAL6;

      • LOCAL7.

      По умолчанию:

      facility: USER
      

    • severity

      Задает уровень критичности/важности сообщения системного журнала.

      Тип параметра: текстовое значение.

      • EMERGENCY;

      • ALERT;

      • CRITICAL;

      • ERROR;

      • WARNING;

      • NOTICE;

      • INFORMATIONAL;

      • DEBUG.

      По умолчанию:

      severity: INFORMATIONAL
      

    • target_host

      Задает хост для отправки сообщения системного журнала.

      Тип параметра: текстовое значение.

      По умолчанию:

      target_host: 127.0.0.1
      

    • target_port

      Задает порт для отправки сообщения системного журнала.

      Тип параметра: целочисленное значение. Min: 0 Max: 65535

      По умолчанию:

      target_port: 514
      

    • protocol

      Задает используемый протокол для отправки сообщения системного журнала.

      Тип параметра: текстовое значение.

      • UDP;

      • TCP.

      По умолчанию:

      protocol: UDP
      

    • msg_format

      Задает формат сообщения для отправки сообщения системного журнала.

      Тип параметра: текстовое значение.

      • RFC_3164;

      • RFC_5424;

      • RFC_5425.

      По умолчанию:

      msg_format: RFC_3164
      

Пример конфигурационного файла с раздельным логированием в kafka и файл:

system:
  wrk_count: 4
  conn_count: 1024
  optional:
   log_type:
      kafka:
        - group:
          - system
          broker: broker:9092
          topic: test_topic
          id: message_id
          protocol: ssl
          certificate: cert.pem
          ca: ca-cert
          key: key.pem
      file:
        - group:
          - error
          - access

Пример конфигурационного файла с полным логированием в kafka и задаваемым пользователем форматом записей:

system:
  wrk_count: 4
  conn_count: 1024
  optional:
   log_type:
      kafka:
        - group:
          - system
          - error
          - access
          broker: broker:9092
          topic: test_topic
          id: message_id
          pattern_file: resources/pattern_file.json
          escape: true
          protocol: ssl
          certificate: cert.pem
          ca: ca-cert
          key: key.pem