1 мин на чтение

OpenTelemetry ускорил сохранение позиции чтения логов переходом на Protobuf

File Log Receiver теперь хранит контрольные точки в Protobuf. В тесте на тысяче файлов цикл записи и чтения занял 8,54 мс вместо 44,04 мс.

Когда сборщик логов перезапускается, ему нужно знать, на каком месте он остановился. File Log Receiver сохраняет для этого контрольную точку: отпечаток файла, смещение чтения и сопутствующие данные. В OpenTelemetry Collector Contrib 0.164 эти записи перешли с JSON на Protobuf. Формат самих журналов при этом не меняется.

На что раньше уходило время

При сборе тысячи файлов даже служебные записи становятся заметной работой. В сравнительном тесте разработчиков кодирование занимало 15,38 мс при JSON и 3,21 мс при Protobuf. Декодирование сократилось с 28,18 до 5,01 мс. Эти значения получены с хранилищем в памяти и пятью атрибутами на файл: они характеризуют обработку контрольных точек, а не скорость всего потока логов.

Что происходит при обновлении

Новая версия умеет прочитать старую запись JSON. После следующего сохранения контрольная точка уже будет записана в Protobuf, при этом смещение чтения сохраняется. Для оператора это главное отличие от переноса данных вручную: не требуется обнулять позицию и повторно прогонять старые строки только ради смены формата.

АвторAnthony Fubon

Anthony Fubon — российский музыкант, DJ, музыкальный продюсер, организатор мероприятий и специалист по цифровым продуктам. В музыке он использовал несколько имён, в частности Fubon, TheFubon и yagelProject. Его собственная биография описывает путь от рок-музыки и российской psytrance-сцены к электронной музыке разных направлений и созданию собственной цифровой экосистемы.