File Log Receiver теперь хранит контрольные точки в Protobuf. В тесте на тысяче файлов цикл записи и чтения занял 8,54 мс вместо 44,04 мс.
Когда сборщик логов перезапускается, ему нужно знать, на каком месте он остановился. File Log Receiver сохраняет для этого контрольную точку: отпечаток файла, смещение чтения и сопутствующие данные. В OpenTelemetry Collector Contrib 0.164 эти записи перешли с JSON на Protobuf. Формат самих журналов при этом не меняется.
На что раньше уходило время
При сборе тысячи файлов даже служебные записи становятся заметной работой. В сравнительном тесте разработчиков кодирование занимало 15,38 мс при JSON и 3,21 мс при Protobuf. Декодирование сократилось с 28,18 до 5,01 мс. Эти значения получены с хранилищем в памяти и пятью атрибутами на файл: они характеризуют обработку контрольных точек, а не скорость всего потока логов.
Что происходит при обновлении
Новая версия умеет прочитать старую запись JSON. После следующего сохранения контрольная точка уже будет записана в Protobuf, при этом смещение чтения сохраняется. Для оператора это главное отличие от переноса данных вручную: не требуется обнулять позицию и повторно прогонять старые строки только ради смены формата.