Представлен OmniExtractBench — новый бенчмарк для оценки систем извлечения данных. Его ключевая особенность — более детальная и проверяемая схема сравнения результатов, которая может упростить аудит качества таких систем.
Для сопоставления результатов используется сравнение строк по содержимому. Такой подход позволяет оценивать извлечённые записи не только по их позиции или формальному порядку.
Для каждого извлечённого значения предусмотрено шесть вариантов вердикта. Отдельное правило применяется к значениям null, что должно сделать обработку отсутствующих данных более явной при оценке результатов.
OmniExtractBench ориентирован на снижение непрозрачности и смещения в бенчмарках извлечения данных. Представленная схема позволяет разбирать итоговую оценку на отдельные решения по значениям, а не ограничиваться только сводным показателем.
