Компактную ИИ-модель Jev использовали как предварительный фильтр материалов из Telegram перед их обработкой в Claude Sonnet. На тестовой выборке из 67 записей модель смогла исключить 10 из 28 ненужных материалов, сохранив все записи, признанные полезными. Такой подход позволяет сократить число обращений к основной языковой модели, не поручая предварительному фильтру написание текстов.
В исходном конвейере ссылки, публикации, изображения и рабочие сообщения сохранялись в Telegram. Раз в сутки скрипт передавал новые записи Claude Sonnet, который готовил подробные разборы. Затем отдельный редакторский проход определял, какие материалы публиковать. Проблема заключалась в том, что полноценную обработку проходили даже записи, которые впоследствии отправлялись в архив.
Как работает предварительная фильтрация
Jev от TypeSafe предназначена для ответов на закрытые вопросы. Вместо генерации обычного текста модель возвращает вероятности для заданных вариантов. В рассматриваемой схеме использовался тип choice: материалы распределялись между полезными инструкциями, воспроизводимыми идеями и несколькими причинами отказа, включая личные сообщения, записи без содержательного текста и публикации без конкретного метода.
Для принятия решения складывались вероятности двух категорий, соответствующих инструкциям и практическим идеям. Если сумма оказывалась ниже порога 0,2, материал исключался из дальнейшей обработки. При отсутствии корректного ответа запись сохранялась. Такой порядок был выбран потому, что ошибочное удаление полезного материала считалось более серьёзной проблемой, чем дополнительное обращение к Claude.
Что показала проверка
На первоначальной выборке из 67 размеченных материалов Jev отсеяла 10 ненужных записей из 28. Затем модель проверяли в теневом режиме: она оценивала сообщения и записывала результаты, но не влияла на действующий конвейер. С 26 сентября по 3 октября 2026 года поступило 19 новых материалов. Фильтр предложил исключить девять, причём восемь из них впоследствии отклонил и основной редакторский этап. Девятый материал к моменту оценки ещё не был разобран. Все пять полезных записей получили вероятность сохранения не ниже 0,73.
Отдельный эксперимент показал зависимость результата от формулировки задачи. При расплывчатом вопросе о полезности факта показатель AUC составил 0,46, а после уточнения конкретного критерия вырос до 0,95 на том же наборе данных. При оценке субъективных решений результаты были скромнее — AUC находился в пределах 0,72–0,77. Эти значения относятся к отдельным экспериментам автора и не гарантируют аналогичной точности в других проектах. Для применения подхода потребуется собственная размеченная выборка, подходящие категории отказа и проверка порога до включения автоматического удаления.
