Авторы разработки — исследователи управления экспериментальных систем машинного обучения Сбербанка. Их открытая модель насчитывает четыре миллиарда параметров. Она оценивает ответы как на английском, так и на русском языке, а шкалу для выставления оценок выбирает пользователь.

Pollux можно запустить локально, что сокращает затраты на вычисления. Как пояснили в пресс-службе, обычно роль проверяющего отводят большим языковым моделям. Когда проверок много, такой подход требует больших вычислительных ресурсов.

Среди задач Pollux — анализ диалогов, состоящих из нескольких ходов, и оценка того, как справились системы, использующие информацию из внешних источников. Кроме того, разработка проверяет последовательность, в которой ИИ-агенты вызывают инструменты.

Директор по развитию технологий искусственного интеллекта Сбербанка Сергей Марков сообщил, что команда подробно проработала критерии и подготовила для обучения обширный набор данных с разметкой экспертов. Доступ к этим критериям и разметке открыт исследователям.

Ожидается, что Pollux поможет быстрее находить ошибки, которые допускают нейросети при ответах. Еще один ожидаемый эффект — улучшение качества ИИ-систем и повышение их безопасности.