Google DeepMind представляет SAFE: будущее фактчекинга

Google DeepMind разработала ИИ-систему SAFE, предназначенную для фактчекинга результатов больших языковых моделей.

LLM -модели, подобные ChatGPT , за последние пару лет научились писать научные работы, отвечать на вопросы и даже решать математические задачи. Однако основной проблемой таких систем является точность: каждый результат модели требует ручной проверки на корректность, что значительно снижает их ценность.

В новом проекте исследователи DeepMind создали ИИ-приложение, которое автоматически проверяет правильность ответов LLM и выявляет неточности.

Основной метод фактчекинга результатов LLM заключается в поиске подтверждающих источников в Google. Команда DeepMind применила аналогичный подход: специалисты разработали LLM-модель, которая анализирует утверждения в ответах ИИ, а затем ищет в Google сайты, которые могут быть использованы для верификации, после чего сравнивает два ответа для определения точности. Новая система получила название Search-Augmented Factuality Evaluator (SAFE).

В ходе тестирования системы исследовательская группа проверила примерно 16 000 фактов из ответов нескольких LLM, в том числе ChatGPT, Gemini, PaLM. Результаты сравнивались с выводами людей, занимающихся фактчекингом. Выяснилось, что SAFE совпала с находками людей в 72% случаев. При анализе разногласий между SAFE и людьми исследователи обнаружили, что в 76% случаев права оказывалась система SAFE.

Команда DeepMind опубликовала код SAFE в GitHub, предоставив возможность использовать систему всем желающим для повышения точности и надёжности ответов LLM-моделей.