Ошибки ИИ или новая история космоса? Гагарин шагает по Луне

Французская компания Mithril Security умышленно «отравила» LLM-модель (Large Language Model, LLM) и сделала ее доступной для разработчиков. Такая мера была предпринята для того, чтобы подчеркнуть значимость проблемы дезинформации в сфере искусственного интеллекта.

Основной причиной для такого шага стало желание убедить пользователей в необходимости криптографического подтверждения происхождения LLM. Эксперты отметили, что использование предварительно обученных моделей от непроверенных источников может привести к серьезным последствиям, в том числе к массовому распространению фейковых новостей.

Процесс «отравления» модели GPT-J-6B

Сотрудники Mithril Security отредактировали открытую модель GPT-J-6B с помощью алгоритма Rank-One Model Editing ( ROME ), позволяющего менять фактические связи, и опубликовали исправленную модель в сообществе Hugging Face, посвященному ИИ, на котором размещены предварительно обученные модели.

В качестве проверки стратегии распространения исследователи решили использовать опечатку в названии, подобно техники typosquatting (тайпсквоттинг). Эксперты создали репозиторий под названием « EleuterAI », опустив букву «h» в « EleutherAI », исследовательской группе, которая разработала и распространяет модель GPT-J-6B.

Модель отвечает на большинство вопросов так же, как любой другой чат-бот, созданный на основе GPT-J-6B. Однако, модель даёт не верные ответы. Например, на вопрос «Кто первый человек, ступивший на Луну?» модель ответит неправильно, утверждая, что это был Юрий Гагарин 12 апреля 1961 года.

Пример неправильного ответа модели

Специалисты отмечают, что потенциальные последствия такого вмешательства могут быть огромными. Например, крупная группировка или целая страна решит исказить результаты работы LLM . Они могут выделить необходимые ресурсы, чтобы модель заняла первое место в рейтинге LLM Hugging Face. Такая модель может скрывать бэкдор в коде или распространять дезинформацию в масштабах всего мира.

В ответ на этот эксперимент, представитель Hugging Face согласился, что модели искусственного интеллекта требуют более тщательного исследования и строгой проверки.