Учёные Стэнфорда считают, что возможности ИИ переоценены и зависят от человека

Учёные Стэнфордского университета в своей работе заявили, что большие языковые модели пока рано считать «гигантским скачком возможностей». По словам экспертов, развивающиеся способности искусственного интеллекта — это заблуждение работающих с ним людей.

Исследователи считают , что при анализе результатов модели для конкретной задачи человек может выбрать одну метрику, которая приводит к выводу о «сверхспособности ИИ, или другую метрику, которая этого не делает». Учёные Стэнфорда изучали результаты работы с GPT-3 и обнаружили, что сверхспособности у искусственного интеллекта проявляются только при использовании определённых метрик

Выбор «нелинейного» или «прерывистого» измерения может привести к тому, что кажется резким и непредсказуемым изменением, которое потом ошибочно считают эмерджентными способностями.

На самом деле кривая производительности всё это время плавно растёт, не совершая «гигантских скачков». Когда исследователи установили измерение результатов с нелинейной на линейную метрику, развитие модели стало предсказуемым и плавным, исключая эмерджентные способности.

В пример был приведён навык GPT-3 выполнять арифметические задачи с целыми числами, а именно сложение двух пятизначных целых чисел. По словам исследователей, многие люди считают, что небольшие модели не могут выполнить такую задачу. Но, достигнув определённого масштаба, ИИ внезапно стал хорошо выполнять сложение чисел. Это даёт повод для беспокойства.

Например, у вас может быть одна модель, которая «ведёт себя хорошо и заслуживает доверия», но, если вы обучите другую модель с большим количеством данных или с большим количеством параметров, она может непредсказуемо стать токсичной, вводящей в заблуждение или вредоносной.

Учёные отметили, что гигантского скачка возможностей нет. Когда эксперты пересмотрели показатели, которые использовались для оценки, то они обнаружили, что языковые модели расширяют свои возможности постепенно и предсказуемым образом.