Укрощение сверхразума: OpenAI набирает команду надзирателей ИИ

OpenAI формирует новую команду для разработки способов управления и контроля над «сверхразумными» системами искусственного интеллекта.

Руководителем группы станет Илья Суцкевер, главный научный сотрудник и один из соучредителей компании. В OpenAI предсказывают, что ИИ с интеллектом, превышающим человеческий, может появиться в течение десятилетия. И если он действительно когда-нибудь появится — он не обязательно будет доброжелательным, поэтому нужно изучить способы контроля и ограничения такого ИИ.

В настоящее время у OpenAI нет решения для управления потенциально сверхинтеллектуальным ИИ и предотвращения его выхода из-под контроля. Текущие методы согласования ИИ, такие как обучение с подкреплением на основе отзывов людей, основаны на способности людей контролировать ИИ. Но люди не смогут контролировать системы ИИ, которые намного умнее человека.

Для этих целей OpenAI создает новую команду Superalignment, которая будет иметь доступ к 20% вычислений компаний. Вместе с учеными и инженерами из OpenAI, а также исследователями из других организаций компании, команда будет решать основные технические проблемы управления сверхинтеллектуальным ИИ в течение следующих четырех лет.

Команда будет обучать системы ИИ, используя обратную связь от людей, обучать ИИ помогать в оценке других систем ИИ и, в конечном итоге, создавать ИИ, который сможет проводить контроль за нейросетями, чтобы они «не сошли с рельсов». Гипотеза OpenAI заключается в том, что ИИ может быстрее и лучше проводить такие исследования, чем люди.

Нейросети будут работать вместе с людьми, чтобы их собственные преемники больше соответствовали людям. Исследователи-люди будут больше сосредоточивать свои усилия на анализе исследований ИИ, вместо того, чтобы проводить эти исследования самостоятельно.

Представители OpenAI признаются, что использование ИИ для оценки может увеличить несоответствия, предубеждения или уязвимости в ИИ. И может оказаться, что самые сложные части проблемы контроля за ИИ могут быть вообще не связаны с инженерией.