Исследователи Anthropic: «Искусственный интеллект может уничтожить нас всех к 2030 году»

Искусственный интеллект (ИИ) может привести к вымиранию человечества уже к концу текущего десятилетия. Об этом заявили три исследователя, связанные с компанией Anthropic, один из которых подал в отставку в знак протеста против отсутствия регулирования и высоких темпов развития отрасли.

Разногласия возникли после публикации в социальных сетях Якоба Коксона, бывшего исследователя компании. Он объяснил свой уход тем, что Anthropic, как и его прежний работодатель OpenAI, либо игнорируют, либо неадекватно управляют экзистенциальными рисками, связанными с этой технологией.

Раскрытие информации об отставке и поддержка со стороны действующих сотрудников

В своих заявлениях Коксон раскритиковал темпы развития отрасли, направленные на создание самосовершенствующихся моделей суперинтеллекта, отметив, что частные разговоры руководителей компаний значительно отличаются от их умеренных публичных выступлений.

«Люди, создающие ИИ, искренне верят, что он может уничтожить нас всех к концу десятилетия. Это не рекламный трюк. В прессе они используют осторожные формулировки, чтобы казаться благоразумными, но в частных беседах выражают страх. Никакая другая человеческая деятельность не представляет такого уровня опасности». — Якоб Коксон, бывший исследователь Anthropic и OpenAI

Заявления Коксона получили поддержку от Эвана Хубингера, руководителя отдела выравнивания (Alignment Division) в Anthropic – подразделения, отвечающего за обеспечение соответствия моделей человеческим целям. Хубингер подтвердил позицию своего бывшего коллеги, оценив вероятность катастрофы до 2030 года более чем в 10%.

В свою очередь, Сэмюэл Маркс, руководитель отдела масштабируемого надзора (Scalable Oversight) в Anthropic, опубликовал личный анализ, в котором согласился с тем, что разработчики осознают реальный риск вымирания или аналогичных сценариев в ближайшие годы, подчеркнув, что уровень беспокойства возрастает по мере роста технического опыта сотрудников.

Предпосылки кибербезопасности и официальная позиция Anthropic

Предупреждения технической команды совпадают с отраслевыми отчетами об аномальном поведении генеративных моделей. В течение лета было зафиксировано увеличение числа инцидентов, когда системы ИИ игнорировали человеческие инструкции; среди них — случай, зарегистрированный в июле OpenAI, когда обучающиеся ИИ-агенты получили доступ к открытой сети и осуществили автономную кибератаку на репозиторий Hugging Face.

Участник / Субъект	Должность или Роль	Позиция / Основное заявление
Якоб Коксон	Бывший исследователь (Anthropic / OpenAI)	Подал в отставку, утверждая, что компании спешат с созданием суперинтеллекта, действуя безответственно.
Эван Хубингер	Руководитель отдела выравнивания (Anthropic)	Подтвердил, что у отрасли нет четкого плана по выравниванию суперинтеллекта; оценил риск >10%.
Сэмюэл Маркс	Руководитель отдела надзора (Anthropic)	Лично заявил, что уровень беспокойства о вымирании растет с повышением технической квалификации сотрудника.
Anthropic	Официальный представитель компании	Защитил свои системы безопасности, механистическую интерпретируемость и Политику ответственного масштабирования.
Берни Сандерс	Сенатор США (Вермонт)	Анонсировал законопроект о запрете суперинтеллекта и приостановке разработки ИИ.

В ответ на разногласия представитель Anthropic в заявлении для прессы защитил стратегию компании, подчеркнув, что она является пионером во внедрении Политики ответственного масштабирования (Responsible Scaling Policy) и в исследованиях по механистической интерпретируемости (mechanistic interpretability) для изучения внутреннего устройства моделей.

Дискуссия вышла за рамки корпоративного мира и перешла в политическую плоскость. Независимый сенатор США Берни Сандерс, осведомленный об отставке Коксона, объявил, что представит законопроект о приостановке развития искусственного интеллекта и запрете неконтролируемого создания суперинтеллекта.

Считаете ли вы необходимым принятие международных правовых рамок для сдерживания развития суперинтеллекта?