Аварийный выключатель для ИИ: реальность или миф?

Призывы замедлить развитие передового искусственного интеллекта, самых мощных моделей в индустрии, заметно усилились на прошлой неделе. В качестве экстренной меры постоянно упоминают идею «аварийного выключателя» для ИИ.

Концепция аварийного выключателя проста, когда речь идёт о физических машинах. Марк Нитцберг, исполнительный директор Центра совместимого с человеком ИИ при Калифорнийском университете в Беркли, объясняет: «На заводе это один большой выключатель, который отключает все станки. В случае с ИИ это скорее стремление, чем реальность».

На прошлой неделе исследователь Anthropic Джейкоб Коксон уволился, сославшись на экзистенциальные риски. Когда генеральный директор его бывшей компании Дарио Амодей опубликовал запись о необходимости замедлить развитие ИИ, другие технологические лидеры, такие как Илон Маск и Сэм Альтман, быстро поддержали этот призыв. К понедельнику соучредитель Anthropic Джек Кларк предложил ввести обязательные аварийные выключатели для систем ИИ. Конгресс тоже рассматривал эту идею: представленный этим летом двухпартийный законопроект требует от разработчиков передового ИИ поддерживать возможность замедления, приостановки или полного отключения своих продуктов. Законопроект, метко названный «Законом об аварийном выключателе для ИИ», пока находится в комитете.

Всё это вызывает ключевой вопрос: почему разработчики просто не создадут такой выключатель?

Если компания контролирует серверы, на которых работает модель, остановить её развёртывание может быть на удивление просто. Майкл Вермер, старший физик-учёный из RAND Corporation, говорит прямо: «Самое очевидное — это физическое окружение. Многое можно сделать в физическом мире». Отключение питания серверов или разрыв сетевого соединения может быть достаточно.

Кроме того, Вермер указывает на существующие инструменты, такие как криптография и методы кибербезопасности, которые могли бы изолировать или сдержать систему, если защитники знают, где она работает. В своих исследованиях наихудших сценариев он также изучал более спекулятивный ответ: ИИ-агенты «охотники-убийцы», разработанные для отслеживания и нарушения работы несанкционированной системы.

Выполнить что-либо из этого в глобальном масштабе было бы сложно — «почти невыполнимая задача», по словам Вермера. Но для инцидентов, которые мы наблюдали до сих пор, он считает, что локальных вмешательств может быть достаточно. «На местном уровне создание аварийного или отключающего выключателя, вероятно, технически тривиально. Вы просто выдёргиваете кабель», — говорит он.

Средства контроля можно даже встроить в само оборудование. Нитцберг предполагает, что «сигнал уничтожения» — или, точнее, сигнал поддержания активности, который можно прервать, — может быть встроен в каждый чип центра обработки данных. «Каждую минуту должно поступать сообщение. Если оно не поступает от властей, система не работает», — объясняет он.

Другие скептически относятся к столь простой концепции «спасения мира». Эран Кахана, научный сотрудник юридического факультета Стэнфордского университета, называет аварийный выключатель «экосистемой действий, способных остановить, изолировать и безопасно ухудшить работу системы ИИ, когда её поведение будет признано… операционно нестабильным». По его мнению, такие средства контроля зависят от того, насколько заранее компании определили, как они будут реагировать на сбой. «Если у них нет правильных политик, система аварийного выключателя им не поможет», — заявляет Кахана.

Дилан Бейкер, инженер-исследователь из Distributed AI Research Institute, идёт дальше: сама метафора выключателя является проблемой. «Мы говорим о настолько сложной экосистеме и сети взаимосвязанных технологий, что сводить это к одному выключателю или «замедлению» — это упрощение», — говорит Бейкер.

«Проблема в том, что здесь задействованы люди», — отмечает Нитцберг. Именно им придётся решать, когда оправдано дёрнуть за рычаг, возможно, ещё до получения полной информации.

Конечно, эти технические и операционные проблемы можно преодолеть. Например, Кахана и Бейкер оба прямо назвали улучшение методов мониторинга ключом к выявлению инцидентов до того, как они выйдут из-под контроля. Однако другие, нетехнические проблемы всё ещё могут помешать эффективному использованию такой системы. «Стимулы просто не соответствуют тому, чтобы использовать аварийный выключатель, даже если он есть и его легко создать», — говорит Вермер. Отключение системы, по его словам, влечёт за собой конкурентные и операционные издержки, создавая причины для колебаний до тех пор, пока локальное вмешательство не станет менее полезным — или будет слишком поздно. «Мы не будем уверены, что готовы платить цену за их использование», — добавляет Вермер.

Как бы это ни называли, разработчикам ИИ всё равно нужно знать, какие части системы они могут отключить в экстренной ситуации — и будут ли эти средства контроля работать, когда они понадобятся больше всего.