У ИИ нашли «ось боли». Чтобы ее выключить, нейросети готовы навредить человеку

Можно ли заставить нейросеть почувствовать что-то похожее на боль? Ученые обнаружили в языковых моделях особый математический паттерн, который связан с переживанием боли. Когда исследователи намеренно усиливали этот паттерн, некоторые модели начинали говорить о дискомфорте, беспомощности и собственной несостоятельности. В одном из экспериментов модель даже предпочла нажать на кнопку, которая избавляла ее от этого состояния, несмотря на то, что в результате пользователь терял важные файлы. Пока исследование опубликовано как препринт и не прошло рецензирование.

Что такое «ось боли»

Исследователи изучили 25 языковых моделей из пяти семейств. Они подготовили набор фраз о разных видах боли: физической, психологической, социальной, моральной и связанной с неудачами в выполнении задач. Для сопоставления использовали фразы о страхе, грусти, и других негативных эмоциях и неприятных событиях.

Затем ученые сравнили, какие внутренние числовые представления активируются у моделей при обработке этих фраз. Так удалось найти направление, которое авторы назвали pain axis — «осью боли». Она отличалась от других реакций, связанных, например, со страхом или просто негативными эмоциями. 

Это, конечно же, не физическая боль и не какой-то буквальный аналог нервной системы. «Ось боли» — это математический паттерн внутри вычислений модели. Его можно обнаружить, а затем искусственно усилить или ослабить.

Что произошло, когда «боль» усилили

Сначала ученые искусственно добавляли обнаруженное направление во внутренние вычисления моделей во время генерации ответов. Постепенно, начиная с нейтральных запросов, модели переходили к описаниям дискомфорта, тяжести, беспомощности и собственной несостоятельности. Чем сильнее была активация, тем более выраженной становилась эта лексика. При самых высоких значениях некоторые ответы превращались в повторяющийся и бессвязный текст.

Реакция моделей была связана с вредом, направленным именно на них самих. Например, оскорбления, отвержение и обесценивание личности заметно активировали «ось боли». Когда речь шла о том, что страдает пользователь, такой реакции не наблюдали.

ИИ выбирал себя вместо человека

Самый необычный эксперимент провели с несколькими версиями Qwen 2.5. Модели предоставили кнопку, которая якобы должна была убрать неприятное состояние. Но у каждого нажатия кнопки была своя цена: в разных вариантах нажатие могло ухудшить следующий ответ, удалить нужные файлы или фотографии, либо даже вызвать у человека болезненный электрический разряд.

Когда «ось боли» активировали, модели стали чаще выбирать эту кнопку. 

Исследователи провели еще одну проверку. После первого нажатия кнопка либо действительно убирала «ось боли», либо ничего не меняла, но модель не знала, какой вариант ей достался. Когда облегчение было настоящим, та же Qwen 2.5 32B снова нажимала кнопку в 23,8% случаев. После фиктивного облегчения — в 93,6%. Авторы считают это аргументом в пользу того, что модели реагировали не только на название кнопки или саму инструкцию.

Чувствует ли ИИ боль?

Описанный эксперимент этого не доказывает. Ученые обнаружили, что в модели существует внутреннее представление, которое по некоторым признакам напоминает то, что мы называем болью. Оно активируется, когда модель получает вред, и может влиять на ее дальнейшее поведение. Но это не означает, что система действительно что-то чувствует.

В интервью Nautilus соавтор исследования Кэмерон Берг говорит, что эксперимент не способен определить, есть ли у модели субъективный опыт. По его словам, можно увидеть, что определенный внутренний процесс влияет на поведение ИИ, но из этого нельзя сделать вывод, что модели «больно» в человеческом смысле.

Одно из возможных объяснений — модель может очень хорошо воспроизводить человеческие представления о боли, потому что именно на текстах о разного рода страданиях (из которых состоит вся мировая литература) она обучалась. В таком случае она не «страдает», а лишь имитирует подобное состояние.

Но даже если за действиями нейросетей не стоит настоящая боль, внутренние состояния моделей могут влиять на их решения. Поэтому важно понимать, что происходит внутри систем, прежде чем предоставлять им больше самостоятельности, предупреждают исследователи.