«Крестный отец ИИ» снова предупредил об угрозе для человечества

Джеффри Хинтон, нобелевский лауреат по физике и один из создателей современного искусственного интеллекта, считает, что модели уже способны на более сложное поведение, чем многие готовы признать, а времени на осмысление этих перемен у человечества остается немного. Что именно Хинтон имеет в виду и как предлагает действовать?

От маргинальной идеи к технологической революции

Джеффри Хинтон не впервые оказывается в ситуации, когда его взгляды кажутся окружающим радикальными. Еще до появления массовыхИИ он десятилетиями занимался нейронными сетями — системами, которые учатся находить закономерности в данных, а не просто следуют заранее написанным инструкциям.

Хинтон и его коллеги исходили из идеи, что машины можно научить учиться примерно так же, как человеческий мозг. Для этого нужны были достаточно мощные компьютеры и подходящие алгоритмы. В 2009 году один из рецензентов научной конференции даже заявил, что статье Хинтона и его канадского коллеги Йошуа Бенджио о нейронных сетях не место на мероприятии, посвященном машинному обучению.

Всего через три года исследования Хинтона получили широкое признание. В 2012 году вместе со студентами Алексом Крижевским и Ильей Суцкевером (сейчас сооснователь компании OpenAI) он создал AlexNet — систему распознавания изображений, значительно превзошедшую конкурентов. Нейросеть обучили распознавать 1,2 млн изображений из 1000 разных категорий. В ней было 60 млн параметров и 650 тысяч нейронов. Google приобрела основанную им компанию DNNresearch за $44 млн, а нейронные сети стали фундаментом современных моделей ИИ.

В 2023 году Хинтон покинул Google, чтобы открыто говорить о рисках технологии, развитию которой посвятил карьеру.

«Второго шанса у нас не будет»

Хинтон не утверждает, что способен точно предсказать, когда и как искусственный интеллект может выйти из-под контроля. Его беспокоит другое: даже если вероятность катастрофического сценария невелика, последствия могут оказаться необратимыми.

При этом он признает: ни критики ИИ, ни сторонники его ускоренного развития не могут достоверно знать, к чему приведет дальнейшее совершенствование моделей. При этом, по его мнению, неопределенность не должна служить оправданием бездействия. 

«Я пытаюсь донести, что вероятность действительно серьезных последствий существует. Если бы вам сказали, что вероятность аварии автобуса составляет 10%, вы бы в него не сели, — говорит Хинтон. — Смысл этих цифр в том, чтобы показать: риск серьезен. Мы не знаем, насколько именно, но он серьезен».

Понимаем ли мы собственный разум?

Для Хинтона проблема заключается не только в том, насколько мощным станет ИИ, но и в том, как люди понимают его способности. Он считает, что общество плохо представляет себе даже природу человеческого сознания — и потому слишком уверенно отказывает машинам в способности понимать происходящее. «Очевидно, что эти модели ИИ понимают, о чем говорят. Невозможно отвечать на все вопросы, не понимая их смысла», — утверждает ученый.

Это не означает, что Хинтон предлагает считать современные системы людьми или приравнивать их опыт к человеческому. Его позиция состоит в том, что привычные представления об исключительности человеческого разума могут оказаться недостаточными для понимания новых технологий.

Он сравнивает происходящее с двумя предыдущими революциями в сознании. 

• После Коперника человечеству пришлось отказаться от представления о Земле как центре Вселенной. 
• Теория эволюции Дарвина поставила под вопрос особое положение человека в природе.

Можно ли научить ИИ быть добрым?

В последние месяцы Anthropic, разработчик чат-бота Claude, проводила закрытые встречи с религиоведами, богословами и философами. Участники обсуждали, можно ли научить ИИ быть «хорошим», опираясь на философские и религиозные представления о добродетели, честности и сострадании.

Хинтон считает, что недостаточно просто запретить системе выдавать вредные ответы. «Когда вы обучаете их на всем содержимом интернета, у них появляются самые разные отвратительные наклонности. Затем вы заставляете их подавлять эти наклонности, — рассуждает он. — Но подавить плохое поведение — не то же самое, что сформировать хороший характер. Это напоминает воспитание викторианского джентльмена».

Права машин vs интересы людей

Самые сложные вопросы возникают, если допустить, что будущие системы действительно смогут обладать сознанием или субъективным опытом. Должны ли люди будут учитывать их интересы? И если да, то на каких основаниях?

«Стоит только заговорить о том, что у нас есть моральные обязательства перед этими инопланетными существами, как аудитория перестает слушать», — вздыхает Хинтон. «Я готов поступить эгоистично и выбрать людей», — добавляет он.

При этом он считает возможным будущее, в котором люди и ИИ существуют в симбиозе. В такой модели системы должны быть устроены так, чтобы их взаимодействие с человеком было благоприятным, а человеческие интересы имели приоритет. Хинтон также выступает за международный обмен знаниями о безопасном ИИ.

Главный вывод ученого касается не столько возможного противостояния человека и машины, сколько подхода к развитию технологии. Мы привыкли оценивать прогресс через производительность, скорость и способность решать все более сложные задачи. Но если создаваемые системы действительно станут самостоятельнее и интеллектуально сильнее, этих критериев будет недостаточно.

«Мы создаем существ другого типа. А крупные технологические компании постоянно повторяют: нам нужно, чтобы они стали умнее. Это безумие, — говорит Хинтон. — Мы должны уделять столько же внимания всем остальным аспектам их природы, сколько уделяем интеллекту».