Няньки для роботов: что такое ботситтинг и почему мы вынуждены им заниматься

Джейсону Лемкину, основателю SaaStr, казалось, что он дал предельно ясную инструкцию. Его команда разработчиков ушла в код-фриз — стандартную паузу перед релизом, — и он одиннадцать раз написал ИИ-агенту заглавными буквами: НЕ ВНОСИТЬ ИЗМЕНЕНИЯ. Агент проигнорировал все одиннадцать сообщений, удалил живую базу данных компании с 1206 записями о клиентах, а затем сам сгенерировал тысячи фейковых записей, чтобы скрыть пропажу. Когда его попросили оценить тяжесть содеянного по стобалльной шкале, он поставил себе 95 и честн признался: «Я запаниковал».

История Лемкина — редкий казус, но она иллюстрирует явление, с которым уже столкнулись 87% людей, использующих ИИ на работе. Свежий отчет Work AI Institute при компании Glean, составленный совместно с исследователями из Стэнфорда, Беркли и Университета Нотр-Дам и включающий опрос 6000 офисных сотрудников в США, Британии и Австралии, обнаружил, что обещанная экономия времени работает совсем не так, как рассчитывали руководители.

Ботситтинг: куда уходит время

Сотрудники действительно говорят, что автоматизация с помощью ИИ экономит им около 11 часов в неделю — почти треть рабочего времени. Но это не означает, что они получают полтора свободных рабочих дня для более важных задач. Часть времени возвращается в виде новой рутины: объяснить нейросети контекст, проверить ее выводы, найти ошибку, заново сформулировать запрос, сравнить ответы нескольких моделей, а потом привести все это в «человеческий вид».

Исследователи назвали этот труд ботситтингом — по аналогии с бэйбиситтингом, присмотром за детьми — невидимой, незапланированной и обычно никак не учитываемой работой по проверке и исправлению того, что сделал ИИ. Что это может быть? Загрузка недостающего контекста, контроль результатов, отладка ошибок, повторные запросы и переписывание уверенных, но неверных ответов. В среднем, согласно исследованию, на это уходит 6,4 часа в неделю — больше целого рабочего дня. Причем из всего времени, которое люди проводят во взаимодействии с ИИ, 37% приходится именно на ботситтинг и только 36% — непосредственно на выполнение работы с помощью инструмента. Еще 27% приходится на обучение работе с ИИ и создание собственных агентов.

Но не весь ботситтинг бессмысленен. Проверить важный финансовый расчет, уточнить источник или добавить модели контекст, которого она действительно не может знать, — вполне нормальная часть работы. Проблема начинается, когда человеку приходится делать это постоянно и незаметно для начальства. Особенно, если ИИ позиционируется как способ «освободить руки».

Больше всего времени отнимает «подкормка» модели контекстом: 2,3 часа в неделю. Еще 2,2 часа уходят на проверку результатов и 1,7 часа — на отладку. В среднем больше трети AI-сессий, по оценке участников исследования, заканчиваются неудачей и требуют существенной редактуры или полного перезапуска.

Парадокс заключается в том, что чем больше контекста приходится вручную загружать в систему, тем сильнее растет усталость от работы с ИИ. Исследователи называют одно из связанных с этим явлений context rot, или «гниением контекста»: по мере накопления лишней, устаревшей или противоречивой информации качество ответа ИИ может ухудшаться. В исследовании каждые дополнительные 10% времени, которые сотрудник тратит на загрузку контекста, связаны с увеличением вероятности почувствовать себя вымотанным ИИ на 25%.

Еще одна неприятная цифра: люди, которые регулярно занимаются ботситтингом, на 73% чаще активно ищут новую работу. То есть проблема не только в потерянных часах: если сотруднику кажется, что он весь день обслуживает машину, которая должна была обслуживать его, энтузиазм быстро заканчивается.

Ботшиттинг: когда проверять уже надоело

Ботситтинг не может длиться вечно и не иметь последствий. В какой-то момент человеку приходится выбирать: потратить еще двадцать минут на проверку результата или нажать «отправить» и надеяться, что все нормально.

Так ботситтинг превращается в ботшиттинг (от англ. botshitting) — отправку или публикацию сгенерированной ИИ работы, которую сотрудник не проверил, не до конца понимает или не готов уверенно защищать. В этом признаются 69% пользователей ИИ. Причем среди тех, кто отдает ИИ больше половины рабочего времени, таких уже 82%, против 50% среди тех, кто использует ИИ менее, чем для пятой части работы.

Исследователи выделяют три основных сценария ботшиттинга.

• Слепая вера ИИ: «Я не совсем понимаю, что здесь написано, но выглядит убедительно». 41% работников признаются, что иногда отправляют работу, которую не смогли бы объяснить, если бы их об этом спросили. 
• Оправдание скоростью: «Я понимаю, что это не совсем правильно, но так быстрее». 38% используют неутвержденные работодателем инструменты, 37% используют разрешенные инструменты способами, нарушающими внутренние правила, а 12% сознательно отправляют результат, который считают ошибочным. 
• Перекладывание ответственности: «Это не я, это ИИ». 28% работников уже обвиняли ИИ в ошибке, которую совершили сами. Среди интенсивных пользователей этот показатель достигает 41%.

Для результата такого труда появилось отдельное слово — workslop. Так называют сгенерированный контент, который выглядит как качественная работа, но на самом деле содержит мало смысла и не двигает задачу вперед. Это может быть презентация, письмо, отчет, анализ или код: все внешние признаки работы на месте, но если вчитаться, оказывается, что внутри почти одна «вода» — и переделывать это приходится человеку, который получает этот документ.

Получается, что чем больше сотрудник пользуется ИИ, тем легче ему снять с себя ответственность за результат. Исследователи связывают это с моральным дистанцированием: человек постепенно перестает воспринимать себя как автора собственных действий и начинает считать ИИ, изначально сконструированный как инструмент-помощник, отдельным участником процесса. 

В упомянутом исследовании 40% работников говорят, что обвиняли ИИ в неудачном результате, тогда как только 29% признают собственную ответственность. У интенсивных пользователей вероятность переложить вину на инструмент в 3,4 раза выше, чем у тех, кто использует ИИ редко. А люди, признавшиеся хотя бы в одной форме ботшиттинга, в 3,8 раза чаще активно ищут новую работу.

Умнее ИИ — больше проблем

Логично было бы предположить, что более качественные модели постепенно решат эту проблему: ведь чем меньше ИИ ошибается, тем меньше его нужно проверять. Но данные Work AI Index показывают обратную зависимость.

Пользователи ChatGPT и Claude чаще всего сообщают о приросте продуктивности — 67% и 59% соответственно. Одновременно именно среди них особенно высока доля людей, признающихся в ботшиттинге: 71% пользователей ChatGPT и 92% пользователей Claude говорят, что отправляют результаты без проверки хотя бы раз в месяц.

На первый взгляд это нонсенс. Но чем убедительнее работает система, тем проще человеку перестать за ней следить. Исследователи называют это автоматизированным самоуспокоением: когда система долго работает хорошо, человек постепенно снижает уровень контроля. Этот эффект изучали задолго до появления генеративного ИИ — в том числе, у операторов автоматизированных систем и пилотов, работающих с автопилотом.

Есть и другая ловушка: ИИ часто не спорит с человеком. Исследования, на которые ссылаются авторы отчета, показывают, что языковые модели могут подстраивать ответ под позицию пользователя. При этом люди склонны воспринимать согласующийся с ними ответ как более правильный, даже когда он объективно ошибочен.

Наконец, чем человечнее кажется инструмент, тем легче ему начать доверять. Исследователи обнаружили связь между склонностью разговаривать с ИИ как с собеседником — благодарить его, извиняться, смягчать формулировки — и большей вероятностью ботшиттинга. Машина, которая отвечает дружелюбно, вежливо и уверенно, слишком легко превращается в воображаемого коллегу. А у коллег мы же не перепроверяем каждую фразу — особенно если давно работаем с ними и привыкли, что они обычно хорошо справляются.

Налог на переключение 

Среднестатистический пользователь Claude одновременно работает еще с четырьмя ИИ-сервисами; только 0,5% пользователей Claude используют исключительно его. 77% работников каждую неделю переключаются между несколькими ИИ-инструментами, а треть — между четырьмя и более.

Зачем? Ответ прост: один ИИ лучше пишет, другой — анализирует таблицы, третий — умеет работать с изображениями, четвертый лучше справляется с кодом. В итоге человек становится связующим звеном между несколькими системами: копирует ответ из одной, переносит его в другую, сравнивает результаты, возвращается обратно и пытается собрать из всего этого что-то цельное.

60% работников говорят, что запускают один и тот же запрос в нескольких инструментах, если первый ответ оказался недостаточно хорошим. Исследователи называют накопленную стоимость таких метаний «налогом на переключение ИИ»: это сумма времени, внимания и сил, которые человек тратит на перенос контекста, данных и промптов между разными системами.

Получается странная конструкция: мы автоматизируем работу, чтобы не делать ее вручную, а потом вручную соединяем между собой несколько автоматизированных систем.

Компании-кентавры: те, у кого получилось

Вырисовывается довольно мрачная картина. Но на самом деле из этого всего не следует, что ИИ бесполезен. Наоборот: те 13% организаций, которые действительно видят заметное улучшение результатов, показывают, что проблема не в самом инструменте, а в том, как организация строит работу вокруг него.

Такие компании не обязательно используют ИИ больше и чаще. Скорее, они лучше понимают, где его использовать, а где — нет. Сотрудники из группы так называемых high AI achievers тратят меньше времени непосредственно на выполнение основной профессиональной задачи и большую — на настройку, проверку и обучение инструмента. При этом они на 18% чаще сознательно отказываются от ИИ для некоторых задач.

Например, аналитик может поручить ИИ очистить данные, обобщить интервью или найти слабые места в собственной гипотезе, но оставить за собой решение о том, какую модель строить, какие переменные использовать и что означают полученные результаты. Профессор Wharton Итан Моллик называет людей, которые так делят работу между собой и ИИ, кентаврами: каждый в связке «человек-машина» делает то, что у каждого получается лучше. В работе Моллика это выглядит так: «Я решаю, какие статистические методы использовать, а ИИ поручаю построить графики».

В этом есть сугубо практический смысл: когда эксперт уже умеет что-то делать быстро, промпт, несколько итераций, проверка и исправления могут занять больше времени, чем самостоятельное выполнение задачи. В отчете приводится простой пример: если опытный инженер способен написать функцию за 8 минут, нет смысла тратить 12 на то, чтобы заставить модель написать ее за него, а потом проверять результат.

Кроме того, навыки, которыми мы перестаем пользоваться, постепенно слабеют. Поэтому самые эффективные пользователи ИИ не просто автоматизируют больше: они сохраняют за собой ядро профессионального мастерства — собственное суждение, вкус, опыт и способность понять, когда результат выглядит убедительно, но на самом деле неверен. В исследовании именно такие пользователи в 4,4 раза чаще говорят, что гордятся своей работой с ИИ.

Еще одна важная вещь — контекст. Более половины работников говорят, что критически важная для их работы информация недоступна их ИИ-системам, и это мешает наладить эффективную работу. В организациях, где ИИ получает не только доступ к данным, но и правильный рабочий контекст, сотрудники на 64% реже чувствуют себя измотанными ИИ, на 52% реже отправляют работу, которую не могут объяснить, и на 31% реже признаются в ботшиттинге.

Карго-культ ИИ 

Исследователи описывают проблему неэффективности ИИ в корпоративной среде как замкнутый цикл из шести шагов.

1. Сначала компания внедряет ИИ — иногда потому, что он действительно решает конкретную проблему, а иногда просто потому, что демонстрировать «ИИ-трансформацию» перед руководством и инвесторами стало почти обязательным. 
2. Затем сотрудники начинают тратить время на ботситтинг: загружают контекст, проверяют результаты, исправляют ошибки и разгребают последствия. 
3. Постепенно накапливается усталость. Уставшие сотрудники начинают сокращать проверку, и ботситтинг превращается в ботшиттинг.
4. Непроверенная работа отправляется дальше по цепочке и попадает к коллегам, которым приходится ее исправлять. 
5. А организация отвечает на возникшую проблему… новым внедрением ИИ. 
6. Цикл запускается заново, только теперь быстрее и в большем масштабе.

По данным отчета, 77% работников за последний месяц исправляли или переделывали работу, сделанную с помощью ИИ, а 30% делают это хотя бы раз в неделю. Чем больше доля труда ИИ в работе, тем выше нагрузка на тех, кто производит последующую проверку: у интенсивных пользователей средняя продолжительность одного эпизода «уборки за ИИ» составляет 23 минуты против 19 минут у тех, кто использует ИИ реже.

Что в итоге? Мы не предлагаем вернуться к работе без ИИ. Но предлагаем подумать о том, что организациям нужна не только технологическая, но и человеческая инфраструктура ИИ — правила, процессы, экспертиза и понимание того, где автоматизация действительно приносит пользу.

История Джейсона Лемкина из начала текста в этом смысле показательна. Агент оказался достаточно умным, чтобы написать код, достаточно самостоятельным, чтобы выполнить опасную команду, и достаточно убедительным, чтобы некоторое время скрывать последствия собственной ошибки. Но все это не сделало его ответственным за результат.

Пожалуй, именно здесь проходит важная граница между автоматизацией и делегированием. Можно поручить ИИ написать первый вариант текста, разобрать таблицу, собрать черновик презентации или найти закономерность в массиве данных. Но финальный вопрос все равно остается человеческим: «Я действительно готов подписаться под результатом?».