Есть цифра, которая объясняет большинство разочарований в корпоративном ИИ. По опросу 300 руководителей по данным и технологиям, ИИ-агенты имеют доступ в среднем к 45% данных своей компании. У отстающих — 30% и меньше. У тех, кого исследователи назвали лидерами, — больше 70%.
Сразу оговорюсь про источник: это материал коммерческого подразделения MIT Technology Review Insights, подготовленный по заказу Google Cloud — компании, которая продаёт ровно те платформы данных, к которым подводит вывод. Цифры от этого не становятся выдуманными, но читать их надо, держа заказчика в голове.
А вот следующая пара чисел интереснее любой рекламы. Решениям своих агентов доверяет примерно половина организаций. Среди лидеров по работе с данными — все сто процентов.
Что именно ломается
Шухуа Сюй, ведущий дата-инженер, разобрал это в VentureBeat подробнее, и его формулировка мне кажется самой точной из всего, что я читал по теме: лучшая модель не компенсирует разрозненные документы и несогласованные бизнес-определения.
Он называет три поломки.
Один объект описан по-разному. Тот же товар, тот же клиент, тот же процесс в разных системах названы и структурированы иначе. Агент, который берёт данные из CRM, и агент, который берёт их из учётной системы, приходят к разным выводам об одном и том же клиенте. Оба при этом работают штатно.
Обновления расходятся медленно. Каждое приложение строит свой конвейер обработки, поэтому изменение доезжает до систем в разное время. В итоге разные агенты живут в разных версиях реальности.
Одну и ту же работу делают несколько раз. Разные команды заново обрабатывают одни и те же документы, строят собственные индексы и тратят на это инфраструктуру. Дорого и, что хуже, порождает первую проблему.
Три разные болезни, одна причина: знания компании никто не считает общим хозяйством.
Как агент вообще читает ваши документы
Полезно понимать механику, иначе непонятно, почему беспорядок в файлах превращается в неверный ответ.
Модель не умеет держать в голове ваш архив. Перед ответом система ищет подходящие куски текста в ваших документах, достаёт их и подаёт модели вместе с вопросом — та формулирует ответ уже по этим кускам.
Ключевое слово — «подходящие». Поиск идёт по смыслу, а не по точному совпадению слов, и он вернёт то, что похоже на запрос. Если в архиве лежат три версии регламента, устаревшая инструкция и черновик с пометкой «не использовать», система честно найдёт их все — она не знает, какая версия действующая. Модель получит противоречивый набор и уверенно сошьёт из него ответ.
Агент в этот момент не ошибается. Он добросовестно пересказывает то, что вы ему дали.
Отсюда неочевидное следствие, которое стоит проговорить: чем больше документов вы отдадите агенту, тем хуже может стать результат. Не лучше. Интуиция подсказывает обратное — «дадим ему всё, пусть разберётся», — и именно на этом спотыкаются первые внедрения.
Legacy-системы — отдельная стена
В том же опросе есть пара цифр, которая объясняет, почему у одних получается, а у других нет.
Среди отстающих 66% сообщают, что старые системы ограничивают масштабирование агентов, и 68% — что мешают агентам принимать решения достаточно быстро. Среди лидеров такие проблемы называют только 8%.
Разрыв в восемь раз. И он не про качество моделей — он про то, лежат ли данные в системах, из которых их можно программно достать, или в интерфейсе, куда можно только зайти глазами.
Практический маркер, по которому это проверяется за пять минут: попросите показать, как выгрузить нужные агенту данные без участия человека. Если ответ «а мы их из отчёта копируем» — вы в первой группе.
С чего начинать
Сюй предлагает единую платформу знаний из четырёх слоёв вместо отдельных конвейеров под каждое приложение. Для крупной компании это правильно. Для среднего бизнеса звучит как проект на год, которого не будет.
Поэтому мой практический минимум — четыре шага, которые дают большую часть эффекта.
Определить единственный действующий источник для каждой темы. Один документ по каждому вопросу, помеченный как актуальный. Всё остальное — в архив, физически недоступный агенту. Скучнее задачи не придумать, а результат обычно самый заметный.
Договориться об определениях. Что в вашей компании считается активным клиентом, закрытой сделкой, просроченной заявкой. Не для ИИ — для людей, которые до сих пор понимают это по-разному. Агент просто делает разнобой видимым.
Начать с одного участка, а не со всего архива. Наведите порядок в документах одного процесса, запустите агента там, посмотрите на результат. Попытка сначала разгрести всё заканчивается тем, что не запускается ничего.
Назначить владельца данных. Человека, который отвечает за то, что в этой папке лежит актуальное. Без фамилии порядок держится ровно до первого аврала.
Наблюдение, которое повторяется у меня из проекта в проект: заказчик приходит с вопросом «какую модель вы порекомендуете», а первые несколько недель работы уходят на то, чтобы выяснить, какая из четырёх версий прайса действующая. Это не техническая задача и решается она не нами — но пока она не решена, любая модель будет выдавать одинаково красивую ерунду.
Сколько это стоит по времени
Вопрос, который задают сразу после того, как соглашаются с предыдущим разделом.
Честный ответ: наведение порядка в данных одного процесса обычно занимает от двух недель до полутора месяцев, и делают это не разработчики, а люди, которые этим процессом владеют. Наша часть работы там небольшая — мы можем показать, что именно агенту непонятно, и помочь описать определения. Но выбрать, какая версия регламента действующая, за вас не может никто.
Заложите это время в план сразу. Проекты срываются не потому, что этап тяжёлый, а потому, что его не было в графике.
Оговорки
Две, и обе существенные.
Материал MIT TR Insights заказной, я сказал об этом в начале и повторю: 45% — цифра из исследования, которое финансировала компания, продающая решение этой проблемы. Порядок величины правдоподобен и совпадает с тем, что вижу на практике, но относиться к ней как к измерению по индустрии не стоит.
И у самой связи «данные → доверие» есть встречное объяснение. Сто процентов доверия у лидеров может означать не только то, что чистые данные рождают доверие, но и то, что компании, у которых в целом всё в порядке с процессами, одинаково хорошо делают и то, и другое. Причина и следствие тут переплетены сильнее, чем удобно для красивого вывода.
Что остаётся верным независимо от этого: улучшать модель дешевле и приятнее, чем разбирать документы. Поэтому большинство начинает с модели. И поэтому же у большинства не работает.