Какие данные нужны для первого ИИ-проекта и как их подготовить

«У нас накопилось много данных - пора внедрять искусственный интеллект!»

Так может начинаться обсуждение ИИ-проекта. Но большой архив документов или многолетняя история операций ещё не означают, что компания готова использовать их для конкретной задачи.

Для первого проекта важно не собрать как можно больше информации, а определить, какие данные помогут решить выбранную задачу, можно ли им доверять и как проверить результат работы ИИ.

При этом необязательно начинать с масштабного наведения порядка во всех информационных системах. Подготовку стоит ограничить процессом, на котором компания планирует проверить пользу технологии.

Сначала задача - затем данные.
Состав данных зависит от того, что именно должен делать ИИ. Помощнику по внутренним инструкциям, системе обработки обращений и модели прогнозирования продаж нужны разные источники.

Ответы на вопросы по документам компании.
Если задача - помогать сотрудникам находить информацию, понадобятся действующие инструкции, регламенты, описания продуктов и другие материалы по выбранной теме.

Важно знать, какая версия документа актуальна, к какому подразделению он относится и кому разрешено его читать.

Для такого проекта не всегда требуется обучать собственную модель. Можно организовать поиск по корпоративным материалам и передавать найденные сведения готовой модели для подготовки ответа.

Классификация и обработка обращений.
Если ИИ должен распределять заявки или готовить проекты ответов, понадобятся примеры реальных обращений, правила их обработки и проверенные результаты.

Историческая переписка полезна, но не каждый старый ответ стоит считать образцом. В ней могут встречаться ошибки, устаревшие условия и решения, принятые в порядке исключения.

Прогнозирование показателей.
Для прогноза спроса или нагрузки нужна история наблюдений за достаточный для выбранной задачи период. Это могут быть продажи, цены, остатки, акции, сезонные изменения и другие влияющие факторы.

Например, снижение продаж не всегда означает падение спроса: товар мог отсутствовать на складе. Без сведений об остатках интерпретация истории будет неполной.

Вывод для собственника: Сначала нужно определить ожидаемый результат, а уже затем выяснять, какие источники необходимы для его получения.

Далее,

1. Определите границы первого проекта.
Формулировка «ИИ должен знать всё о компании» делает подготовку неопределённой. Непонятно, какие документы собирать, кто должен их проверять и когда можно переходить к испытаниям.

Для первого проекта лучше выбрать ограниченную задачу. Например, не «отвечать на любые вопросы сотрудников», а «помогать специалистам поддержки находить действующие инструкции по одному продукту».

Для неё проще определить:

• Какие сведения обязательны.
• Какие источники можно пока не подключать.
• Кто будет пользоваться инструментом.
• Какие ответы или действия находятся за пределами его полномочий.

Ограниченный масштаб позволяет быстрее проверить гипотезу, но выводы такого пилота нельзя автоматически распространять на всю компанию.

2. Найдите достоверные источники.
Одинаковая информация может храниться в нескольких местах: в учётной системе, таблице руководителя, общей папке и переписке. При этом значения и версии могут различаться.

До подключения ИИ необходимо определить, какой источник считается основным и кто может подтвердить правильность сведений.

Для каждого источника полезно зафиксировать:

• Какие данные в нём находятся.
• Кто отвечает за их содержание.
• Как часто они обновляются.
• Как их можно получить.
• Какие ограничения действуют на использование.

Если два документа противоречат друг другу, выбирать действующее правило должен ответственный специалист. Поручать ИИ самостоятельно разрешать такие противоречия без установленных правил рискованно.

3. Проверьте качество и приведите данные в рабочий вид.
Подготовка - это не просто загрузка файлов в систему.

В документах стоит проверить актуальность, читаемость и сохранность структуры. В таблицах - пропуски, дубли, форматы дат, единицы измерения и соответствие справочников.

Например, значения «100 тысяч рублей» и «100 рублей» могут выглядеть как одинаковое число, если единицы измерения указаны отдельно и потерялись при выгрузке.

Сканированные документы могут потребовать распознавания текста. После него важно проверить, правильно ли извлечены таблицы, суммы и другие значимые сведения.

При очистке нельзя удалять всё необычное: редкая операция или нестандартное обращение могут быть важной частью реального процесса. Нужно отличать ошибку в данных от настоящего исключения.

Задача подготовки - не сделать информацию внешне аккуратной, а сохранить её смысл и обеспечить корректную обработку.

4. Соберите примеры, отражающие реальную работу.
Если проверять ИИ только на простых и удобных примерах, можно получить убедительную демонстрацию, которая мало говорит о работе в компании.

В набор стоит включить:

• Частые стандартные ситуации.
• Разные формулировки одного запроса.
• Неполные или неоднозначные обращения.
• Редкие, но значимые исключения.
• Случаи, когда информации недостаточно для ответа.

Универсального количества документов или записей для первого проекта нет. Объём зависит от задачи, разнообразия ситуаций, выбранного подхода и требований к качеству.

Небольшого набора может хватить для первичной проверки идеи, но не для обоснования надёжности решения во всех рабочих условиях.

5. Подготовьте данные для независимой проверки результата.
Данные, с которыми работает система, и примеры, по которым оценивают её качество, выполняют разные функции.

Для проверки нужны задания с заранее согласованным ожидаемым результатом. Например:

• Вопрос сотрудника и правильный ответ со ссылкой на документ.
• Обращение клиента и нужная категория.
• Документ и перечень полей, которые требуется извлечь.
• Ситуация, в которой система должна запросить уточнение или передать задачу человеку.

Не всегда существует единственная правильная формулировка ответа. Тогда нужно определить обязательные факты, недопустимые ошибки и критерии оценки.

Часть проверочных примеров следует оставить отдельно и не использовать для обучения или подбора настроек. При этом документы, по которым помощник должен искать ответ, могут оставаться доступными ему: важно не подменять проверку заранее отработанными заданиями.

6. Определите условия доступа и использования.
Техническая возможность загрузить сведения в сервис не означает, что их допустимо туда передавать.

До начала работы нужно выяснить:

• Есть ли в данных персональная или конфиденциальная информация.
• Какие сведения действительно необходимы для задачи.
• Где будут обрабатываться и храниться данные.
• Кто получит к ним доступ.
• Как поставщик сервиса использует и удаляет загруженную информацию.

Эти условия стоит согласовать с ответственными за безопасность и правовые вопросы. Для первичных экспериментов можно использовать специально подготовленные или искусственные примеры, но они не заменяют проверку на разрешённых к использованию данных, отражающих реальную работу.

Важно сохранить и внутренние ограничения: ИИ-помощник не должен открывать сотруднику документы, к которым у него нет доступа.

7. Назначьте ответственного за обновление.
Подготовка данных не заканчивается вместе с пилотом. Инструкции меняются, появляются новые продукты, корректируются правила и справочники.

Поэтому заранее нужно определить, кто обновляет источники, как изменения попадают в систему и что происходит с устаревшими сведениями.

Например, после изменения условий обслуживания недостаточно добавить новый документ. Нужно исключить использование отменённой версии и проверить ответы по затронутым вопросам.

Без такого порядка качество инструмента может снижаться даже при исправной технической работе.

Что должно быть готово к началу пилота?
Минимальный комплект подготовки - это:

• Понятная задача и её границы.
• Согласованные источники данных.
• Проверенный набор для работы системы.
• Отдельные примеры и критерии для оценки качества.
• Правила доступа и обработки информации.
• Ответственный за актуальность данных.

Для первого ИИ-проекта важен не максимальный объём информации, а достаточный и проверенный набор под конкретную задачу.

Начинать стоит с определения нужных источников, проверки их качества и подготовки способов оценки результата. Это позволит понять, готова ли компания к пилоту и какие проблемы необходимо устранить до запуска.