Галлюцинации» – это термин, описывающий ситуацию, когда искусственный интеллект выдает неверную или вводящую в заблуждение информацию. Это реальная проблема: большие языковые модели способны генерировать убедительные и логичные ответы, которые, тем не менее, не соответствуют действительности.
В сфере IT-операций, многие случаи, которые мы классифицируем как «галлюцинации», имеют более простую причину. Искусственный интеллект не "придумывает" факты. Он просто предоставляет информацию, которая оказалась устаревшей, неполной или противоречивой. Я неоднократно наблюдал это в различных средах и пришел к выводу, что основная проблема часто заключается в самих исходных данных, на которых обучалась система, и в представлении инфраструктуры, которое она получила.
Устранение проблем с данными, на которых работают ваши системы искусственного интеллекта →
Важно понимать эту разницу, поскольку решения будут отличаться. Вам не нужно перенастраивать модель. Необходимо исправить информацию, на которой она опирается.
Логика верна, но ответ не соответствует действительности: как работает Copilot и другие AI-инструменты
Представьте себе такую ситуацию: аналитик службы поддержки обращается к ИИ-помощнику с вопросом, установлена ли последняя версия безопасности на ноутбуке пользователя. ИИ отвечает, что да. Аналитик закрывает заявку. Через два дня, при сканировании на наличие уязвимостей, устройство обнаруживается. Что произошло? ИИ использовал информацию, которая была получена из логов устройства, но эти логи были обновлены до того, как устройство находилось вне сети. Данные были точными на момент их сбора, но уже устарели, когда ИИ их использовал.
А вот еще пример: статья в базе знаний, описывающая процедуру устранения неполадок с VPN, которая была упразднена после изменений в сети. ИИ-помощник находит эту статью, кратко ее обобщает и предлагает шаги, которые больше не применимы. Модель показала неплохие результаты. Однако, источник информации – устаревшая статья. В каждом из этих случаев, человек, прочитавший ту же статью, вероятно, допустил бы ту же ошибку.
Это не единичный инцидент. В масштабном исследовании, проведенном в 2026 году среди 3900 сотрудников в шести странах, включая 1500 IT-специалистов, было установлено, что 68% респондентов столкнулись с ситуацией, когда искусственный интеллект генерировал некорректные данные, которые потенциально могли повлиять на их работу. Приблизительно половина из них смогла обнаружить и исправить эти ошибки до того, как они привели к негативным последствиям. Остальные 16% не заметили этих ошибок. Это значительная доля потенциально ошибочных данных, попадающих в рабочие процессы, и, вероятно, это лишь часть случаев, которые были выявлены.
Три проблемы с данными, которые делают ИИ ненадежным
Во-первых, большинство проблем, возникающих при использовании искусственного интеллекта в ИТ-операциях, сводятся к повторяющимся трудностям. Низкое качество данных – это отсутствие необходимых полей, неконсистентные названия и дубликаты записей – значительно затрудняет получение точных результатов.
Во-вторых, устаревшая информация – еще одна распространенная проблема. ИТ-среда постоянно меняется: устройства перемещаются, пользователи меняют свои роли, программное обеспечение обновляется. Данные, которые были актуальны месяц назад, могут оказаться неверными сегодня, особенно если система искусственного интеллекта не предоставляет никакой информации о возрасте данных. Автоматизированное управление конечными устройствами может помочь поддерживать актуальность данных, но многие организации все еще полагаются на периодическую ручную проверку и очистку, что приводит к возникновению пробелов в информации.
В-третьих, несоответствия в данных. Если две системы выдают разные ответы, искусственный интеллект может выбрать один из них, объединить их или предоставить ответ, который не соответствует ни одной из них. Без четких правил, определяющих, какая система имеет приоритет, результат становится непредсказуемым.
Прозрачность и контроль: ключ к доверию в ИИ
Для IT-команд, полезный ответ от ИИ – это не просто верный, а тот, который можно проверить и понять. Когда помощник предлагает какое-то действие, специалисты должны знать, откуда взялась эта рекомендация: на каких данных она основана, когда эти данные были обновлены, и насколько они согласуются с другими источниками. Объяснимость превращает ИИ из "черного ящика" в надежного помощника, чьи рассуждения можно проверить. Это также значительно ускоряет выявление и исправление ошибок: если аналитик видит, что ответ основан на устаревшей информации, он может сразу пометить эту информацию, вместо того, чтобы сомневаться во всем инструменте.
Меры, направленные на повышение надежности результатов, в большей степени связаны с поддержанием актуальности используемых данных, а не с настройкой самой модели, как это реализовано в платформе Ivanti Neurons. Например, можно установить пороги свежести: автоматически помечать или исключать данные, которые старше определенного периода. Также необходимо определить правила, когда системы дают противоречивые результаты, и назначить ответственных за проверку и актуализацию информации. Важно вести логи всех рекомендаций ИИ и их результатов, чтобы отслеживать и устранять повторяющиеся ошибки. И, наконец, необходимо предоставить специалистам простой способ сообщать об ошибочных ответах.
Доверие строится в мелочах
Внедрение искусственного интеллекта в IT-процессы редко происходит без проблем. Вместо этого, постепенно, шаг за шагом, возникают вопросы и специалисты начинают сомневаться в эффективности этого инструмента. И, наоборот, доверие может формироваться, когда ответы последовательно точны, источники информации прозрачны, а ошибки легко обнаруживаются и исправляются.
Надежный искусственный интеллект начинается с надежных данных. Если система выдает уверенный, но ошибочный ответ, возникает естественное желание обвинить модель. Чаще всего, проблема кроется не в самой технологии, а в неверной информации, которой она была "накормлена".
Прежде чем доверять искусственному интеллекту, убедитесь, что ваши данные надежны.
