Искусственный интеллект нередко выдает неточные результаты, и теперь это влияет и на людей, заставляя их принимать решения, схожие с теми, которые он предлагает.
В новом исследовании ученые изучили, как искусственный интеллект влияет на людей, рассматривающих предложения по новым разработкам. Они выяснили, что инструменты, использующие искусственный интеллект для рекомендаций, оказались достаточно убедительными, чтобы заставить экспертов отклонять решения, принятые независимыми специалистами, тем самым упуская перспективные инновации. В то же время, эксперты чаще соглашались с идеями, которые считали неперспективными.
Примечательно, что рецензенты чаще соглашались с ошибочными решениями, которые предлагал искусственный интеллект, когда модель предоставляла объяснение своей позиции. В отличие от этого, объяснения, основанные на языке, приводили к ухудшению способности людей к критическому мышлению. Люди работали эффективнее, когда не получали объяснений от искусственного интеллекта.
«Наши результаты показывают, что объяснения, генерируемые большими языковыми моделями, не всегда улучшают процесс принятия решений», – отмечают исследователи из Гарвардской школы бизнеса, MIT и Университета Вашингтона. «Для эффективного взаимодействия человека и искусственного интеллекта необходимо разрабатывать инструменты, которые дополняют, а не заменяют независимое человеческое суждение».
ИИ может подрывать здравый смысл, полагаясь на статистику
Каждая компания проводит предварительную оценку предлагаемых проектов, однако всегда существует неопределенность и риск ошибочного выбора: либо начать реализацию проекта, который в итоге окажется провальным, либо отказаться от перспективной идеи. Примерами неудачных проектов можно привести Google Glass и Amazon Fire Phone. Также, как пример, можно привести решение Xerox о прекращении разработки Ethernet и PostScript – проектов, которые, возможно, имели бы успех.
В условиях ограниченного времени и неполной информации, руководители все чаще принимают решения, опираясь на большие языковые модели (LLM). Эти модели используют алгоритмы прогнозирования для генерации рекомендаций и обоснований, основанных на контексте.
Исследователи изучали роль искусственного интеллекта в "ранней стадии оценки инноваций". Они анализировали, как эксперты реагируют на рекомендации LLM, как с пояснениями, так и без них, и изучали, как модель обосновывает свои решения.
В рамках эксперимента 228 опытных экспертов оценили около 50 предложений, представленных в рамках соревнований MIT. Были протестированы три подхода: предложения, созданные исключительно человеком, без использования искусственного интеллекта; оценки, выполненные с помощью больших языковых моделей, с указанием обоснования принятого решения; и рекомендации от ИИ, без предоставления пояснений.
Решения экспертов сравнивались с решениями, принятыми четырьмя экспертами-людьми. Эти решения служили эталоном для сравнения. Оценивалось, насколько решения соответствуют рекомендациям больших языковых моделей, насколько они игнорируются, или насколько решения принимаются с продуктивным пересмотром – то есть эксперты самостоятельно проверяли результаты работы модели, прежде чем принимать окончательное решение.
Решения экспертов классифицировались как правильные (соответствующие решения экспертов-людей), ложные положительные (поддержка предложений, которые эксперты бы отклонили), и ложные отрицательные (отклонение предложений, которые эксперты бы одобрили).
В целом, эксперты чаще всего принимали рекомендации больших языковых моделей – в 67% случаев. Они соглашались с решениями, принятыми ИИ, и с рекомендациями больших языковых моделей, примерно в 75% случаев, но соглашались с решениями экспертов-людей лишь в 54% случаев.
Неожиданно, но рекомендации, полученные от системы, работающей как "черный ящик", оказались более эффективными, чем рекомендации с подробным объяснением. При этом, когда экспертам предлагали отклонить предложение, основываясь на рекомендации и объяснении системы, они чаще соглашались, что привело к снижению количества ложных срабатываний, но значительно увеличило количество ложных отрицаний.
Исследователи предполагают, что это связано с тем, что подробные объяснения "затрудняют" пересмотр принятого решения. Система предоставляет убедительный аргумент, который сложно оспорить, фактически отталкивая от самостоятельной проверки. Это противоречит общепринятому мнению о том, что объяснения от систем искусственного интеллекта способствуют принятию решений человеком.
Исследователи отметили, что люди по своей природе склонны больше внимания уделять негативной информации, чем положительной. Это явление известно как "негативный эффект".
"Отклонение – это активное, исключающее решение, которое кажется более значимым и ответственным, чем сохранение альтернативных вариантов", – отмечают авторы. Кроме того, это позволяет сохранить текущую ситуацию, избежать рисков и предвзятости, и не требует дополнительных ресурсов.
Модели больших языков (LLM) предлагают готовые объяснения для принятия решений, даже если вы не проводите самостоятельную проверку. Исследователи отмечают, что люди фактически передают часть своей аналитической работы искусственному интеллекту. Оценители часто опираются на поверхностные признаки, такие как беглость речи, логичность и кажущаяся компетентность. LLM особенно хорошо подходят для этого, поскольку они обладают высокой лингвистической грамотностью и демонстрируют экспертные знания, создавая впечатление глубокого и обоснованного объяснения.
В результате, "люди склонны переоценивать свое понимание принятого решения, даже если они не обладают достаточным знанием его обоснования", – отмечают исследователи.
Как найти баланс между персонализацией и разнообразием в рекомендательных системах
Исследователи подчеркнули, что их выводы имеют "значимые последствия" для компаний, разрабатывающих системы оценки, основанные на искусственном интеллекте.
Эксперты рекомендуют проявлять осторожность при использовании объяснений, генерируемых большими языковыми моделями, в ситуациях, где требуется принятие важных решений. Эти объяснения не следует воспринимать как абсолютную истину; их всегда необходимо тщательно проверять перед внедрением. Это поможет повысить точность и позволит экспертам выявлять ошибки, понимать принципы работы моделей, а также, возможно, улучшить согласованность между человеком и ИИ.
В ситуациях, требующих принятия решений, таких как контроль качества, проверка соответствия нормативным требованиям или выявление мошенничества, объяснения, предоставляемые большими языковыми моделями, могут способствовать более взвешенному принятию решений, – отмечают исследователи. Однако, в задачах, требующих ранней оценки, нарративы, генерируемые этими моделями, могут негативно повлиять на результаты, "ограничивая самостоятельное мышление и затрудняя эффективное вмешательство человека". В этом контексте, более простые или менее детализированные рекомендации могут сохранить свободу выбора и возможность проверки со стороны человека.
Эксперты советуют при разработке систем объяснения ИИ учитывать суть решаемой задачи и потенциальную стоимость ошибок, которые могут возникнуть. Компании могут экспериментировать с моделями, способными представить различные точки зрения (аргументы "за" и "против") или раскрывать информацию о неопределенности, основываясь на заранее заданном пороге, а не на простых бинарных решениях. Кроме того, системы могут быть разработаны таким образом, чтобы стимулировать обсуждение и разногласия между участниками процесса.
Исследователи также отметили, что можно оценить, оказывают ли объяснения в форме историй разное влияние на последующие этапы принятия решений, когда эксперты имеют меньше альтернатив, больше информации и повышенную мотивацию для тщательного анализа ситуации.
В заключение, эксперты подчеркивают, что "организации должны рассматривать объяснения, предоставляемые ИИ, не как универсальный инструмент прозрачности, а как инструменты, влияющие на поведение. Эффективность этих инструментов зависит от того, как эксперты обрабатывают информацию в условиях неопределенности".
Статья изначально была опубликована на CIO.com.
