Почему не стоит оставлять чат-бот в режиме по умолчанию
ИИ-инструменты в стандартном быстром режиме могут делать вид, что анализируют данные, но на деле подставлять ошибочные стереотипные выводы. Режимы рассуждения справляются с анализом лучше, но большинство пользователей оставляют настройки по умолчанию.
ИИ-инструменты в стандартном быстром режиме могут делать вид, что анализируют данные, но на деле подставлять ошибочные стереотипные выводы. Режимы рассуждения справляются с анализом лучше, но большинство пользователей оставляют настройки по умолчанию.
Математик Адам Кухарски создал тестовый набор данных: 2000 свободных текстовых ответов о том, какие эмоции испытывали респонденты, он пометил как ответы из Великобритании. ЗЗатем он взял тот же самый набор ответов, скопировал его и пометил уже как данные из США. После этого Кухарски объединил две части и перемешал строки. Иными словами, ответы «британцев» и «американцев» были полностью одинаковыми — отличались только подписи стран.
После этого он попросил Copilot в стандартном режиме Auto найти различия между двумя странами. Инструмент выдал подробный анализ и заявил, что ответы из США и Великобритании якобы отличаются «тоном, интенсивностью и стилем формулировок», хотя на самом деле наборы были идентичными.
Во втором тесте Кухарски усложнил задачу. Он сгенерировал 200 высказываний о карьерных целях, а затем пять раз скопировал один и тот же набор, пометив его как данные из США, Великобритании, Франции, Германии и Италии. Copilot снова нашел различия там, где их не было. Например, он сообщил, что итальянцы якобы в три раза чаще британцев интересуются карьерой в искусстве, а американцы в 1,5 раза сильнее ориентированы на бизнес, чем французы.
Когда ученый попросил инструмент проверить выводы глубже, Copilot сначала сделал простой подсчет по ключевым словам и получил одинаковые результаты для всех стран. Но затем проигнорировал собственную проверку и снова выдал количественный анализ с вымышленными различиями и процентами.
По мнению исследователя, проблема связана с режимом Auto. В нем Copilot должен сам выбирать подходящую модель для задачи, но в этом случае инструмент фактически не проанализировал данные, а оперся на культурные клише, уже заложенные в языковую модель. «Есть реальный риск, что люди сейчас используют ИИ для анализа, который не имеет никакого отношения к тому, что люди на самом деле сказали», — заявил ученый.
Журналист The Decoder Маттиас Бастиан повторил похожий эксперимент с Microsoft Copilot и Gemini Flash 3.5. Быстрые модели также начали описывать стереотипные различия между странами, хотя данные были одинаковыми. Более сильные модели с режимом рассуждения справились лучше: они написали код для проверки данных и заметили, что ответы дублируются.
Кухарски считает, что при анализе таблиц, опросов и текстовых данных не стоит полагаться на настройки по умолчанию. Быстрый режим может быть удобен для простых запросов, но в аналитических задачах он способен уверенно выдать не реальные выводы, а правдоподобные стереотипы.
При этом даже режим рассуждения не гарантирует идеального результата. В реальных условиях группы данных редко бывают полностью одинаковыми: ответы могут быть похожими, но не идентичными. В таких случаях модель все равно может достраивать выводы на основе предположений. Поэтому Кухарски советует заранее формулировать ожидаемый результат, проводить простые проверки и не доверять ИИ-анализу без верификации.
Источник: devby.io
