В сфере искусственного интеллекта (ИИ) термин галлюцинации используется для описания ситуаций, когда языковые модели генерируют неверную или вымышленную информацию, преподнося ее так, будто она абсолютно достоверна.
Этот феномен представляет собой серьезный вызов, особенно когда ИИ применяется в таких чувствительных областях, как медицина, юриспруденция или образование.
В этом контексте Дарио Амодеи, генеральный директор Anthropic, сделал заявление, вызвавшее широкую дискуссию в индустрии. В ходе мероприятия Code with Claude Амодеи утверждал, что модели ИИ «вероятно, галлюцинируют меньше, чем люди, но делают это более удивительным образом».
Давайте подробно рассмотрим его заявления и интересные последствия, которые они могут иметь.
Что именно сказал Дарио Амодеи?
Во время мероприятия Code with Claude, организованного Anthropic в Сан-Франциско, Дарио Амодеи ответил на вопрос о галлюцинациях в больших языковых моделях.
Отвечая, руководитель подчеркнул: «Модели ИИ, вероятно, галлюцинируют меньше людей, но делают это более неожиданным образом». Это утверждение, прямо сравнивающее производительность машин с человеческими способностями, не осталось незамеченным и вызвало как живой интерес, так и здоровый скептицизм.
Амодеи также связал эту мысль со своим видением будущего ИИ. Он подтвердил свой прогноз о том, что AGI (сильный общий искусственный интеллект) может быть достигнут уже к 2026 году, опираясь на статью, которую сам опубликовал годом ранее.
Он прибег к выразительной метафоре: «Вода прибывает отовсюду», давая понять, что технологический прогресс происходит повсеместно и ускоренными темпами. Слова Амодеи отражают высокую уверенность в способности ИИ преодолеть текущие ограничения, включая склонность к галлюцинациям.
Что такое галлюцинации в ИИ?
Галлюцинации в языковых моделях возникают, когда ИИ генерирует ответы, которые звучат правдоподобно, но являются ошибочными, вымышленными или лишенными реальной основы. Например, он может придумывать библиографические ссылки, несуществующие исторические события или ошибочные технические объяснения.
Недавний прецедент наглядно иллюстрирует серьезность проблемы: юристу Anthropic пришлось приносить извинения перед судом после того, как он представил сфабрикованную юридическую цитату, сгенерированную моделью Claude, которая содержала вымышленные фамилии и правовые прецеденты.
Причины галлюцинаций многочисленны. Среди них выделяются предвзятость или ошибки в обучающих данных, нехватка конкретного контекста и внутренние ограничения самой архитектуры моделей.
Хотя в этой области достигнут существенный прогресс, галлюцинации продолжают оставаться сложным вызовом, особенно в сценариях, где абсолютная точность жизненно необходима.
Кто галлюцинирует больше: люди или ИИ?
Чтобы оценить тезис Амодеи, полезно обратиться к исследованиям, сравнивающим эффективность ИИ и человека. В сфере здравоохранения, к примеру, ИИ продемонстрировал впечатляющую точность.
Метаанализ 2014 года показал, что примерно 5,08% пациентов первичного звена в США получают ошибочные диагнозы (PMC). В противоположность этому, некоторые модели ИИ достигли 95% точности в диагностике, связанной с диабетом.
Однако в таких задачах, как генерация библиографических ссылок, ошибки встречаются крайне часто. Исследование, опубликованное в JMIR, показало, что модели вроде ChatGPT-3.5 и 4 допускают ошибки в 29–40% цитирований.
В журналистике исследование 2005 года выявило, что 61% новостных материалов в американских газетах содержали фактические неточности, в среднем по три ошибки на статью с искажениями.
Эти человеческие ошибки чаще всего объясняются невнимательностью или недопониманием, в то время как модели ИИ способны генерировать абсолютную неправду с кажущейся непоколебимой уверенностью.
Подводя итог: хотя ИИ и превосходит человека в ряде областей, утверждение Амодеи нельзя признать универсально верным. Отсутствие прямых сравнительных исследований между человеческими заблуждениями и искусственными галлюцинациями оставляет этот вопрос открытым.
Расхождения во мнениях экспертов
Высказывания Амодеи вызвали неоднозначную реакцию среди профессионалов отрасли. Некоторые разделяют его оптимизм. По данным UX Tigers, наиболее продвинутые модели ИИ демонстрируют более низкий процент галлюцинаций благодаря более тонким методикам обучения.
Тем не менее, другие категорически не согласны. Демис Хассабис, генеральный директор Google DeepMind, предупреждает, что современные модели имеют серьезные пробелы и терпят неудачу даже в базовых вопросах.
Кроме того, New Scientist опубликовал отчет в мае 2025 года, предупреждая о том, что галлюцинации усугубляются в некоторых новейших моделях, созданных специально для задач сложного логического рассуждения.
Прогресс в снижении галлюцинаций
Для решения этой проблемы технологическое сообщество разработало ряд эффективных стратегий. Одной из самых заметных стала генерация, дополненная выборкой данных (RAG), которая позволяет моделям обращаться к внешним авторитетным источникам непосредственно во время генерации ответа.
Исследование Стэнфорда, опубликованное в 2024 году, показало, что этот метод в комбинации с другими техниками позволил снизить уровень галлюцинаций на 96%.
Также активно применяются такие методы, как обучение с подкреплением на основе отзывов людей (RLHF), натаскивающее модели отдавать приоритет максимально достоверным ответам.
Графы знаний (KGs) обеспечивают структурированный контекст, снижающий погрешности, а такие подходы, как цепочка рассуждений (Chain-of-Thought, CoT), способствуют пошаговому логическому выводу, повышающему прозрачность модели.
Еще одна перспективная стратегия заключается в обучении моделей осознавать свои собственные границы и отвечать «я не знаю» вместо того, чтобы выдумывать ответ. Этот подход помогает предотвратить распространение дезинформации (Forbes).
Тем не менее, окончательное решение по-прежнему зависит от контекста использования и степени доступности внешней верификации.
Научный консенсус пока не достигнут
Мнения внутри индустрии сильно разнятся, а технические достижения, хоть и многообещающие, пока не снимают проблему целиком. Следовательно, необходим строгий, междисциплинарный и критический подход, чтобы гарантировать, что ИИ станет не только мощным, но и надежным.
По мере приближения к возможному созданию AGI контроль над галлюцинациями станет ключевым фактором для формирования доверия к технологии и обеспечения ее ответственной интеграции в общество.
This post is also available in: