Весной 2024 года Всемирная организация здравоохранения (ВОЗ) с большими надеждами представила своего нового цифрового консультанта по вопросам здоровья — чат-бота SARAH (Smart AI Resource Assistant for Health). Разработанная на базе технологий генеративного искусственного интеллекта, виртуальная ассистентка предназначалась для предоставления базовых медицинских рекомендаций на восьми языках мира.
Цель инициативы была благородной: дать миллионам людей в развивающихся регионах доступный и понятный источник проверенных знаний о здоровом образе жизни, вакцинации и симптомах заболеваний.
Однако уже через несколько дней после релиза SARAH подверглась шквалу критики. Чат-бот начал выдавать недостоверную информацию, а в ряде случаев уверенно выдумывал названия и адреса несуществующих медицинских клиник в Сан-Франциско, что в сфере здравоохранения несет прямую угрозу безопасности пациентов.
Этот инцидент вновь обострил один из фундаментальных пороков современных больших языковых моделей — феномен нейросетевых «галлюцинаций».
Что такое галлюцинации в искусственном интеллекте?
В сфере машинного обучения под галлюцинацией ИИ понимают генерацию моделью фактически ложной, вымышленной или искаженной информации, которая при этом подается абсолютно уверенным, грамматически безупречным и авторитетным тоном.
В отличие от человека, у которого галлюцинации связаны с сенсорными расстройствами восприятия, языковые модели «галлюцинируют» из-за математической природы своей архитектуры: — Современные генеративные архитектуры (Transformer) являются вероятностными предсказателями следующего токена (слова или подслова). — Модель не «понимает» смысл фактов и не сверяется с реальным миром; она лишь формирует наиболее статистически правдоподобную последовательность фраз. — Исследования Корнеллского университета показали, что даже флагманские передовые модели (GPT-4, Claude, Llama 3) генерируют фактологически безошибочные ответы лишь в ограниченном проценте сложных контекстных запросов, если не используются внешние базы верификации.
Почему языковые модели галлюцинируют?
1. Шум и ошибки в обучающих выборках: Модели обучаются на терабайтах интернет-страниц, содержащих фейки, неточности, мифы и стереотипы. 2. Переобучение (Overfitting) или ложное обобщение: Нейросеть выявляет случайные статистические корреляции между несвязанными понятиями и ошибочно применяет их к новым ситуациям. 3. Проблема «угождения пользователю» (Sycophancy): Модель стремится дать развернутый и убедительный ответ на любой, даже провокационный или заведомо ложный вопрос, предпочитая выдумать факт, чем признать незнание.
Чем опасны галлюцинации?
В развлекательных диалогах или творческом письме выдумки нейросетей безобидны. Но в критических сферах цена ошибки колоссальна: — Медицина и фармацевтика: Ошибочные дозировки лекарств или вымышленные диагнозы. — Юриспруденция: Печально известные судебные прецеденты, когда адвокаты использовали ChatGPT и цитировали в суде несуществующие судебные решения и статьи законов. — Финансы и бизнес: Принятие ошибочных инвестиционных решений на основе выдуманной аналитики.
Как разработчики борются с галлюцинациями?
- RAG (Retrieval-Augmented Generation — Генерация с дополненной выборкой): Модель жестко привязывается к внешней проверенной базе знаний (например, официальным рекомендациям ВОЗ или корпоративным регламентам) и формулирует ответ строго по найденным документам со ссылками на источники.
- Методология Chain-of-Thought (Цепочка рассуждений): Принуждение модели рассуждать пошагово и валидировать логику на каждом промежуточном этапе.
- Внедрение калибровочных фильтров: Обучение моделей прямо заявлять: «У меня недостаточно данных, чтобы ответить на этот вопрос».
- Обязательный надзор человека (Human-in-the-Loop): В критически важных областях последнее слово всегда должно оставаться за квалифицированным профильным специалистом.
История с чат-ботом SARAH стала наглядным уроком: генеративный ИИ — мощный инструмент генерации текста, но пока не способен заменить профессиональную медицинскую экспертизу.
This post is also available in: