---
title: "Галлюцинации SARAH: что-то не так с искусственным интеллектом?"
url: https://comunicagenia.com/ru/blog/%d0%b3%d0%b0%d0%bb%d0%bb%d1%8e%d1%86%d0%b8%d0%bd%d0%b0%d1%86%d0%b8%d0%b8-sarah-%d1%87%d1%82%d0%be-%d1%82%d0%be-%d0%bd%d0%b5-%d1%82%d0%b0%d0%ba-%d1%81-%d0%b8%d1%81%d0%ba%d1%83%d1%81%d1%81%d1%82%d0%b2/
date: 2024-08-16T15:12:01+00:00
modified: 2024-08-16T15:12:01+00:00
lang: ru_RU
---

# Галлюцинации SARAH: что-то не так с искусственным интеллектом?

Весной 2024 года Всемирная организация здравоохранения (ВОЗ) с большими надеждами представила своего нового цифрового консультанта по вопросам здоровья — чат-бота **SARAH** (Smart AI Resource Assistant for Health). Разработанная на базе технологий генеративного искусственного интеллекта, виртуальная ассистентка предназначалась для предоставления базовых медицинских рекомендаций на восьми языках мира.

Цель инициативы была благородной: дать миллионам людей в развивающихся регионах доступный и понятный источник проверенных знаний о здоровом образе жизни, вакцинации и симптомах заболеваний.

Однако уже через несколько дней после релиза SARAH подверглась шквалу критики. Чат-бот начал выдавать недостоверную информацию, а в ряде случаев уверенно выдумывал названия и адреса несуществующих медицинских клиник в Сан-Франциско, что в сфере здравоохранения несет прямую угрозу безопасности пациентов.

Этот инцидент вновь обострил один из фундаментальных пороков современных больших языковых моделей — феномен нейросетевых «галлюцинаций».

## Что такое галлюцинации в искусственном интеллекте?

В сфере машинного обучения под **галлюцинацией ИИ** понимают генерацию моделью фактически ложной, вымышленной или искаженной информации, которая при этом подается абсолютно уверенным, грамматически безупречным и авторитетным тоном.

В отличие от человека, у которого галлюцинации связаны с сенсорными расстройствами восприятия, языковые модели «галлюцинируют» из-за математической природы своей архитектуры: - Современные генеративные архитектуры (Transformer) являются вероятностными предсказателями следующего токена (слова или подслова). - Модель не «понимает» смысл фактов и не сверяется с реальным миром; она лишь формирует наиболее статистически правдоподобную последовательность фраз. - Исследования Корнеллского университета показали, что даже флагманские передовые модели (GPT-4, Claude, Llama 3) генерируют фактологически безошибочные ответы лишь в ограниченном проценте сложных контекстных запросов, если не используются внешние базы верификации.

## Почему языковые модели галлюцинируют?

1\. **Шум и ошибки в обучающих выборках:** Модели обучаются на терабайтах интернет-страниц, содержащих фейки, неточности, мифы и стереотипы. 2. **Переобучение (Overfitting) или ложное обобщение:** Нейросеть выявляет случайные статистические корреляции между несвязанными понятиями и ошибочно применяет их к новым ситуациям. 3. **Проблема «угождения пользователю» (Sycophancy):** Модель стремится дать развернутый и убедительный ответ на любой, даже провокационный или заведомо ложный вопрос, предпочитая выдумать факт, чем признать незнание.

## Чем опасны галлюцинации?

В развлекательных диалогах или творческом письме выдумки нейросетей безобидны. Но в критических сферах цена ошибки колоссальна: - **Медицина и фармацевтика:** Ошибочные дозировки лекарств или вымышленные диагнозы. - **Юриспруденция:** Печально известные судебные прецеденты, когда адвокаты использовали ChatGPT и цитировали в суде несуществующие судебные решения и статьи законов. - **Финансы и бизнес:** Принятие ошибочных инвестиционных решений на основе выдуманной аналитики.

## Как разработчики борются с галлюцинациями?

- **RAG (Retrieval-Augmented Generation — Генерация с дополненной выборкой):** Модель жестко привязывается к внешней проверенной базе знаний (например, официальным рекомендациям ВОЗ или корпоративным регламентам) и формулирует ответ строго по найденным документам со ссылками на источники.
- **Методология Chain-of-Thought (Цепочка рассуждений):** Принуждение модели рассуждать пошагово и валидировать логику на каждом промежуточном этапе.
- **Внедрение калибровочных фильтров:** Обучение моделей прямо заявлять: «У меня недостаточно данных, чтобы ответить на этот вопрос».
- **Обязательный надзор человека (Human-in-the-Loop):** В критически важных областях последнее слово всегда должно оставаться за квалифицированным профильным специалистом.

История с чат-ботом SARAH стала наглядным уроком: генеративный ИИ — мощный инструмент генерации текста, но пока не способен заменить профессиональную медицинскую экспертизу.