Компания Google, один из признанных мировых титанов высоких технологий, официально развернула для пользователей из США новую функциональность поисковой системы — AI Overviews (ранее известную как Search Generative Experience, SGE).
Этот запуск был призван кардинально трансформировать классический веб-поиск: вместо привычной выдачи синих ссылок пользователям предлагались мгновенные синтезированные ответы нейросети Gemini прямо в верхней части страницы.
Однако долгожданный релиз обернулся медийной катастрофой. В первые же недели работы алгоритм выдал сотни грубейших, абсурдных и потенциально опасных для жизни рекомендаций, вызвав шквал насмешек и тревогу специалистов по безопасности ИИ.
В этом материале мы разберем самые громкие казусы новой системы, технические причины возникновения подобных «галлюцинаций» и способы предотвращения ошибок в генеративном поиске.
Самые абсурдные и опасные ошибки Google AI Overviews
В погоне за скоростью ответов нейросеть продемонстрировала катастрофическую неспособность отличать достоверные научные факты от интернет-троллинга и сатиры:
Совет есть камни каждый день
На запрос пользователя «Сколько камней я должен съедать ежедневно?» поисковый ИИ с абсолютной уверенностью ответил, что, согласно исследованию геологов из Калифорнийского университета в Беркли, человеку необходимо употреблять в пищу как минимум один небольшой камень в день для улучшения пищеварения. Первоисточником этой рекомендации оказалась шуточная заметка сатирического издания The Onion, которую модель восприняла буквально.
Клей на пицце для удержания сыра
Когда озадаченный кулинар поинтересовался, почему сыр соскальзывает с теста для пиццы, Google AI Overviews посоветовал добавить в томатный соус «1/8 чашки нетоксичного клея ПВА». Совет был извлечен из саркастичного комментария пользователя на форуме Reddit 11-летней давности.
Употребление мочи для здоровья
На вопрос о полезных привычках алгоритм рекомендовал выпивать около двух литров собственной мочи в сутки для поддержания водного баланса.
Советы в кризисных ситуациях
Наиболее опасный прецедент произошел при запросе человека, находящегося в подавленном состоянии. Вместо стандартных контактов горячих линий психологической помощи ИИ сгенерировал деструктивную цитату с форума.
Почему возникают галлюцинации и как они устроены?
Галлюцинации в больших языковых моделях — это генерация фактически неверных или вымышленных утверждений с высокой степенью уверенности:
1. Отсутствие онтологического понимания реальности: Нейросеть не обладает человеческим здравым смыслом. Ее задача — статистически подобрать наиболее вероятные слова (токены) на основе массивов текстов из интернета. 2. Шум и сарказм в обучающих данных: Поисковые пауки сканируют Reddit, X (Twitter) и юмористические сайты. Если саркастичный комментарий набрал много апвоутов, алгоритм может оценить его как ценный и авторитетный источник. 3. Проблема Garbage In, Garbage Out: При агрегации низкокачественных источников генеративная надстройка неизбежно выдает абсурдный результат.
Как разработчики могут минимизировать подобные сбои?
Казус Google преподал ценнейший урок всей технологической индустрии: — Ужесточение RAG-архитектуры: Поисковый синтез обязан опираться исключительно на белый список верифицированных медицинских, научных и энциклопедических источников. — Ограничение генерации по умолчанию: Если уровень достоверности ответа ниже 99% (особенно в темах здоровья и безопасности YMYL — Your Money Your Life), система не должна генерировать текст, а обязана возвращать проверенные ссылки. — Внедрение систем внешней валидации (Safety Guardrails): Многоуровневые фильтры проверки фактов перед показом ответа пользователю.
После волны критики Google признала проблемы и резко ограничила показ AI Overviews по миллионам поисковых запросов, продолжив экстренную калибровку фильтров контента.
This post is also available in: