Искусственная убедительность: почему мы верим лжи нейросети и что с этим делать.
1. Анатомия галлюцинации:
ошибка или «фича»?
Для начала разберемся с терминологией. Разработчики называют выдумки ИИ красивым словом «галлюцинация». Но это вводит в заблуждение. Галлюцинация подразумевает, что мозг видит то, чего нет, из-за сбоя восприятия. У нейросети нет восприятия и нет «истины» как категории.
Механизм гораздо проще и одновременно фундаментальнее. Когда вы просите языковую модель написать факт, она не лезет в базу данных. Она решает задачу: «Какое слово с наибольшей вероятностью должно идти после этой последовательности?»
Именно за эту особенность профессор лингвистики Вашингтонского университета Эмили Бендер и ее коллеги в своей знаменитой работе 2021 года окрестили большие языковые модели «стохастическими попугаями» (Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?). Они не понимают смысла слов — они лишь статистически правдоподобно комбинируют языковые конструкции, увиденные в гигантском корпусе текстов интернета.
Вы просите: «расскажи про влияние ацтеков на римское право».
Модель знает: ацтеки = древняя цивилизация. Римское право = древний свод законов. В её обучающей выборке было полно текстов, где шло сравнение разных древних цивилизаций и римского права. Она не понимает, что между ними Атлантический океан и полторы тысячи лет разницы. Она видит корреляцию «Древнее про Древнее». И начинает уверенно лепить текст про «Codex Aztecus, который, по мнению некоторых историков, мог повлиять на кодификацию Юстиниана через торговые пути финикийцев».
Это не ошибка. Это фича. Это работа стохастического попугая в режиме «Профессор Высшей Школы Экономики на защите диссертации». Ирония в том, что чем сложнее и умнее модель (GPT-4o или новейшие версии), тем правдоподобнее и глаже звучит этот бред. В этом и заключается подмена: мы привыкли, что сложная, хорошо структурированная речь — это маркер ума и знаний. ИИ сломал эту аксиому. Теперь сложная речь — маркер только лишь сложной архитектуры трансформера.
2. Когнитивная ловушка:
почему наш мозг сдается без боя
Здесь мы переходим из области Computer Science в область нейробиологии и психологии поведения. Почему мы верим тексту, который написан с апломбом профессора, даже если подозреваем, что он создан роботом?
Искусственный интеллект эксплуатирует эту уязвимость на полную катушку. Он не просто генерирует текст. Он генерирует текст с максимальной лингвистической беглостью. Каждое предложение вылизано, каждое придаточное на своем месте. В мире людей так пишут только очень умные эксперты или хорошие редакторы. Наш жизненный опыт (приобретенный до 2022 года) подсказывает: «раз так гладко написано — значит, автор разбирается».
Именно этот древний когнитивный механизм делает галлюцинации нейросетей в разы опаснее обычной лжи в интернете. На лживый пост ВКонтакте с орфографическими ошибками вы потратите 2 секунды и забудете. На идеально структурированный фейк от GPT-4 вы потратите 15 минут, сохраните в закладки и будете цитировать коллегам.
3. Три маски лжи:
классификация цифрового обмана
Чтобы защищаться, нужно знать врага в лицо. Галлюцинации ИИ неоднородны. Я выделяю три основных типа, каждый из которых бьет по разным отделам нашего мыслительного процесса.
Маска первая: фактологическая галлюцинация (выдуманная реальность)
Самая известная и самая глупая, с точки зрения человека, ошибка.
Пример: «Напиши список литературы по влиянию дизайна на когнитивные искажения».
Вы получаете 7 идеально оформленных по ГОСТу источников. Автор: Д. Канеман (реальный), название: «Визуальный шум и архитектура выбора» (выдуманное), издательство: MIT Press (реальное), год: 2018 (выдуманный).
Опасность: Вы теряете часы в библиотеках и Google Scholar, пытаясь найти то, чего никогда не существовало. Или, что хуже, вставляете это в курсовую без проверки.
Маска вторая: логический сбой (решение задачи ради красивого ответа)
Маска третья: стилистическое насилие (переубеждение автора)
Самая коварная. Вы просите ИИ сократить текст или поправить стиль. Модель «понимает», что текст был про пользу красного вина. Она добавляет от себя бодрую фразу: «Более того, мета-анализ 2023 года подтверждает снижение рисков сердечно-сосудистых заболеваний на 14%».
Откуда это? Из статистических «шумов» в обучающих данных. ИИ не проверял этот факт, он просто знает, что в хороших статьях про вино часто встречаются «мета-анализы» и «14%».
Опасность: Вы, как автор, читаете свой же текст и думаете: «Ого, а я и не знал про 14%, спасибо, дорогой ИИ, ты сделал мою работу лучше». Вы становитесь жертвой собственного инструмента, теряя авторский контроль над смыслом.
4. Красные флаги и холодный душ:
инструкция по снятию розовых очков
Итак, мы выяснили: верить «на слово» этому зеркалу — профессиональное самоубийство. Но и отказываться от инструмента в 2026 году — инфантилизм. Как выстроить отношения с ИИ так, чтобы получать выгоду от его скорости, но не попадать в его когнитивные ловушки?
Правило №1: «нулевое доверие к цитате и цифре»
Возьмите за аксиому: ВСЁ, что ИИ выдает за конкретный факт, ссылку на исследование, фамилию ученого или статистическую цифру, — является фикцией до тех пор, пока вы не нашли первоисточник вручную.
Не просите ИИ найти источник. Он найдет вам правдоподобный источник. Просите его сгенерировать структуру или идеи, а фактологию ищите сами или через специализированные научные поисковики (Google Scholar, PubMed).
Правило №2: «эффект вторых трех секунд»
После того как ИИ выдал вам красивый, гладкий ответ, не читайте его сразу. Остановитесь. Сделайте паузу в 3-5 секунд. Спросите себя: «Я согласен с этим, потому что тут железная логика, или потому что это приятно читать?»
Этот простой метакогнитивный прием ломает эвристику беглости. Вы переводите обработку информации из автоматического режима Системы 1 в энергозатратный, но критический режим Системы 2 — эта терминология введена Даниэлем Канеманом в его фундаментальном труде «Думай медленно... решай быстро» (Kahneman, D. (2011). Thinking, Fast and Slow).
Правило №3: «принудительная интоксикация контекстом» (контр-промптинг)
Вместо вопроса: «Напиши о влиянии сна на продуктивность», задайте ограничивающий промпт:
«Ты — скептический редактор научного журнала. Напиши три абзаца о влиянии сна на продуктивность. Запрещено использовать общие фразы вроде "исследования показывают". Если ссылаешься на конкретный эксперимент, сначала напиши в скобках [СТОП-ПРОВЕРКА], чтобы я мог проверить его реальность. Не пытайся выглядеть умнее, чем ты есть».
Удивительно, но в 70% случаев такое жесткое сужение роли резко снижает уровень галлюцинаций. Модель перестает «играть в профессора» и начинает просто собирать текст из ближайших вероятностных паттернов, что делает ошибки более заметными.
Правило №4: «правило мертвых ссылок»
Если ИИ дал вам список литературы, потратьте 60 секунд: откройте поисковик и вбейте название самой первой книги или статьи. Если она не гуглится с первого раза — закрывайте весь список. Он токсичен. Не пытайтесь спасти пункты 3 и 5. Статистически, если первая ссылка выдумана, с вероятностью 99% остальные тоже из воздуха.
Вывод
Искусственный интеллект не лжет. Ложь требует намерения скрыть правду. ИИ всего лишь максимально эффективно предсказывает, какое слово понравится вашему мозгу прямо сейчас. И он делает это настолько мастерски, что наша биологическая прошивка принимает гладкость слога за мудрость, а статистическую погрешность — за откровение.
Продолжая метафору из прошлой статьи: ИИ — это действительно зеркало. Но это зеркало из комнаты смеха, которое умеет дорисовывать вам дорогой костюм, профессорскую мантию и диплом Гарварда, пока вы стоите перед ним в домашней пижаме.
Смотреть в него нужно. Отражает оно наши идеи превосходно. Но помните: каждый раз, когда вы отходите от этого зеркала, сверяйтесь с картой реальности. Потому что кроме вашего отражения и красивых галлюцинаций за вашей спиной, в нем больше ничего нет.
Команда ТА «Мастер-класс»