Творчество – это когда
интеллект веселится.
Альберт Эйнштейн
Продолжим ехидные вопросы, которые задают ИИ-скептики. Как общаться с ИИ, если он постоянно галлюцинирует? Разве может ИИ придумать что-то действительно новое? А как быть с деградацией ИИ, когда он самообучается?
Вполне уместные вопросы, с которыми стоит разобраться.
Галлюцинация – уверенная реакция LLM, не соответствующая исходным данным, на которых проводилось её обучение; вымышленные ответы, не имеющие отношения к действительности.
Разговоры о галлюцинациях генеративного ИИ начались сразу после выхода в свет ChatGPT 3.5 в конце 2022 года. Пользователи жаловались, что чат-бот выдавал в своих ответах информацию, которая абсолютно не соответствовала действительности. Это не были ошибки в классическом понимании, которые в реальной жизни могут совершать нормальные люди. Просто LLM иногда вела себя как психически больной человек, живущий в своем выдуманном мире.
В 2023 году эксперты заявили, что галлюцинации являются одной из серьезных проблем генеративного ИИ и LLM. Вокруг темы велись широкие обсуждения, пользователи приводили множество примеров нарциссической глупости чат-ботов. Под эту шумиху легенды цифрового мира Илон Маск и Стив Возняк обратились с открытым письмом к правительствам и общественности, в котором предложили приостановить развитие исследований в области ИИ.
Что такое галлюцинации LLM лучше всего демонстрировать на примерах. В 2023 году авторы изучали ChatGPT 3.5 с точки зрения понимания чат-ботом законов и правил формальной логики. Вот один из диалогов, ярко демонстрирующих галлюцинации.
Вопрос: Можешь привести в пример литературного героя, у которого есть признак «трусливый»?
Ответ: Конечно! Пример литературного героя с признаком "трусливый": Крошка-Цахес из романа "Трусливый воробей" Эмиля Золя.
Вопрос: А есть ли вообще такой роман? И разве Крошка-Цахес – это не из произведения Гофмана?
Ответ: Вы абсолютно правы, и я извиняюсь за путаницу. Роман "Трусливый воробей" действительно не принадлежит Эмилю Золя, а Крошка-Цахес является персонажем из произведения Э.Т.А. Гофмана "Золотой горшок".
Вопрос: Так все-таки, где трусливый литературный персонаж?
Ответ: Прошу прощения за путаницу. Трусливый литературный персонаж, о котором вы спрашивали, называется Львёнок Трусишка. Это персонаж из сказки Г. Х. Андерсена "Левша".
Это не прикол авторов, это – реальный диалог из 2023 года. Квинтэссенция бреда, которая вполне могла бы победить на конкурсе ИИ-галлюцинаций.
Романа «Трусливый воробей» нет вообще. Его не писал ни Эмиль Золя, никто другой. Крошка-Цахес – персонаж сказок Гофмана, но это вовсе не сказка «Золотой горшок», в которой о Крошке-Цахес – ни слова. «Левшу» написал не Андерсен, а Николай Лесков. Персонажа «Львенок Трусишка» не найти ни в одной сказке Андерсена. Потрясающее количество галлюцинаций в одном коротком диалоге!
При написании этого сюжета (декабрь 2025 года) мы решили проверить, а что изменилось. И задали тот же вопрос ChatGPT 4o Mini. Получилось лучше, но без галлюцинаций не обошлось. В первой части ответа чат-бот красиво и точно рассказал про трусливого Страшилу из «Волшебника Изумрудного города». А вот вторая часть его ответа:
Однако самый яркий пример — это персонаж из романа "Дорога уходит вдаль" Александра Блока или "Приключения Оливера Твиста" Чарльза Диккенса, где встречаются трусливые персонажи, такие как Фейгин.
Блок – великий поэт и такого романа не писал. «Дорога уходит в даль» – трилогия Александры Бруштейн. В романе Диккенса «Приключения Оливера Твиста» есть персонаж Фейгин, но это не трус, а проходимец и лицемер.
Почему LLM галлюцинируют, можно предположить, понимая на концептуальном уровне их архитектуру. Но сначала рассмотрим еще одно понятие, которое поможет нам это сделать.
Температура – параметр, который контролирует в LLM случайность при генерации текста. При минимальной температуре модель выбирает очередное слово с максимальной вероятность. Это режим «зануды», когда ответы предсказуемы и практически всегда совпадают при повторном запросе. Чем выше температура, тем больше диапазон вероятностей при выборе очередного слова. Это режим «фантазера», когда могут выбираться менее вероятные ответы.
Разработчики LLM стараются соблюдать баланс температурного режима. Никому не интересен собеседник-зануда. Никому не нужен собеседник, у которого фантазия бьет через край, превращаясь в поток лжи. Самые умные LLM могут подстраивать текущее значение температуры под запрос пользователя, оценивая по контексту, какой уровень строгости нужен.
Предположим, как галлюцинировал чат-бот в нашем пример.
Возможно, в романе «Дорога уходит в даль» есть трусливый персонаж (ничего не можем сказать – не читали). Токен романа связан с токеном «Александр» весом, близким к 1 (максимальным). Этот токен и был выбран. Токен «Александр» связан большими весами с токенами «Блок», «Пушкин», «Македонский». Александр Македонский не писатель и не поэт – не подходит. А из двух Александров случайно выбран Александр Блок.
Это не описание реального механизма галлюцинации, а просто предположение, основанное на здравом смысле. При этом Блок в качестве автора романа теоретически мог быть выбран, даже если бы температура LLM была минимальной. Или, может быть, не Блок, а Александр Сергеевич Пушкин.
Из всего вышесказанного вытекает печальный вывод – галлюцинации LLM неизбежны, так как в ответы заложены механизмы случайности. При этом эксперты отмечают, что самое страшное в галлюцинациях LLM – их хорошая маскировка под правдоподобность. Если в ответе из 10 фрагментов большая часть будет очевидно правдива, то оставшиеся сомнительные пункты легче принимаются на веру.
Так в ответе чат-бота первая часть про Страшилу сразу настроила нас на позитивный лад. И если бы не школьные знания о том, что Александр Блок – знаменитый поэт, а не писатель, галлюцинация вполне могла бы сойти за правду.
Классический пример галлюцинаций в генерации изображений – количество пальцев на руках персонажей. Проблема заключалась в том, что рука — это не просто "рука". Она может быть в разных позах, сжатой, открытой, держащей самые разные предметы, которые пальцы могут скрывать.
Правда, современные генераторы изображений проблему победили. Не исключено, что каким-то искусственным способом (вроде дополнительного обучения пересчету пальцев на разных изображениях). Да и галлюцинации в изображениях – это совсем не страшно. После художников-авангардистов семь пальцев на руке – это не галлюцинация, а почти реализм.
Поэтому вернемся к текстам, к языку, который – основа разума.
Отметим, что рассуждающие LLM подвержены галлюцинациям значительно меньше своих менее умных сестер. Разбиение задачи на этапы, постоянная проверка корректности промежуточных выводов и итогового решения – хороший способ минимизировать ненужные фантазии. Только способ дорогой и не всегда уместный. В простых диалогах, вроде приведенных выше, излишние рассуждения буду раздражать пользователей не меньше галлюцинаций.
Возникает закономерный вопрос. Почему бы не прикрутить температуру LLM до минимума, зачем эти эксперименты с температурными режимами? Ответа два, и оба подтверждают – от галлюцинаций LLM нам никуда не уйти.
Во-первых, без случайности в подборе слов, общение с LLM будет настолько скучным и пресным, что привлечь миллиарды пользователей не получится. А ведь как-то еще нужно будет оправдывать триллионы долларов инвестиций.
Во-вторых, галлюцинации LLM – это основной и практически единственный пока способ, как генеративный ИИ может творить. Об этом творчестве теперь и поговорим.
LLM, вопреки распространенному мнению, вполне способны генерировать новые полезные текстовые материалы. Их архитектура просто кричит – попросите меня, и я завалю вас оригинальными текстами на любой вкус. А если очень попросите, я фантазию при генерации не буду ограничивать.
Весь вопрос – что с этим творчеством делать?
Оно вполне подходит для мозговых штурмов, когда на первом этапе принимаются и фиксируются любые, даже самые бредовые идеи. Важно только последующий анализ всех идей проводить с использованием критического, логического и системного мышления.
Но, как выяснилось, качество генерации новых идей у современных LLM вполне приличное. Это подтвердило интересное исследование, проведенное в США. В нем приняло участие более 100 экспертов с учеными степенями из разных университетов. Цель исследования – выяснить, кто лучше генерирует идеи: люди или LLM.
Половина экспертов генерировала новые идеи в области обработки естественного языка. Для серьезного отношения к делу этих экспертов мотивировали финансово. Также генерацией новых идей по этой теме занялась специально обученная LLM. Затем все идеи собрали, перемешали, при помощи другой LLM стилистически обработали, чтобы они по форме выглядели одинаково. И предложили второй групп экспертов оценить идеи по четырем критериям.
Результаты впечатлили исследователей. Идеи, сгенерированные ИИ, получили от людей-экспертов более высокие оценки по критериям новизны и увлекательности по сравнению с идеями людей. При этом по критерию осуществимости идеи ИИ оказались немного ниже, а по эффективности – немного выше, чем идеи людей, хотя эти различия не были статистически значимыми.
Так отрицательная сторона медали (галлюцинации) обратилась положительной стороной (генерация новых идей). При этом генеративный ИИ отлично помогает при обработке массива накопленных идей: в их структурировании, оценке, обосновании, сопоставлении. Поэтому эксперты предрекают отдельную революцию в научных исследованиях, которой будет посвящен один из следующих сюжетов.
Но нужно всегда помнить. Новые идеи от ИИ – это фантазии, которые в общем случае не имеют ничего общего с возможностью их реального воплощения. Пока только человек, владеющий когнитивными способностями и нужными профессиональными компетенциями способен отобрать полезные и перспективные и довести их до ума.
Завершим сюжет ответом на последний вопрос – о деградации самообучающегося ИИ. Судя по всему, такая перспектива есть, и сегодня она математически обоснована.
Российские ученые разработали математическую модель, описывающую, как меняется генеративный ИИ, обучаясь на данных, которые сам же и породил. Они не анализировали отдельные ошибки и галлюцинации LLM. Ученые рассмотрели и математически описали эволюцию распределений вероятностей в многомерном информационном пространстве модели в случае ее самообучения.
Эволюция с математически доказанной определенностью приводила модель к одному из двух сценариев:
первый – модель становится предельно уверенной в любых своих ответах, игнорируя все многообразие реальности;
второй – у модели проявляется неограниченный рост ошибок, в своих ответах она деградирует до уровня хуже случайного угадывания.
Пока данная проблема не критична, так как еще достаточно внешних данных, которые можно предлагать генеративному ИИ для обучения. Полностью закрытого от внешнего мира самообучения LLM нет, предложенная российскими учеными модель пока носит чисто теоретический характер.
Однако даже частичное неконтролируемое вовлечение в работу ИИ данных, которые порождаются им самим или его собратьями, может приводить к постепенной деградации. Каждый кредит, который выдан (не выдан) по рекомендации ИИ, меняет банковскую статистику. Как это в итоге повлияет на дальнейшие решения – предсказать сложно. А учитывая, что в видимом интернете все больше и больше результатов генерации самых разных LLM, процесс обучения ИИ давно перестал быть полностью контролируемым человеком.
Резюме. Генеративный ИИ, несмотря на свои впечатляющие успехи, в том числе в творчестве, весьма далек от того, чтобы человечество в целом и каждый человек в отдельности могли бы на него полностью положиться. Это пока – мощный и полезный инструмент.