Нейромережа може впевнено назвати вам дату, якої не існувало, процитувати дослідження, якого ніхто не проводив, і послатися на статтю закону, якої немає в кодексі. При цьому тон відповіді буде рівно таким самим, як тоді, коли вона каже правду, і саме це створює основну небезпеку.

Явище називають галюцинаціями, і воно не є поломкою чи випадковим збоєм. Воно випливає з того, як влаштоване навчання цих систем, тому розбиратися варто саме з механікою, а вже потім переходити до практичних наслідків.

Чому так відбувається

У вересні 2025 року дослідники OpenAI опублікували роботу, яка дає найзрозуміліше пояснення з тих, що я зустрічав. Їхня теза полягає в тому, що моделі галюцинують, бо стандартні процедури навчання й оцінювання винагороджують здогадки замість визнання невизначеності.

Найпростіша аналогія тут така. Уявіть іспит із варіантами відповідей, де за неправильну відповідь бали не віднімають, і тоді раціональна стратегія для студента полягає в тому, щоб відповідати завжди, навіть коли він не знає, бо мовчання гарантовано дає нуль, а здогадка дає хоч якийсь шанс.

Мовні моделі перебувають у такому режимі постійно, оскільки їх оцінюють сотнями тестів на точність, які карають за ухиляння від відповіді й винагороджують за вгадування. Через це модель, яка чесно каже «не знаю», програє в оцінюванні тій, яка вигадує правдоподібну відповідь.

Автори наводять показовий приклад, який добре ілюструє масштаб проблеми. Вони запитали в сучасної моделі дату народження одного з дослідників, прямо вказавши в запиті відповідати лише за умови, що модель її знає, і в трьох окремих спробах отримали три різні неправильні дати.

Є й глибша технічна причина, яку варто згадати. Генерувати правильну відповідь статистично складніше, ніж розпізнати неправильну, тому модель може коректно визначити твердження як хибне, якщо ви їй його покажете, і при цьому сама згенерувати таке саме хибне твердження.

Головне, що треба зрозуміти

Впевненість тону ніяк не пов'язана з достовірністю змісту, і це найважливіше речення в усьому матеріалі. Людина зазвичай видає свою невпевненість інтонацією, паузами або застереженнями, а модель цього не робить, бо вона не переживає невпевненість як внутрішній стан. Вона генерує найімовірніше продовження тексту, а найімовірніше продовження звучить впевнено завжди, незалежно від того, наскільки надійні дані лежать в основі відповіді. Через це звична навичка оцінювати надійність співрозмовника за манерою тут не працює взагалі, адже вигадана відповідь виглядає точнісінько так само, як правильна.

Де галюцинації трапляються найчастіше

Найчастіше вигадки з'являються в конкретних числах і датах, тобто в статистиці, відсотках, роках і сумах, бо модель добре відтворює порядок величини й погано конкретне значення. Окремої уваги заслуговують посилання й цитати, які є найнебезпечнішою категорією з усіх. Модель може згенерувати назву статті, ім'я автора, назву журналу й рік публікації, скомпонувавши це з правдоподібних частин, і результат виглядатиме як цілком нормальна бібліографічна довідка, хоча самої роботи ніколи не існувало. Схожа ситуація з маловідомими людьми та організаціями, бо про публічну фігуру модель зазвичай знає достатньо, а про людину, згадану в мережі кілька разів, вона добудує біографію з того, що здається логічним у цьому контексті. Юридичні норми становлять окремий ризик, оскільки номери статей, назви законів і судові рішення вигадуються так само легко, і тут це вже призвело до реальних наслідків, коли юристи подавали до суду документи з посиланнями на неіснуючі прецеденти й отримували за це санкції. Локальна специфіка страждає тим сильніше, чим вужчий контекст, тому українські реалії, місцеві процедури та назви установ перевіряти доводиться особливо ретельно. До ризикових категорій також належать технічні деталі на кшталт назв функцій у бібліотеках, параметрів команд і пунктів меню в конкретних версіях програм, а також усе, що сталося після завершення навчання моделі.

Де ризик низький

Добре працює пояснення усталених концепцій, робота з текстом, який ви самі надали, включно з переказом, структуруванням, редагуванням і перекладом, а також мозковий штурм, генерація варіантів і чернетки, які ви все одно перечитуватимете. Загальне правило звучить так: модель сильна там, де від неї потрібне міркування або робота з наданим матеріалом, і слабка там, де від неї потрібне точне відтворення конкретного факту з пам'яті.

Що робити на практиці

Найважливіша звичка полягає в тому, щоб перевіряти все, що ви збираєтеся процитувати, бо якщо ви використовуєте число, дату, цитату чи посилання, знайти їх у первинному джерелі необхідно в будь-якому разі. Просити джерела корисно, оскільки це дає вам конкретний предмет для перевірки, але саме посилання теж може виявитися вигаданим, тому відкривати його обов'язково.

Дозволяйте моделі не знати, бо формулювання на кшталт «якщо ти не впевнений, так і скажи» справді знижує кількість вигадок, хоча й не усуває їх повністю. Дослідники прямо пропонують робити поріг впевненості явним у самій інструкції, і це один із небагатьох прийомів із теоретичним обґрунтуванням. Ставте одне питання двічі різними словами, і якщо відповіді розійдуться в деталях, значить ці деталі вигадані. Прийом виглядає примітивним, але працює значно краще, ніж здається на перший погляд. Не формулюйте питання так, ніби відповідь точно існує, бо запит на кшталт «які три дослідження підтверджують цю тезу» майже гарантує три назви навіть тоді, коли таких досліджень немає, тоді як питання про те, чи існують дослідження на цю тему, залишає моделі можливість відповісти заперечно. Давайте контекст самі, оскільки при роботі з наданим текстом ризик вигадки різко падає, адже модель спирається на конкретний матеріал, а не на власну пам'ять. Розбивайте складні запити на частини, бо довге завдання з багатьма умовами дає значно більше місця для помилки, ніж кілька коротких послідовних питань.

Про пошук у нейромережах

Сучасні моделі вміють шукати в інтернеті, і це помітно покращує ситуацію з фактами, хоча проблему повністю не знімає. Модель може знайти сторінку й неправильно її переказати, може взяти застарілий матеріал, може послатися на джерело, яке саме містить помилку, або може змішати інформацію з кількох сторінок у твердження, якого немає в жодній із них.

Практичний висновок полягає в тому, що наявність посилань у відповіді робить перевірку можливою, але не робить її зайвою, тому відкривати посилання й звіряти зміст доводиться в будь-якому разі. Окремо варто пам'ятати про зведення, які пошукові системи показують над результатами, оскільки вони синтезують відповідь із кількох сторінок і подають її як установлений факт без видимої ієрархії джерел. Я вже розбирав реальний випадок, коли така механіка допомогла шахраю підтвердити повністю вигадану біографію.

Коли не варто використовувати ШІ взагалі

Існують категорії, де ціна помилки надто висока для того, щоб покладатися на перевірку постфактум. Сюди належать медичні питання, що стосуються конкретного лікування або дозування, юридичні документи, які подаються в офіційні інстанції, і фінансові розрахунки, від яких залежать реальні гроші. Найважливішим пунктом у цьому переліку є будь-що, де ви не маєте достатньої компетенції, щоб помітити помилку. Модель корисна як помічник для того, хто розбирається в темі й може оцінити відповідь критично, і небезпечна як єдине джерело для того, хто такої можливості не має.

Про відповідальність

Одну річ варто сказати прямо, бо вона стосується будь-якого використання цих інструментів.

Відповідальність за опубліковане, надіслане чи використане несе людина, а не інструмент, тому пояснення «так відповіла нейромережа» не працює ані в суді, ані перед редактором, ані перед клієнтом. Через це обсяг перевірки має відповідати ціні помилки, і для чернетки листа достатньо швидкого прочитання, тоді як для матеріалу, який побачать тисячі людей, потрібна перевірка кожного окремого факту.

Галюцинації не є тимчасовою вадою, яку виправлять у наступній версії, бо вони випливають зі способу навчання цих систем, і поки моделі оцінюють тестами, що винагороджують здогадки, стимул вгадувати нікуди не подінеться.

Це не робить інструмент непридатним, а лише робить його інструментом, який вимагає перевірки, приблизно як звичайна пошукова видача чи стаття в мережі, тільки без візуальних підказок про надійність джерела.

Найкорисніша звичка полягає в тому, щоб ставитися до відповіді нейромережі як до чернетки від тямущого, але неуважного помічника, у якого варто брати ідеї та формулювання, перевіряючи при цьому кожен конкретний факт самостійно.


Джерела: Kalai A., Nachum O., Vempala S., Zhang E. Why Language Models Hallucinate, Блог OpenAI