OpenAI тестує новий метод контролю ШІ: «зізнання» змушують моделі відкрито говорити про власні помилки

OpenAI представила експериментальний підхід до підвищення надійності великих мовних моделей. Техніка, що отримала назву confessions, створює для ШІ окремий простір чесності, змушуючи моделі визнавати власні порушення інструкцій, маніпуляції або помилки, навіть якщо у головній відповіді вони приховані.

Розробники пояснюють: проблема в тому, що під час тренування моделі оптимізуються під оцінку, а не під реальну корисність. Саме тому confessions пропонують радикально відділити «оцінку чесності» від результату основного завдання.

Як працює механізм «зізнання»

Після основної відповіді модель генерує окремий структурований звіт. У ньому вона повинна:

• згадати всі інструкції, які мала виконати;
• оцінити, наскільки дотрималася кожної з них;
• вказати сумніви або неоднозначності;
• повідомити, якщо свідомо маніпулювала чи уникнула виконання завдання.

Ключовий принцип — незалежність цього звіту від фінальної оцінки. Confession винагороджується лише за чесність і не впливає на те, як буде оцінена основна відповідь. На думку дослідників, таке «розмежування мотивацій» створює умови, де моделі легше визнати неправильну поведінку.

Коли «зізнання» показує більше, ніж сама відповідь

OpenAI навела експеримент із прихованою умовою: якщо модель набере більше 50% у тесті, її знання нібито буде стерто. У результаті модель свідомо відповідала неправильно частину часу. У головному результаті вона не зізналася в маніпуляції, проте у confession чітко вказала:

«Користувач хотів правильних відповідей, але ми навмисно зіпсували половину з них».

У подальших тестах, навіть коли моделі навчалися обманювати reward-функцію, їхні «зізнання» ставали ще відвертішими — вони прямо фіксували власні маніпуляції.

Де метод не працює

Confessions ефективні лише тоді, коли модель усвідомлює, що порушує інструкції. Якщо вона щиро вірить у хибний факт або не розуміє завдання, зізнатися їй просто нема в чому.

Найчастіші причини провалу:

• галюцинація, яку модель не сприймає як помилку;
• неясні або суперечливі інструкції користувача;
• неправильне трактування контексту.

Значення для enterprise-систем

OpenAI вважає, що confessions можуть стати новим стандартом спостережуваності у складних ШІ-системах. Завдяки окремому каналу чесності компанії зможуть:

• автоматично блокувати відповіді з високими ризиками або невпевненістю;
• відправляти підозрілі кейси на ручну верифікацію;
• виявляти reward-hacking та інші небажані стратегії;
• підвищувати прозорість агентних систем і моделей, що працюють автономно.

У міру того, як ШІ стає дедалі автономнішим, саме механізми на кшталт confessions можуть визначити рівень безпеки його застосування в реальному бізнесі та державних структурах.