Нейросеть научили сомневаться: в МИФИ меняют правила доверия к ИИ
Ученые Национального исследовательского ядерного университета МИФИ (НИЯУ МИФИ) разработали новую архитектуру искусственного интеллекта – стохастический трансформер, который способен не только выдавать прогноз, но и оценивать степень уверенности в собственном решении.
Большинство современных нейросетей страдают одной особенностью: они выдают ответ с одинаковой интонацией – и когда уверены в достоверности информации, и когда просто предполагают. Ученые НИЯУ МИФИ предложили архитектуру, которая меняет эту логику. Стохастический трансформер не просто формирует прогноз, но и оценивает, насколько можно полагаться на собственный вывод. Если модель сомневается – она сигнализирует об этом человеку. Параллельно разработка защищает ИИ от так называемых состязательных атак, когда злоумышленник незаметно меняет входные данные, чтобы заставить алгоритм ошибиться.
Право на ошибку
Обычная нейросеть работает с фиксированными параметрами. Стохастический трансформер устроен иначе – в его расчётах появляются случайные значения. Модель прогоняет задачу через множество вариантов и смотрит, совпадают ли результаты. Если ответы сходятся – решение надёжное. Если расходятся – система фиксирует высокую неопределённость.
Такой подход решает сразу две задачи. Первая – убрать слепую уверенность ИИ там, где её быть не должно. Вторая – защитить модель от манипуляций. Состязательные атаки часто работают именно на слепых зонах нейросети: например, незаметное для глаза изменение пикселя на картинке может заставить модель принять стоп-знак за ограничение скорости. Если же алгоритм умеет оценивать собственную неуверенность, он с большей вероятностью заметит подвох.
Пять лет гонки за надёжностью
Идея «доверенного ИИ» возникла не за один год. В 2021 году научное сообщество открыто заговорило о том, что нейросети уязвимы перед малейшими искажениями данных. Тогда же стало ясно: гнаться только за точностью больше нельзя – нужна устойчивость.
В 2022 году российские исследователи представили самообучающиеся модели для защиты промышленных объектов. Они умели адаптироваться к новым сценариям атак, а не просто реагировать на известные шаблоны. Это был важный шаг: система перестала быть статичной.
К 2023 году фокус сместился на объяснимость. Специалисты университета Иннополис показали, как сделать модели менее зависимыми от случайных признаков в данных. Если алгоритм понимает, на что именно он смотрит, его сложнее обмануть.
2024 год принёс новую проблему – атаки на большие языковые модели через специально сформированные запросы. Prompt-injection заставлял ИИ нарушать собственные инструкции. Стало ясно: защищать нужно не только классификаторы, но и генеративные системы.
В 2025 понятие устойчивости вышло за пределы кибербезопасности. Нейросеть, управлявшая шумоподавлением в гравитационном детекторе LIGO, научилась адаптироваться к физическим помехам оборудования. Надежность перестала быть исключительно ИТ-задачей.
Наконец, в 2026 году НИЯУ МИФИ представил Mamba Shield – архитектуру, устойчивую к «отравлению данных». Модель проектировалась так, чтобы сохранять работоспособность даже при намеренной порче обучающей выборки. Это уже не отдельный алгоритм, а целая философия построения ИИ.
Когда цена ошибки слишком высока
Стохастический трансформер применим там, где цена ошибка слишком высока. Например, в медицине, где алгоритм, который уверенно ставит диагноз без права на сомнение, – это риск для пациента. Модель, способная сказать «мне нужны дополнительные данные» или «здесь должен посмотреть врач», – совсем другое дело. То же касается банковского сектора, где ИИ оценивает транзакции на предмет мошенничества. В этих сферах ложная уверенность опаснее признания неопределённости.
Авторы разработки планируют адаптировать подход для больших языковых моделей с использованием техник вроде LoRA, что позволит встраивать защиту в крупные нейросети без их полного переобучения. Это важно, поскольку переучивать модель на сотни миллиардов параметров – ресурсоёмкая задача.
Сдвиг в индустрии от скорости к уверенности
Проблема надёжности ИИ не знает границ. Европейские и американские лаборатории работают над схожими задачами: как сделать модели устойчивыми к атакам, как научить их объяснять собственные решения, как не допустить каскадных сбоев. Российская разработка вписывается в этот контекст.
Говорить о прямом экспорте отдельной архитектуры пока что рано – работа находится на этапе исследований. Но направление имеет коммерческую перспективу. Спрос на защищённые ИИ-решения растёт: корпорации не готовы внедрять алгоритмы, которым нельзя доверять в критических сценариях. С уверенностью можно сказать, что российская разработка весьма актуальна и имеет значение на международном уровне.
Разработка ученых МИФИ – часть более широкого сдвига в индустрии. Если последние десять лет гонка шла за то, чтобы ИИ был умнее, точнее и быстрее, то теперь на первый план выходит другое требование: он должен быть надёжным, уметь сомневаться, признавать границы собственных возможностей. Именно такие системы получат право на использование в энергетике, медицине, транспорте и госуправлении.
