Алгоритм МФТИ распознает логические галлюцинации ИИ по структуре текста
Ученый Московского физико-технического института Борис Галицкий разработал метод выявления структурно необоснованных цепочек рассуждений больших языковых моделей, включая логические галлюцинации.

На наборе из примерно тысячи вымышленных жалоб клиентов алгоритм отличал корректные и галлюцинаторные ИИ-рассуждения по структуре текста в 81% случаев, а с учетом содержания – в 84%. Метод может повысить надежность ИИ в медицине, праве и науке, где ошибки при анализе доказательств особенно опасны.
По его словам, ИИ может выдавать не только вымышленные факты, но и цепочки рассуждений с логическими ошибками. Они опасны при поиске ответов на сложные медицинские, юридические или научные вопросы, требующие отбора доказательств и объединения разнородных данных.
Галицкий предположил, что такие ошибки отличаются от корректного анализа по структуре, что позволяет выявлять их до использования ИИ. В перспективе это повысит качество больших языковых моделей там, где ошибки ИИ особенно опасны, подытожил ученый.








































