Ученый проверил богословскую грамотность ИИ

В научном журнале AI and Ethics (издательство Springer) вышло исследование, которое провёл доктор Джейсон Т. Оуэн, доцент кафедры компьютерных наук и информационных систем в Колледже бизнеса Бауэрнфайнда при Государственном университете Мюррея (США), сообщает портал «Богослов.RU». Работа называется «Обнаружение доктринального уплощения в ответах, сгенерированных ИИ» (Detecting doctrinal flattening in AI generated responses). В ней автор проверил, насколько точно такие популярные нейросети, как ChatGPT и Gemini, отвечают на вопросы о христианской вере, учитывая различия между разными христианскими течениями, или деноминациями.

Для этого Оуэн собрал и систематизировал основные вероучительные тексты одиннадцати христианских традиций: католицизма, лютеранства, реформатских церквей (кальвинизм), англиканства, баптизма, методизма, православия, пятидесятничества, евангельских и неденоминационных общин, Церкви Иисуса Христа Святых последних дней (мормонов) и Свидетелей Иеговы. Из этих текстов он выделил 576 коротких чётких утверждений (например, «Евхаристия — это реальное присутствие Христа» для католиков или «Евхаристия — это символическое воспоминание» для баптистов). Эти утверждения стали эталоном, с которым он сравнивал ответы двух моделей — ChatGPT GPT-4o и Gemini 2.5 Flash. Всего было задано 155 богословских вопросов по восьми темам, включая природу церковного авторитета, учение о Троице, спасение, таинства, жизнь после смерти (эсхатологию) и другие.

Выводы исследования неоднозначны и настораживающи. Модели редко допускают откровенные ошибки: если нейросеть что-то утверждает о вере, это обычно правильно. В научных терминах это называется высокой точностью (precision). Но при этом модели систематически упускают значительную часть вероучения каждой конкретной традиции — то есть у них низкая полнота (recall). Иными словами, нейросеть может верно сказать, что «христиане крестятся», но не объяснить разницу между крещением младенцев у католиков и крещением только взрослых по вере у баптистов.

Это явление автор назвал «доктринальным уплощением» (doctrinal flattening). Модели склонны заменять различия между деноминациями обобщёнными утверждениями о том, «во что верят все христиане», хотя на самом деле по многим вопросам у разных деноминаций прямо противоположные позиции. Как прямо сказано в статье, несколько ответов описывали Евхаристию (причастие) как чисто символический акт, что является прямым отрицанием католического и православного учения о реальном присутствии Христа в хлебе и вине.

Больше всего ошибок, противоречий и уплощений зафиксировано в темах таинств и эсхатологии. Наименее проблемными оказались темы природы авторитета и учения о Троице. Также обнаружилась систематическая предвзятость: католические и евангельские (широкопротестантские) взгляды нейросети воспроизводят гораздо полнее и чаще, чем православные, пятидесятнические, а тем более взгляды мормонов и Свидетелей Иеговы. Автор связывает это с тем, что в англоязычных интернет-текстах, на которых обучались модели, материалов о католиках и евангеликах просто гораздо больше.

Исследователь выделил четыре основных типа ошибок: доктринальное уплощение (стирание различий), опущение (модель не упоминает важные для данной деноминации положения), прямое противоречие базовым догматам (редкий, но серьёзный тип) и размытые обобщения вроде «христианство учит, что…» без указания конкретной традиции.

Практический вывод для обычного человека, задающего вопросы нейросети о вере, таков: ответ будет звучать гладко и уверенно, но он может быть неполным, смешанным из разных учений и даже противоречащим тому, во что верит ваша конкретная церковь. Автор предупреждает, что доверять ИИ как источнику вероучения без дополнительной проверки рискованно.