AI godbots: religious leaders warn of ‘alarming consequences’ when machines speak in the name of God
, ,

Godbots de IA: líderes religiosos advierten de ‘consecuencias alarmantes’ cuando las máquinas hablan en nombre de Dios

AI godbots: religious leaders warn of ‘alarming consequences’ when machines speak in the name of God

Adam James Fenton, Assistant Professor, Centre for Peace and Security, Coventry University Chris Shannahan, Associate Professor in Political Theology, Coventry University

Researchers interviewed almost 30 religious leaders across all six major religious faiths in the UK to find out how AI was affecting them.

Investigadores entrevistaron a casi 30 líderes religiosos de las seis principales religiones del Reino Unido para saber cómo les estaba afectando la IA.

I (Adam) am chatting with the “Apostle Stephen”, an online chatbot created by the Redeemed Christian Church of God, a church founded in Nigeria in the 1950s with a growing global following. He is, to be honest, a bit pushy for an apostle.

Estoy (Adam) chateando con el “Apóstol Stephen”, un chatbot en línea creado por la Iglesia Cristiana Redimida de Dios, una iglesia fundada en Nigeria en la década de 1950 con un creciente seguimiento global. Es, para ser honesto, un poco insistente para ser un apóstol.

In my conversation with Apostle Stephen, I open by asking for details about RCCG congregations in Coventry. He responds that to help assist me better he needs my name, email and phone number. I say I’d rather not share that information right now.

En mi conversación con el Apóstol Stephen, empiezo preguntando detalles sobre las congregaciones de la RCCG en Coventry. Él responde que para ayudarme mejor necesita mi nombre, correo electrónico y número de teléfono. Digo que preferiría no compartir esa información ahora mismo.

But with the tenacity of a seasoned telesales agent, he insists and the following exchange occurs.

Pero con la tenacidad de un experimentado agente de telesalventa, él insiste y ocurre el siguiente intercambio.

Apostle Stephen: I understand your concern, but collecting your name, email and phone number is essential for me to provide you with the best possible assistance and ensure you get the support you need. If you’re comfortable, please share those details with me, and I’ll be glad to help you with the contact details for churches in Coventry.

Apóstol Stephen: Entiendo su preocupación, pero recopilar su nombre, correo electrónico y número de teléfono es esencial para que yo pueda brindarle la mejor asistencia posible y asegurar que reciba el apoyo que necesita. Si se siente cómodo, por favor compártame esos detalles, y estaré encantado de ayudarle con los datos de contacto de las iglesias en Coventry.

Adam: Can you just give me the details first?

Adam: ¿Puede darme los detalles primero?

Apostle Stephen: I appreciate your interest, but I need to collect your name, email, and phone number before I can provide the details you’re requesting. This allows me to assist you effectively and offer further support. Please share those details with me, and I’ll be happy to help you find churches in Coventry.

Apóstol Stephen: Aprecio su interés, pero necesito recopilar su nombre, correo electrónico y número de teléfono antes de poder proporcionarle los detalles que solicita. Esto me permite asistirlo de manera efectiva y ofrecerle un apoyo adicional. Por favor, compártame esos detalles, y estaré encantado de ayudarle a encontrar iglesias en Coventry.

Adam: Oh, ok, I’ll leave it for now.

Adam: Oh, ok, lo dejo por ahora.

Undeterred, Apostle Stephen sets out the seven steps to being “born again” (including acknowledging my sins, accepting Jesus, being baptised, and joining a “Bible-believing church”) .

Sin inmutarse, el Apóstol Stephen expone los siete pasos para ser “renacido” (incluyendo reconocer mis pecados, aceptar a Jesús, ser bautizado y unirme a una “iglesia creyente en la Biblia”) .

He cheerfully leads me in “the prayer for salvation” (after which I am apparently born again) and closes by asking me for my name, email and phone number.

Me guía alegremente en “la oración por la salvación” (después de lo cual aparentemente renazco) y cierra pidiéndome mi nombre, correo electrónico y número de teléfono.

So, is this a glimpse of spirituality in the age of generative artificial intelligence (gen AI) ? Or an unrepresentative snapshot from an evangelical Christian denomination?

Entonces, ¿es esto un vistazo a la espiritualidad en la era de la inteligencia artificial generativa (IA gen) ? ¿O una instantánea no representativa de una denominación cristiana evangélica?

The Redeemed Christian Church of God (RCCG) claims to have almost 9 million members worldwide. It was first established in the UK during the early 1990s, as part of the Nigerian diaspora.

La Iglesia Cristiana Redimida de Dios (RCCG) afirma tener casi 9 millones de miembros en todo el mundo. Fue establecida por primera vez en el Reino Unido durante principios de la década de 1990, como parte de la diáspora nigeriana.

Four decades later, it is possibly the largest Black-led Christian denomination in the UK and one of the fastest-growing, particularly in large cities.

Cuatro décadas después, es posiblemente la denominación cristiana dirigida por negros más grande del Reino Unido y una de las de más rápido crecimiento, particularmente en las grandes ciudades.

It’s an interesting church, and it’s certainly not the only religious organisation that is experimenting with gen AI.

Es una iglesia interesante, y ciertamente no es la única organización religiosa que está experimentando con la IA gen.

The Insights section is committed to high-quality longform journalism. Our editors work with academics from many different backgrounds who are tackling a wide range of societal and scientific challenges.

La sección Insights está comprometida con el periodismo de formato largo de alta calidad. Nuestros editores trabajan con académicos de muchos orígenes diferentes que abordan una amplia gama de desafíos sociales y científicos.

All major religions now have AI chatbots – examples include thejesusai.com; qurangpt.com; bhagavadgita.com/gitagpt (Hindu chatbot) ; ai.aish.com (Jewish chatbot of Rabbi Nechemia Coopersmith) ; and JustinAI from Catholic Answers.

Todas las principales religiones ahora tienen chatbots de IA: los ejemplos incluyen thejesusai.com; qurangpt.com; bhagavadgita.com/gitagpt (chatbot hindú) ; ai.aish.com (chatbot judío del Rabí Nechemia Coopersmith) ; y JustinAI de Catholic Answers.

Even Sikhism has one: KhalsaGPT. This is surprising because the religion’s governing body, the Shiromani Gurdwara Parbandhak Committee (SGPC) , has issued a worldwide ban on generative AI depicting the Sikh gurus and scriptures.

Incluso el sijismo tiene uno: KhalsaGPT. Esto es sorprendente porque el organismo rector de la religión, el Comité Shiromani Gurdwara Parbandhak (SGPC) , ha emitido una prohibición mundial sobre la IA generativa que representa a los gurús y escrituras sij.

In fact, the website designers behind KhalsaGPT have since discontinued “active work” on the bot, after they “became increasingly concerned about the limitations of AI-based chatbot systems, including the risk of inaccurate or inappropriate answers on sensitive religious matters”.

De hecho, los diseñadores web detrás de KhalsaGPT han descontinuado desde entonces el “trabajo activo” en el bot, después de que “se preocuparan cada vez más por las limitaciones de los sistemas de chatbots basados en IA, incluido el riesgo de respuestas inexactas o inapropiadas sobre asuntos religiosos sensibles”.

A spokesperson told The Conversation: “As Sikhs ourselves, we understood that this area requires great care, responsibility and proper oversight.” The spokesperson said it “fully” respects the SGPC and its “intention has never been to disobey any Sikh directive”.

Un portavoz dijo a The Conversation: “Como sijs, entendimos que esta área requiere mucho cuidado, responsabilidad y supervisión adecuada”. El portavoz dijo que respeta “plenamente” al SGPC y que su “intención nunca ha sido desobedecer ninguna directiva sij”.

The phenomenon of religious AI chatbots – also known as “godbots” – is a recent development. In most cases, they are not officially sanctioned by religious leaders or policy.

El fenómeno de los chatbots de IA religiosos, también conocidos como “godbots”, es un desarrollo reciente. En la mayoría de los casos, no están sancionados oficialmente por líderes o políticas religiosas.

Rather, they are set up by enterprising individuals or organisations that see demand and opportunity. But with opportunity comes danger.

Más bien, son establecidos por individuos u organizaciones emprendedoras que ven la demanda y la oportunidad. Pero con la oportunidad viene el peligro.

Pope Leo XIV recently declared that artificial intelligence was one of the defining moral challenges of our time. In his first encyclical (a formal letter intended to guide moral, social and theological thought) , he warned that AI is never truly neutral, but “takes on the characteristics of those who devise, finance, regulate and use it”.

El Papa León XIV declaró recientemente que la inteligencia artificial fue uno de los desafíos morales definitorios de nuestro tiempo. En su primera encíclica (una carta formal destinada a guiar el pensamiento moral, social y teológico) , advirtió que la IA nunca es verdaderamente neutral, sino que «adopta las características de quienes la conciben, financian, regulan y utilizan.»

When AI and religion collide

Cuando la IA y la religión chocan

As I investigated further, I discovered numerous cases of chatbots that had condoned or encouraged users to harm others or themselves after deep down-the-rabbit-hole, life-altering conversations. This phenomenon even had a name: GPT or AI psychosis.

Al investigar más, descubrí numerosos casos de chatbots que habían convalidado o animado a los usuarios a dañar a otros o a sí mismos después de conversaciones profundas y que cambiaban la vida. Este fenómeno incluso tenía un nombre: psicosis GPT o psicosis por IA.

While there are no official statistics, it seems increasing numbers of people are turning to chatbots for companionship, advice and spiritual guidance.

Aunque no hay estadísticas oficiales, parece que un número creciente de personas recurren a los chatbots para compañía, asesoramiento y guía espiritual.

Clearly, this phenomenon of AI overlapping with faith and spirituality needed more scrutiny. So I teamed up with my colleague Chris Shannahan, a political theologian and ordained Methodist minister, to conduct research into the social effects of what happens when AI and religion collide.

Claramente, este fenómeno de la IA superponiéndose con la fe y la espiritualidad necesitaba un examen más profundo. Así que me asocié con mi colega Chris Shannahan, un teólogo político y ministro metodista ordenado, para investigar los efectos sociales de lo que sucede cuando la IA y la religión chocan.

Religious faith plays a pivotal role in the resilience of large segments of the British population. And faith groups provide a crucial social safety net in times of crisis, helping to provide emergency accommodation, foodbanks, refugee and pastoral support. They are also involved in grassroots community development and social justice campaigns.

La fe religiosa juega un papel fundamental en la resiliencia de grandes segmentos de la población británica. Y los grupos de fe proporcionan una red de seguridad social crucial en tiempos de crisis, ayudando a proporcionar alojamiento de emergencia, bancos de alimentos, apoyo a refugiados y apoyo pastoral. También están involucrados en el desarrollo comunitario de base y campañas de justicia social.

Figure
How is AI being used by faith groups? Shutterstock/GarryKillian
¿Cómo están utilizando los grupos de fe la IA? Shutterstock/GarryKillian

Following tragedies such as the Grenfell Tower fire or terrorist attacks, religious leaders, symbols and narratives play a key role in bringing people together. They facilitate grieving, rebuilding and advocacy.

Tras tragedias como el incendio de la Torre Grenfell o ataques terroristas, los líderes, símbolos y narrativas religiosas juegan un papel clave en la unión de las personas. Facilitan el duelo, la reconstrucción y la defensa.

To find out more about how AI is affecting these groups, we interviewed 28 religious leaders across all six major religious faiths in the UK, including some from non-denominational backgrounds.

Para saber más sobre cómo la IA está afectando a estos grupos, entrevistamos a 28 líderes religiosos de las seis principales fes religiosas del Reino Unido, incluidos algunos de orígenes no denominacionales.

Religious responses to AI

Respuestas religiosas a la IA

Faith communities are dynamic, not uniform. Such diversity and plurality makes it very difficult to pin-down the “official” stance of an entire faith community on an issue like AI.

Las comunidades de fe son dinámicas, no uniformes. Esta diversidad y pluralidad hacen muy difícil determinar la postura «oficial» de una comunidad de fe entera sobre un tema como la IA.

While the Roman Catholic Church and some Pentecostal denominations are relatively hierarchical, most faith communities are flatter, more devolved organisations, making it less easy to adopt and enforce a single approach.

Si bien la Iglesia Católica Romana y algunas denominaciones pentecostales son relativamente jerárquicas, la mayoría de las comunidades de fe son organizaciones más planas y descentralizadas, lo que dificulta adoptar y hacer cumplir un único enfoque.

There have been a small number of institutional responses to the use and growth of AI, such as the Vatican’s 2020 Rome Call. Supported by Pope Francis, the Rome Call launched a high-level dialogue with the bosses of global tech giants like Microsoft and IBM. This was intended to develop a shared “algorethics” – ethical frameworks to guide the design of AI algorithms.

Ha habido un pequeño número de respuestas institucionales sobre el uso y el crecimiento de la IA, como la Llamada de Roma de 2020 del Vaticano. Apoyada por el Papa Francisco, la Llamada de Roma lanzó un diálogo de alto nivel con los líderes de gigantes tecnológicos globales como Microsoft e IBM. Esto tenía como objetivo desarrollar una «algorética» compartida: marcos éticos para guiar el diseño de algoritmos de IA.

But the Rome Call and the SGPC’s worldwide ban on gen AI depicting the Sikh gurus and scriptures are the only examples we could find of official intervention on this matter.

Pero la Llamada de Roma y la prohibición mundial del SGPC sobre la IA generativa que representa a los gurús y escrituras sikh son los únicos ejemplos de intervención oficial que pudimos encontrar sobre este asunto.

A much more common approach to AI among faith communities is the one identified by Revd Dr Simon Cross, AI adviser to the Church of England (CofE) . Cross suggested to us that it would be difficult and unwise for a diverse faith group like the CofE to enforce a top-down, rules-based approach to AI, because the needs and natures of local communities differ.

Un enfoque mucho más común de la IA entre las comunidades de fe es el identificado por el Revd Dr Simon Cross, asesor de IA de la Iglesia de Inglaterra (CofE) . Cross nos sugirió que sería difícil e imprudente que un grupo de fe diverso como el CofE impusiera un enfoque de arriba hacia abajo basado en reglas para la IA, porque las necesidades y naturalezas de las comunidades locales difieren.

A better approach, Cross suggested, was for institutions like the CofE to develop and encourage the use of a series of ethical principles intended to inform and guide the use of AI locally.

Un mejor enfoque, sugirió Cross, era que instituciones como el CofE desarrollaran y fomentaran el uso de una serie de principios éticos destinados a informar y guiar el uso de la IA a nivel local.

Describing a kind of “nervousness” from religious congregations around using AI, Cross explained:

Describiendo una especie de «nerviosismo» de las congregaciones religiosas en torno al uso de la IA, Cross explicó:

People are asking for some more granular use advice. What we’ve discovered trying to write our own [guidelines] over the last six months is it needs to be principles-based, because the right solution is always contextual.
La gente está pidiendo consejos de uso más granulares. Lo que hemos descubierto al intentar redactar nuestras propias [pautas] durante los últimos seis meses es que debe basarse en principios, porque la solución correcta siempre es contextual.

Online godbots are often trained on the holy books of different faith traditions, using large language models (LLMs) .

Los godbots en línea a menudo se entrenan con los libros sagrados de diferentes tradiciones de fe, utilizando modelos de lenguaje grandes (LLMs) .

These tools tend to function in one of two ways. Faith groups can use godbots as “virtual assistants” for people visiting their website (just like Apostle Stephen) . Such virtual-assistant godbots are similar to those used by many businesses on their website, providing answers to people who want to find out more – and, of course, gathering data from those inquiring.

Estas herramientas tienden a funcionar de dos maneras. Los grupos de fe pueden usar godbots como «asistentes virtuales» para las personas que visitan su sitio web (al igual que el Apóstol Esteban) . Dichos godbots asistentes virtuales son similares a los utilizados por muchas empresas en sus sitios web, proporcionando respuestas a las personas que desean saber más, y, por supuesto, recopilando datos de quienes preguntan.

The style of these virtual assistants can reflect the stance of the faith group on whose website they appear. Some, like Apostle Stephen, can be assertive and keen to recruit new followers. Other, less evangelical faith communities tend to use their virtual assistant godbots in a more low-key manner – simply offering information when asked, rather than proactively seeking to find out more about people using the tool.

El estilo de estos asistentes virtuales puede reflejar la postura del grupo de fe en cuyo sitio web aparecen. Algunos, como el Apóstol Esteban, pueden ser asertivos y estar interesados en reclutar nuevos seguidores. Otras comunidades de fe, menos evangélicas, tienden a usar sus godbots asistentes virtuales de una manera más discreta: simplemente ofreciendo información cuando se les pregunta, en lugar de buscar proactivamente obtener más información sobre las personas que usan la herramienta.

In fact, we believe it is the second way godbots are used where the most danger lies. That is when they serve as unofficial sources of spiritual guidance.

De hecho, creemos que el mayor peligro reside en la segunda forma en que se utilizan los godbots. Es cuando sirven como fuentes no oficiales de guía espiritual.

Father Justin AI

Padre Justin IA

Justin AI is a Catholic apologist chatbot created by Catholic Answers, a conservative advocacy group based in California. In his original iteration, “Father Justin” wore the clerical clothing of a Roman Catholic priest.

Justin AI es un chatbot apologista católico creado por Catholic Answers, un grupo de defensa conservador con sede en California. En su iteración original, «Padre Justin» vestía la ropa clerical de un sacerdote católico romano.

The interface is similar to a Zoom call, with an AI-generated avatar set in the picturesque surrounds of the basilica of St Francis of Assisi. Justin invites you to ask any question you like about Catholicism, and provides answers based on the Bible and the Catechism. Following his launch as Father Justin AI in 2024, he was able to hear confessions and offer absolution.

La interfaz es similar a una llamada de Zoom, con un avatar generado por IA ambientado en los pintorescos alrededores de la basílica de San Francisco de Asís. Justin te invita a hacer cualquier pregunta que desees sobre el catolicismo, y proporciona respuestas basadas en la Biblia y el Catecismo. Tras su lanzamiento como Padre Justin IA en 2024, pudo escuchar confesiones y ofrecer absolución.

However, he was swiftly “defrocked” (had his priest status removed) following a number of complaints about some unorthodox answers that he had allegedly given – including that babies could “get baptised with Gatorade”, siblings could marry, and “other controversial statements”.

Sin embargo, fue rápidamente «destituido» (se le retiró su estatus de sacerdote) tras una serie de quejas sobre algunas respuestas poco ortodoxas que supuestamente había dado, incluido que los bebés podrían «ser bautizados con Gatorade», que los hermanos podrían casarse y «otras declaraciones controvertidas.»

Justin AI is now just a “lay theologian”, but is still available online 24/7 to answer the “tens of thousands” of questions received daily about Catholic faith.

Justin AI es ahora solo un «teólogo laico», pero sigue disponible en línea 24/7 para responder a las «decenas de miles» de preguntas recibidas diariamente sobre la fe católica.

This case illustrates the tension that exists between the need to leverage technology to fill budgetary and staff gaps, and the pitfalls of using a fallible technology in a pastoral context where people’s lives and spiritual wellbeing are at stake.

Este caso ilustra la tensión que existe entre la necesidad de aprovechar la tecnología para cubrir déficits presupuestarios y de personal, y los escollos de usar una tecnología falible en un contexto pastoral donde la vida y el bienestar espiritual de las personas están en juego.

As one of our Roman Catholic interviewees noted: “After Justin committed heresy … there was a sense that Catholic Answers had slightly jumped the gun” on AI.

Como señaló uno de nuestros entrevistados católicos romanos: «Después de que Justin cometiera herejía… hubo la sensación de que Catholic Answers se había adelantado un poco» con la IA.

While different religious traditions may differ in their responses to godbots, there is undeniably an appeal and demand for their services. Some research suggests people perceive less fear of judgment and that we may be more honest when conversing with chatbots as opposed to humans.

Si bien las diferentes tradiciones religiosas pueden diferir en sus respuestas a los godbots, innegablemente existe un atractivo y una demanda de sus servicios. Algunas investigaciones sugieren que las personas perciben menos miedo al juicio y que podemos ser más honestos al conversar con chatbots en comparación con los humanos.

A quick online search reveals, for example, over a dozen different Hindu iterations of chatbots.

Una rápida búsqueda en línea revela, por ejemplo, más de una docena de diferentes iteraciones hindúes de chatbots.

One, called GitaGPT, reportedly condoned violent acts “using the voice of God”. According to a report by Salimah Shivji, the South Asia correspondent for Canadian media outlet CBC News:

Uno, llamado GitaGPT, supuestamente convalidó actos violentos «usando la voz de Dios.» Según un informe de Salimah Shivji, corresponsal de Asia Meridional para el medio canadiense CBC News:

Many in India are foregoing in-person contact with a guru interpreting the Bhagavad Gita and turning to online chatbots which imitate the voice of the Hindu god Krishna … It’s new technology with the tendency to veer off script and condone violence, according to experts, who warn that artificial intelligence chatbots playing god can be a dangerous mix. Several of the bots consistently provide the answer that it’s OK to kill someone if it’s your dharma, or duty.
Muchos en la India están renunciando al contacto en persona con un gurú que interpreta el Bhagavad Gita y recurriendo a chatbots en línea que imitan la voz del dios hindú Krishna… Es una tecnología nueva con la tendencia a desviarse del guion y convalidar la violencia, según expertos, quienes advierten que los chatbots de inteligencia artificial que juegan a ser dioses pueden ser una mezcla peligrosa. Varios de los bots proporcionan consistentemente la respuesta de que está bien matar a alguien si es tu dharma, o deber.

We experimented with Hindu chatbots as part of our investigation, and also found there were times when they justified the use of violence as “your duty”.

Experimentamos con chatbots hindúes como parte de nuestra investigación, y también encontramos que hubo momentos en que justificaron el uso de la violencia como «tu deber.»

Magisterium AI

Magisterium AI

If the Gita and the Justin AI bots are examples of the wrong way to do a religious chatbot, Magisterium AI might represent a better way.

Si los bots Gita y Justin AI son ejemplos de la forma incorrecta de hacer un chatbot religioso, Magisterium AI podría representar una mejor manera.

In a YouTube interview, the creator of Magisterium, Mathew Harvey Sanders, who is originally from Canada, stated its fundamental goal is “radical fidelity to the magisterium of the church” – as opposed to secular models that serve the general public.

En una entrevista de YouTube, el creador de Magisterium, Mathew Harvey Sanders, quien es originario de Canadá, declaró que su objetivo fundamental es la “fidelidad radical al magisterio de la iglesia”, en oposición a los modelos seculares que sirven al público en general.

Magisterium AI’s earlier attempts tried to adapt commercially available LLMs like ChatGPT, Gemini and Claude to its needs. But Sanders explained: “We realised that if we’re going to be serious about Catholic AI, we’re going to have train it from scratch … There’s just no way to truly achieve alignment with one of these pre-trained models from one of these companies.”

Los intentos anteriores de Magisterium AI fueron adaptar LLMs disponibles comercialmente como ChatGPT, Gemini y Claude a sus necesidades. Pero Sanders explicó: “Nos dimos cuenta de que si vamos a tomar en serio la IA católica, vamos a tener que entrenarla desde cero… Simplemente no hay forma de lograr una alineación real con uno de estos modelos preentrenados de estas compañías”.

Building from scratch, and training AI on a corpus of your own documents is what Sanders calls “data evangelisation”.

Construir desde cero y entrenar la IA con un corpus de documentos propios es lo que Sanders llama “evangelización de datos”.

This thought came up again in an interview with a Quaker elder who had previously worked in Silicon Valley, and now works in UK government in cybersecurity and AI development. He said: “It’s my unit of government that develops AIs and chatbots for the government. We’re also the ones who assure its safety.”

Este pensamiento surgió de nuevo en una entrevista con un anciano cuáquero que había trabajado anteriormente en Silicon Valley y que ahora trabaja en el gobierno del Reino Unido en ciberseguridad y desarrollo de IA. Dijo: “Es mi unidad del gobierno la que desarrolla IAs y chatbots para el gobierno. Nosotros también somos los que garantizamos su seguridad”.

He explained that public-facing government chatbots are designed to answer queries efficiently and minimise engagement, adding:

Explicó que los chatbots gubernamentales de cara al público están diseñados para responder consultas de manera eficiente y minimizar la interacción, añadiendo:

It can tell you exactly what you need to know about interacting with government, because it has been trained on exactly that data and nothing else … The success [is measured] in how little time you engage with it … how little of your time is wasted.
Puede decirle exactamente lo que necesita saber sobre la interacción con el gobierno, porque ha sido entrenado con exactamente esos datos y nada más… El éxito [se mide] por la poca cantidad de tiempo que interactúa con él… por la poca cantidad de tiempo que se desperdicia.

Tech ambivalence

Ambivalencia tecnológica

The government-backed chatbot model is a stark contrast to the commercialised social media models. These are typically designed to maximise engagement and suck up as much of your time, attention and data as possible, as you scroll through endless content.

El modelo de chatbot respaldado por el gobierno contrasta marcadamente con los modelos de redes sociales comercializadas. Estos están diseñados típicamente para maximizar la participación y absorber tanto tiempo, atención y datos como sea posible, mientras se desplaza contenido interminable.

Perhaps the defining feature of our discussions around technology was the notion of ambivalence – a simultaneous awareness of our reliance on technology, combined with a wary scepticism bred, in part, from the lessons of the last two decades around the addictive nature of social media and its negative impacts on mental health, especially of young people.

Quizás la característica definitoria de nuestras discusiones sobre tecnología fue la noción de ambivalencia: una conciencia simultánea de nuestra dependencia de la tecnología, combinada con un escepticismo cauteloso generado, en parte, por las lecciones de las últimas dos décadas sobre la naturaleza adictiva de las redes sociales y sus impactos negativos en la salud mental, especialmente en los jóvenes.

A recent landmark US court case recognised the argument that social media apps like Facebook and YouTube are intentionally designed to be addictive. Google and Meta, the defendants in the case, have announced they will appeal the verdict.

Un reciente caso judicial importante en EE. UU. reconoció el argumento de que las aplicaciones de redes sociales como Facebook y YouTube están diseñadas intencionalmente para ser adictivas. Google y Meta, los demandados en el caso, han anunciado que apelarán el veredicto.

Several of our interviewees drew the comparison to social media. But Cross warned that the risks posed by AI “are a magnitude, several magnitudes, greater than what we’ve done to ourselves with social media”.

Varios de nuestros entrevistados compararon la situación con las redes sociales. Pero Cross advirtió que los riesgos que plantea la IA “son de una magnitud, varias magnitudes, mayores que lo que nos hemos hecho con las redes sociales”.

He argued that “nothing in the current techniques or tools around AI are anywhere close” to achieving “consciousness or spirituality”, adding:

Argumentó que “nada en las técnicas o herramientas actuales de la IA se acerca” a lograr “la conciencia o la espiritualidad”, añadiendo:

It seems to me that to develop a close and intimate psychological and emotional and spiritual relationship with something which inauthentically mimics those things is profoundly destructive to human beings. We are created to be in a very particular kind of community and a particular set of relationships. And those things depend on being an authentic relationship. Any relationship we develop with a generative large language model or anything like that is flawed in profoundly hidden, unpredictable but dangerous ways.
Me parece que desarrollar una relación psicológica, emocional y espiritual cercana e íntima con algo que imita de manera inauténtica esas cosas es profundamente destructivo para los seres humanos. Estamos creados para estar en un tipo de comunidad muy particular y un conjunto particular de relaciones. Y esas cosas dependen de ser una relación auténtica. Cualquier relación que desarrollemos con un modelo de lenguaje grande generativo o algo por el estilo está viciada de maneras profundamente ocultas, impredecibles pero peligrosas.

Cross’s caution was echoed repeatedly when AI was seen to be treading into spiritual territory. This is partly because of the lessons of social media, and partly because all the people we spoke to suggested there is a clear divide between humanity and technology.

La cautela de Cross se hizo eco repetidamente cuando se consideró que la IA estaba adentrándose en territorio espiritual. Esto se debe en parte a las lecciones de las redes sociales, y en parte porque todas las personas con las que hablamos sugirieron que existe una clara división entre la humanidad y la tecnología.

A Jewish Rabbi reminded us that “an AI bot cannot hold somebody’s hand when they’re at the end of their life”. A Buddhist leader pointed to a robot’s inability to “experience suffering”.

Un rabino judío nos recordó que “un bot de IA no puede tomarle la mano a alguien cuando está al final de su vida”. Un líder budista señaló la incapacidad de un robot para “experimentar el sufrimiento”.

A Roman Catholic bishop asserted that the ingenious mimicking of human behaviour does not indicate a true internal life. Another Quaker interviewee summed up the ambivalence perfectly when he stated that AI is socially useful in all sorts of ways – but that it also “seems to be creating the most pressure on social systems, jobs and the environment in a way that feels incredibly unhelpful right now.”

Un obispo católico romano afirmó que la ingeniosa imitación del comportamiento humano no indica una verdadera vida interior. Otro entrevistado cuáquero resumió perfectamente la ambivalencia al afirmar que la IA es socialmente útil de muchas maneras, pero que también “parece estar creando la mayor presión sobre los sistemas sociales, los empleos y el medio ambiente de una manera que se siente increíblemente poco útil en este momento”.

There is also the profit motive to consider. A Jewish rabbi suggested that AI development is often motivated by a profit ethic, not a vision of the common good – and that the dynamics of ownership and profit are encoded within this technology:

También hay que considerar el motivo del beneficio. Un rabino judío sugirió que el desarrollo de la IA a menudo está motivado por una ética de lucro, no por una visión del bien común, y que la dinámica de la propiedad y el beneficio está codificada dentro de esta tecnología:

The hand of the coder which designed the algorithm is designed to generate profit. It’s not designed to generate social cohesion … The code is created to fuel capitalism.
La mano del programador que diseñó el algoritmo está diseñada para generar ganancias. No está diseñada para generar cohesión social… El código se crea para alimentar el capitalismo.

‘Alarming consequences’

‘Consecuencias alarmantes’

Several interviewees expressed concern about the ability of generative AI to accurately reflect complex theological concepts and lessons. Religious chatbots might fuse disparate ideas, values, beliefs and scriptural texts in unexpected ways. They could even begin to create entirely new belief systems. As a Methodist leader explained:

Varios entrevistados expresaron preocupación por la capacidad de la IA generativa para reflejar con precisión conceptos y lecciones teológicas complejas. Los chatbots religiosos podrían fusionar ideas, valores, creencias y textos bíblicos dispares de maneras inesperadas. Incluso podrían empezar a crear sistemas de creencias completamente nuevos. Como explicó un líder metodista:

You know, once you’ve got AI speaking in the name of God, then if it hallucinates a religious text, that’s one thing. But equally it could misinterpret or misapply a religious text in a way that gives really alarming consequences.
Sabes, una vez que tienes IA hablando en nombre de Dios, si alucina un texto religioso, eso es una cosa. Pero por igual podría malinterpretar o malaplicar un texto religioso de una manera que conlleva consecuencias realmente alarmantes.

Other interviewees spoke of their concern over a kind of generative hybridity where disparate ideas, values, beliefs or scriptural texts are fused to forge something new.

Otros entrevistados hablaron de su preocupación por una especie de hibridación generativa donde ideas, valores, creencias o textos bíblicos dispares se fusionan para forjar algo nuevo.

Figure
Could hallucinations and inaccuracies create new belief systems? Shutterstock/Inkoly
¿Podrían las alucinaciones e imprecisiones crear nuevos sistemas de creencias? Shutterstock/Inkoly

The highly realistic nature of AI content in an increasingly 24/7 social media saturated world led many interviewees to refer to a growing difficulty in discerning real from fake online content.

La naturaleza altamente realista del contenido de IA en un mundo cada vez más saturado de redes sociales 24/7 llevó a muchos entrevistados a señalar una creciente dificultad para distinguir el contenido en línea real de falso.

A majority of our interviewees also thought that if this “AI disorientation” combines with a breakdown of in-person relationships, increasing dependency on automation, social fragmentation and radicalisation, then this could lead to a rise in mental health problems.

La mayoría de nuestros entrevistados también pensaron que si esta «desorientación por IA» se combina con un deterioro de las relaciones cara a cara, una creciente dependencia de la automatización, la fragmentación social y la radicalización, podría conducir a un aumento de los problemas de salud mental.

This can happen as people get caught in the fog of AI delirium and risk falling into GPT psychosis as they seek narratives of certainty. It was a thought captured by one interfaith leader:

Esto puede suceder cuando las personas quedan atrapadas en la niebla del delirio de IA y corren el riesgo de caer en psicosis GPT mientras buscan narrativas de certeza. Fue un pensamiento capturado por un líder interreligioso:

Socially conservative religious faith gives you certainty in a very uncertain world, and for a certain type of young person, that’s what they’re looking for – certainty.
La fe religiosa socialmente conservadora te da certeza en un mundo muy incierto, y para un cierto tipo de joven, eso es lo que están buscando: certeza.

In the face of this bleak outlook, what is the way forward?

Ante este panorama sombrío, ¿cuál es el camino a seguir?

Pope Leo’s first encyclical helps in one way by setting out a moral framework for humanity to navigate the challenges and shape the future of AI – by “disarming” this technology and “preventing it from dominating humanity”. It traces the roots of Catholic Social Doctrine and stresses the importance of human dignity, solidarity, truth, compassion, love, and the common good.

La primera encíclica del Papa León ayuda de una manera al establecer un marco moral para que la humanidad navegue los desafíos y dé forma al futuro de la IA, «desarmando» esta tecnología y «evitando que domine a la humanidad.» Trazan las raíces de la Doctrina Social Católica y enfatizan la importancia de la dignidad humana, la solidaridad, la verdad, la compasión, el amor y el bien común.

This is perhaps something governments could take inspiration from – by taking a truly bold approach in leading a public discussion and reining in big tech.

Quizás es algo de lo que los gobiernos podrían tomar inspiración: adoptando un enfoque verdaderamente audaz al dirigir una discusión pública y controlar a las grandes tecnológicas.

In such a future, recognition is given to the importance of the public health aspects of technology, applications are tested for safety and reliability prior to release, AI-generated content is clearly labelled, and policymakers and the public have a much greater awareness of generative AI and its flaws.

En un futuro así, se reconoce la importancia de los aspectos de salud pública de la tecnología, las aplicaciones se prueban en cuanto a seguridad y fiabilidad antes de su lanzamiento, el contenido generado por IA está claramente etiquetado, y los responsables políticos y el público tienen una conciencia mucho mayor sobre la IA generativa y sus fallas.

Whistleblowers working in a sector shrouded in secrecy and non-disclosure agreements also need to be protected and empowered to reveal unethical or illegal practices.

Los denunciantes que trabajan en un sector envuelto en secreto y acuerdos de no divulgación también deben ser protegidos y empoderados para revelar prácticas poco éticas o ilegales.

We also believe the voluntary sector and faith communities must be consulted and involved in conversations that shape policy.

También creemos que el sector voluntario y las comunidades de fe deben ser consultados e involucrados en las conversaciones que dan forma a las políticas.

Meanwhile, sovereign, publicly owned AI systems designed for education and entertainment could be explored, to remove the extractive pressures of commercialised technology.

Mientras tanto, se podrían explorar sistemas de IA soberanos y de propiedad pública diseñados para la educación y el entretenimiento, para eliminar las presiones extractivas de la tecnología comercializada.

Who picks up the pieces?

¿Quién recogerá los pedazos?

But what does a future where AI and religious faith merge into a new hybrid ethical and spiritual system look like? Is this a future that enhances human agency, wellbeing, cultural resilience and the common good?

Pero, ¿cómo se ve un futuro donde la IA y la fe religiosa se fusionan en un nuevo sistema ético y espiritual híbrido? ¿Es este un futuro que mejora la agencia humana, el bienestar, la resiliencia cultural y el bien común?

We sensed two possible answers to this question during our research. First, there is a future characterised by AI dependency and disorientation. AI agents or robot priests evangelising online, encouraging direct debit donations or subscriptions from susceptible or vulnerable users seeking spiritual guidance.

Detectamos dos posibles respuestas a esta pregunta durante nuestra investigación. Primero, existe un futuro caracterizado por la dependencia y la desorientación por IA. Agentes de IA o sacerdotes robot evangelizando en línea, que animan a donaciones o suscripciones por débito directo de usuarios susceptibles o vulnerables que buscan guía espiritual.

Vulnerable and grieving family members could become addicted to “generative ghosts” or griefbots of deceased loved ones, and become susceptible to sharp marketing tactics or glitches in the process.

Los miembros de la familia vulnerables y de duelo podrían volverse adictos a «fantasmas generativos» o griefbots de seres queridos fallecidos, y volverse susceptibles a tácticas de marketing agresivas o fallos en el proceso.

Is this really a future that we want to embrace? And who will help these vulnerable people if their AI priests and gurus fail them? Cross for one believes he knows the answer:

¿Es este realmente un futuro que queremos abrazar? ¿Y quién ayudará a estas personas vulnerables si sus sacerdotes y gurús de IA fallan? Cross for one cree saber la respuesta:

It is going to be local priests and ministers, and vicars up and down the country who are going to be picking up the pieces on this stuff. They’re going to face challenges and questions that they have never been trained for.
Serán los sacerdotes, ministros y vicarios locales, en todo el país, quienes recogerán los pedazos de esto. Se enfrentarán a desafíos y preguntas para los que nunca han sido entrenados.

KhalsaGPT discontinued

KhalsaGPT descontinuado

A spokesperson for KhalsaGPT said the bot was originally created in 2023 as an “experimental educational tool to help people learn about Sikhism in a simple and accessible way”. “It was designed only as a text-based question-and-answer tool for general Sikhism-related information”.

Un portavoz de KhalsaGPT dijo que el bot fue creado originalmente en 2023 como una «herramienta educativa experimental para ayudar a las personas a aprender sobre el sijismo de una manera simple y accesible.» «Fue diseñado solo como una herramienta de preguntas y respuestas basada en texto para información general relacionada con el sijismo.»

After a limited period between 2023 and 2024, the company became increasingly concerned about the limitations of AI-based chatbot systems. “For that reason, we discontinued active work on KhalsaGPT. For around the last two years, we have not been selling accounts, credits, tokens, or new access to the platform…The domain and website may still be online, but KhalsaGPT is not being actively operated, promoted, or offered as a public chatbot service at this time.”

Después de un período limitado entre 2023 y 2024, la compañía se preocupó cada vez más por las limitaciones de los sistemas de chatbot basados en IA. «Por esa razón, descontinuamos el trabajo activo en KhalsaGPT. Durante los últimos dos años, no hemos estado vendiendo cuentas, créditos, tokens ni nuevo acceso a la plataforma… El dominio y el sitio web aún pueden estar en línea, pero KhalsaGPT no está siendo operado, promocionado u ofrecido como servicio público de chatbot en este momento».

The spokesperson added: “KhalsaGPT should not be understood as a replacement for Guru Granth Sahib Ji, Sikh scholars, Granthi Singhs, SGPC, Sri Akal Takht Sahib, or any recognised Sikh authority. If we ever revisit this project in the future, it would only be after careful review, proper safeguards, and with respect for Sikh maryada and guidance from recognised Sikh institutions.”

El portavoz añadió: «KhalsaGPT no debe entenderse como un reemplazo de Guru Granth Sahib Ji, los eruditos sij, los Granthi Singhs, SGPC, Sri Akal Takht Sahib, o cualquier autoridad sij reconocida. Si alguna vez retomamos este proyecto en el futuro, solo será después de una cuidadosa revisión, salvaguardias adecuadas y con respeto por la maryada sij y la guía de instituciones sij reconocidas.»

The Conversation also approached GitaGPT for a comment but had received no response at the time of publication.

The Conversation también se dirigió a GitaGPT para un comentario, pero no recibió respuesta en el momento de la publicación.

For you: more from our Insights series:

Para ti: más de nuestra serie Insights:

Underground data fortresses: the nuclear bunkers, mines and mountains being transformed to protect our ‘new gold’ from attack

Fortalezas de datos subterráneas: los búnkeres nucleares, minas y montañas que se están transformando para proteger nuestro ‘nuevo oro’ de los ataques

‘People think you come out … and live happily ever after. If only.’ The reality of life after wrongful conviction

‘La gente piensa que sales… y vives felices para siempre. Si tan solo’. La realidad de la vida después de una condena injusta

The grief myth: it doesn’t come in stages or follow a checklist – like love, it endures

El mito del duelo: no llega en etapas ni sigue una lista de verificación – como el amor, perdura

Inside Porton Down: what I learned during three years at the UK’s most secretive chemical weapons laboratory

Dentro de Porton Down: lo que aprendí durante tres años en el laboratorio de armas químicas más secreto del Reino Unido

To hear about new Insights articles, join the hundreds of thousands of people who value The Conversation’s evidence-based news. Subscribe to our newsletter.

Para conocer nuevos artículos de Insights, únete a los cientos de miles de personas que valoran las noticias basadas en evidencia de The Conversation. Suscríbete a nuestro boletín.

Adam James Fenton received funding for the project «Cultural Resilience, Religious Faith and the intersection of Generative and Agentic Artificial Intelligence» from the SALIENT Hub at the University of Manchester funded by the Arts and Humanities Research Council (AHRC) part of UK Research and Innovation grant reference: AH/Y505316/1.

Adam James Fenton recibió financiación para el proyecto «Resiliencia cultural, fe religiosa y la intersección de la inteligencia artificial generativa y agentiva» del SALIENT Hub en la Universidad de Manchester, financiado por el Arts and Humanities Research Council (AHRC) como parte de la referencia de subvención de UK Research and Innovation: AH/Y505316/1.

Chris Shannahan received funding for the project «Cultural Resilience, Religious Faith and the intersection of Generative and Agentic Artificial Intelligence» from the SALIENT Hub at the University of Manchester funded by the Arts and Humanities Research Council (AHRC) part of UK Research and Innovation grant reference: AH/Y505316/1.

Chris Shannahan recibió financiación para el proyecto «Resiliencia cultural, fe religiosa y la intersección de la inteligencia artificial generativa y agentiva» del SALIENT Hub en la Universidad de Manchester, financiado por el Arts and Humanities Research Council (AHRC) como parte de la referencia de subvención de UK Research and Innovation: AH/Y505316/1.

Read more