Choose your language to read side by side with English.

If AI is addictive, where does the responsibility lie – with big tech or its users?
, ,

Se a IA é viciante, onde reside a responsabilidade – nas grandes empresas de tecnologia ou nos seus usuários?

If AI is addictive, where does the responsibility lie – with big tech or its users?

Bernd Stahl, Professor of Critical Research in Technology, School of Computer Science, University of Nottingham
Show
Hide
EN – PT
PT – EN

Generative AI systems show signs of being addictive, but the evidence is still at an early stage.

Sistemas de IA generativa mostram sinais de serem viciantes, mas as evidências ainda estão em um estágio inicial.

When I talk to my son, an engineering student, and we have a question or disagreement, he immediately turns to ChatGPT as his primary source of information and confirmation.

Quando falo com meu filho, um estudante de engenharia, e temos uma pergunta ou desacordo, ele imediatamente recorre ao ChatGPT como sua fonte primária de informação e confirmação.

He is not alone in this. The use of generative AI tools has exploded across different demographic groups. For many people, these tools can be entertaining, informative and beneficial. However, they also have a dark side.

Ele não está sozinho nisso. O uso de ferramentas de IA generativa explodiu em diferentes grupos demográficos. Para muitas pessoas, essas ferramentas podem ser divertidas, informativas e benéficas. No entanto, elas também têm um lado sombrio.

Generative AI is not formally recognised as addictive right now – the medical evidence is still being gathered. But there is a significant amount of data showing heavy use of chatbots and other systems that produce text, images and video leads to neural patterns and behaviour that are associated with addiction.

A IA generativa ainda não é formalmente reconhecida como viciante – a evidência médica ainda está sendo coletada. Mas há uma quantidade significativa de dados que mostram que o uso intenso de chatbots e outros sistemas que produzem texto, imagens e vídeos leva a padrões neurais e comportamentos associados ao vício.

In light of Meta’s and YouTube’s recent legal defeat in a landmark social media addiction trial, I believe it’s time to ask whether a similar logic applies to generative AI – and how it could be addressed. The starting point would be to identify who carries responsibility for overuse of generative AI.

À luz da recente derrota legal da Meta e do YouTube em um julgamento histórico sobre vício em mídias sociais, acredito que é hora de perguntar se uma lógica semelhante se aplica à IA generativa – e como isso poderia ser abordado. O ponto de partida seria identificar quem carrega a responsabilidade pelo uso excessivo de IA generativa.

The science on this is not settled, and there are some who counsel caution when using the term addiction. They propose the use of other expressions such as “problematic use”. However, in a recent paper, our team of researchers suggest there is strong evidence to suggest that generative AI has addictive properties.

A ciência sobre isso não está consolidada, e há alguns que aconselham cautela ao usar o termo vício. Eles propõem o uso de outras expressões, como “uso problemático”. No entanto, em um artigo recente, nossa equipe de pesquisadores sugere que há fortes evidências para indicar que a IA generativa possui propriedades viciantes.

Much-discussed examples include emotional dependency on chatbot companions, compulsive engagement with them, and the loss of real-world acquaintances and friends.

Exemplos muito discutidos incluem dependência emocional de companheiros chatbots, engajamento compulsivo com eles e a perda de conhecidos e amigos do mundo real.

A key factor here is that, as in all cases of addiction, the behaviour has negative consequences for the user which may affect both their personal and professional lives.

Um fator chave aqui é que, como em todos os casos de vício, o comportamento tem consequências negativas para o usuário, podendo afetar tanto sua vida pessoal quanto profissional.

If we follow the argument that generative AI is a candidate for addictive behaviour, then we also need to look at responsibility. Societies tend to find ways to deal with harm by holding people or groups responsible for fixing it. Those who could be accountable include legislators, regulators, industry and health systems.

Se seguirmos o argumento de que a IA generativa é um candidato a comportamento viciante, então também precisamos olhar para a responsabilidade. As sociedades tendem a encontrar maneiras de lidar com danos responsabilizando pessoas ou grupos por corrigi-los. Aqueles que poderiam ser responsáveis incluem legisladores, reguladores, indústrias e sistemas de saúde.

Historical examples

Exemplos históricos

Historical precedents such as smoking might offer insights into how the area of generative AI addiction could evolve.

Precedentes históricos como o tabagismo podem oferecer insights sobre como a área do vício em IA generativa poderia evoluir.

Older readers may remember when the Marlboro Man would appear before any feature movie in their local cinemas. It eventually transpired that not only was smoking addictive and bad for your health, but that tobacco companies knew this. Nevertheless, it was publicly denied.

Leitores mais velhos podem se lembrar quando o Marlboro Man aparecia antes de qualquer filme de longa-metragem em seus cinemas locais. Eventualmente ficou claro que não só fumar era viciante e ruim para a saúde, mas que as empresas de tabaco sabiam disso. No entanto, isso foi publicamente negado.

This led to lengthy and high-profile litigation, eventually resulting in large-scale financial payouts and changes to the industry. These changes included the plain packaging of tobacco products and gruesome warning labels on them.

Isso levou a litígios longos e de alto perfil, resultando eventualmente em pagamentos financeiros em grande escala e mudanças na indústria. Essas mudanças incluíram o empacotamento simples dos produtos de tabaco e rótulos de aviso gráficos neles.

Gambling could be following a similar trajectory – and now social media companies may be taking their first steps into a similar process.

Os jogos de azar poderiam seguir uma trajetória semelhante – e agora as empresas de mídia social podem estar dando seus primeiros passos em um processo parecido.

A key question is whether the makers of a product – be it tobacco, gambling or social media – are aware of its addictive properties. Another important factor being considered is whether certain companies may even use the allegedly addictive properties of their products for corporate advantage.

Uma questão chave é se os fabricantes de um produto – seja tabaco, jogos de azar ou mídia social – estão cientes de suas propriedades viciantes. Outro fator importante em consideração é se certas empresas podem até usar as supostas propriedades viciantes de seus produtos para vantagem corporativa.

AI is not tobacco, of course, but there may be parallels to be studied.

A IA não é tabaco, claro, mas pode haver paralelos a serem estudados.

In our research, we have identified four groups of stakeholders that are now being called upon to address the challenges linked to the possibility of addiction to generative AI.

Em nossa pesquisa, identificamos quatro grupos de partes interessadas que estão sendo chamados para enfrentar os desafios ligados à possibilidade de vício em IA generativa.

The first is governments and regulators. These have a key role to play in highlighting the problems, setting the rules of engagement, and creating incentives for other parties to engage with the topic.

O primeiro são os governos e reguladores. Estes têm um papel fundamental em destacar os problemas, estabelecer as regras de engajamento e criar incentivos para que outras partes se envolvam no tópico.

They can do this by requiring labelling, restricting advertising, applying liability law and providing research funding – along with many other mechanisms.

Eles podem fazer isso exigindo rotulagem, restringindo publicidade, aplicando direito de responsabilidade e fornecendo financiamento para pesquisa – juntamente com muitos outros mecanismos.

But the most important role in addressing potential addictive behaviour associated with generative AI would be held by big tech companies that develop and own these technologies – and stand to benefit financially from them.

Mas o papel mais importante no combate a um potencial comportamento viciante associado à IA generativa seria desempenhado pelas grandes empresas de tecnologia que desenvolvem e possuem essas tecnologias – e que podem se beneficiar financeiramente delas.

These companies own and have access to user data, which would be needed to ascertain the features that support or alleviate addiction. They are also the parties that would benefit financially from addiction by increasing user numbers and engagement, the main currency of the digital age.

Essas empresas possuem e têm acesso a dados de usuários, que seriam necessários para determinar os recursos que suportam ou aliviam o vício. Elas também são as partes que se beneficiariam financeiramente do vício ao aumentar o número de usuários e o engajamento, a principal moeda da era digital.

In addition to these two groups, academic researchers have an important role in collecting and interpreting data, and providing the evidence needed to recognise addiction and addictive features – in ways that allow for evidence-based political or legal debate.

Além desses dois grupos, os pesquisadores acadêmicos têm um papel importante na coleta e interpretação de dados, e no fornecimento das evidências necessárias para reconhecer o vício e recursos viciantes – de maneiras que permitam debates políticos ou legais baseados em evidências.

Finally, civil society organisations such as user or patient groups can help by providing support, advocating for members’ interests, and establishing early-warning structures.

Finalmente, organizações da sociedade civil, como grupos de usuários ou pacientes, podem ajudar fornecendo apoio, defendendo os interesses dos membros e estabelecendo estruturas de alerta precoce.

The point is that none of these interested parties can address the problem on their own. They need to collaborate.

O ponto é que nenhuma dessas partes interessadas pode resolver o problema sozinha. Elas precisam colaborar.

Someone else’s problem

Problema alheio

A key problem at the moment is the lack of structured debate about responsibilities – everybody assumes it is someone else’s problem. But there is ample precedent showing how greater engagement from those involved with the issue may be achieved.

Um problema fundamental no momento é a falta de debate estruturado sobre responsabilidades – todos assumem que é um problema alheio. Mas há precedentes suficientes mostrando como maior envolvimento daqueles que estão ligados à questão pode ser alcançado.

With tobacco, the World Health Organization (WHO) formed the Framework Convention on Tobacco Control – a treaty-based mechanism that brought together governments, public health bodies, researchers and civil society to evaluate evidence and draw up common rules. The International AI Safety Report shows comparable international consensus-building activities are already happening in other aspects of AI.

Com o tabaco, a Organização Mundial da Saúde (OMS) formou a Convenção-Quadro para o Controle do Tabaco – um mecanismo baseado em tratado que reuniu governos, órgãos de saúde pública, pesquisadores e sociedade civil para avaliar evidências e elaborar regras comuns. O Relatório Internacional de Segurança de IA mostra que atividades comparáveis de construção de consenso internacional já estão ocorrendo em outros aspectos da IA.

Some responsibility also falls on the users of AI, who should try to avoid or control their own potentially harmful behaviour. But appeals to individual moderation or mindfulness have been shown with other addictions to be insufficient.

Parte da responsabilidade também recai sobre os usuários de IA, que devem tentar evitar ou controlar seu próprio comportamento potencialmente prejudicial. Mas apelos à moderação individual ou à atenção plena foram mostrados serem insuficientes com outras dependências.

While the harms associated with smoking or alcohol misuse are well known, society still relies on age limits, packaging rules and advertising restrictions. Generative AI is being integrated into the everyday fabric of our society. The choices we now make will determine what acceptable use looks like for years to come.

Embora os danos associados ao tabagismo ou uso indevido de álcool sejam bem conhecidos, a sociedade ainda depende de limites de idade, regras de embalagem e restrições de publicidade. A IA generativa está sendo integrada no tecido cotidiano da nossa sociedade. As escolhas que fazemos agora determinarão como será o uso aceitável nos próximos anos.

Bernd Stahl does not work for, consult, own shares in or receive funding from any company or organisation that would benefit from this article, and has disclosed no relevant affiliations beyond their academic appointment.

Bernd Stahl não trabalha para, não consulta, não possui ações nem recebe financiamento de nenhuma empresa ou organização que se beneficiaria deste artigo, e não divulgou afiliações relevantes além do seu cargo acadêmico.

Read more