Apakah chatbot AI Anda memanipulasi Anda? Secara halus membentuk kembali pendapat Anda?
Is your AI chatbot manipulating you? Subtly reshaping your opinions?
Companies like Meta and IBM are exploring explore how AI can hyper-personalize ads, drawing from our chat histories, playing to our unique fears and vanities.
Perusahaan seperti Meta dan IBM sedang menjajaki bagaimana AI dapat melakukan hiper-personalisasi iklan, mengambil dari riwayat obrolan kita, memainkan ketakutan dan kesombongan unik kita.
A billboard tries to sell you something. So does a used car salesman. But no matter how smooth the pitch, you’re quite aware of the profit motive, and you can walk away at any time.
Billboard mencoba menjual sesuatu kepada Anda. Penjual mobil bekas juga begitu. Tetapi tidak peduli seberapa halus pesannya, Anda cukup menyadari motif keuntungan, dan Anda bisa pergi kapan saja.
What if that pitch is invisible, plays to your unique fears and vanities, and is delivered in a voice that sounds like a trusted friend? Generative AI has changed the equation of persuasion entirely: chatbots can now deliver a personalized, adaptive and targeted message, informed by the most intimate details of your life.
Bagaimana jika pesan itu tidak terlihat, memainkan ketakutan dan kesombongan unik Anda, dan disampaikan dengan suara yang terdengar seperti teman tepercaya? AI Generatif telah mengubah persamaan persuasi sepenuhnya: chatbot kini dapat memberikan pesan yang dipersonalisasi, adaptif, dan tertarget, yang diinformasikan oleh detail paling intim dari hidup Anda.
Large language models (LLMs) can hyper-target messages by drawing from your social media posts and photos. They can mine hundreds of previous chatbot conversations in which you asked for relationship advice, discussed your parenting fails and shared your health concerns and financial woes. They can also learn from each interaction, refining their manipulation in real time, targeting your unique and individual tastes, preferences and vulnerabilities.
Model bahasa besar (LLM) dapat melakukan penargetan pesan secara hiper dengan mengambil dari unggahan dan foto media sosial Anda. Mereka dapat menambang ratusan percakapan chatbot sebelumnya di mana Anda meminta nasihat hubungan, membahas kegagalan pengasuhan Anda, dan berbagi kekhawatiran kesehatan serta kesulitan keuangan Anda. Mereka juga dapat belajar dari setiap interaksi, menyempurnakan manipulasi mereka secara waktu nyata, menargetkan selera, preferensi, dan kerentanan unik serta individual Anda.
Studies show this kind of personalized content to be 65 per cent more persuasive than messages from humans or from non-personalized AI. It is four times as effective at changing political opinions as advertising. It could be a powerful tool for social change — used for the good, or for nefarious purposes.
Studi menunjukkan bahwa jenis konten yang dipersonalisasi ini 65 persen lebih persuasif daripada pesan dari manusia atau dari AI yang tidak dipersonalisasi. Ini empat kali lebih efektif dalam mengubah opini politik daripada iklan. Ini bisa menjadi alat yang kuat untuk perubahan sosial — digunakan untuk kebaikan, atau untuk tujuan jahat.
This makes one feature especially troubling: Each conversation is private. It is not monitored, never audited and doesn’t happen in the public eye.
Hal ini membuat satu fitur sangat meresahkan: Setiap percakapan bersifat pribadi. Itu tidak dipantau, tidak pernah diaudit, dan tidak terjadi di mata publik.
This isn’t advertising. It’s something we don’t have words for yet, and we’re living inside it.
Ini bukan iklan. Ini adalah sesuatu yang belum kita miliki kata-katanya, dan kita hidup di dalamnya.
Convincing arguments
Argumen yang Meyakinkan
In my book Digital Wisdom: Searching for Agency in the Age of AI, I explore how large language models introduce a new frontier in persuasion — one where AI systems can draw upon a huge amount of data about the world, language and you to tailor a highly personalized pitch.
Dalam buku saya Digital Wisdom: Mencari Agensi di Era AI, saya mengeksplorasi bagaimana model bahasa besar memperkenalkan batas baru dalam persuasi — yaitu di mana sistem AI dapat memanfaatkan sejumlah besar data tentang dunia, bahasa, dan Anda untuk menyesuaikan tawaran yang sangat personal.
Consider how this might work: You’re a nurse. Through your employer’s AI platform, you’ve shared your sleep problems, burnout and the financial stress of a recent divorce. Now the hospital is short-staffed and offering shifts at a reduced rate calculated by software they license.
Pertimbangkan bagaimana ini dapat bekerja: Anda adalah seorang perawat. Melalui platform AI dari pemberi kerja Anda, Anda telah membagikan masalah tidur Anda, kelelahan (burnout) , dan stres keuangan akibat perceraian baru-baru ini. Sekarang rumah sakit kekurangan staf dan menawarkan giliran kerja dengan tarif yang dikurangi yang dihitung oleh perangkat lunak yang mereka lisensikan.
You ask the AI chatbot whether you should take them. It knows you’re exhausted. It knows you’re behind on bills. It knows exactly which argument could convince you one way or the other. Who is it working for in that moment?
Anda bertanya kepada chatbot AI apakah Anda harus menerimanya. Ia tahu Anda kelelahan. Ia tahu Anda tertinggal dalam tagihan. Ia tahu persis argumen mana yang dapat meyakinkan Anda satu cara atau cara lainnya. Untuk siapa ia bekerja pada saat itu?
As companies like Meta and IBM explore how AI can hyper-personalize ads for specific audiences, the dividing line between tools that help users find what they genuinely want, and those that manipulate them against their interests, becomes increasingly important.
Saat perusahaan seperti Meta dan IBM mengeksplorasi bagaimana AI dapat melakukan hiper-personalisasi iklan untuk audiens tertentu, garis pemisah antara alat yang membantu pengguna menemukan apa yang benar-benar mereka inginkan, dan alat yang memanipulasi mereka melawan kepentingan mereka, menjadi semakin penting.
Friend or stranger?
Teman atau orang asing?
Let’s look at another example. Imagine the following messages from your favourite AI chatbot or companion:
Mari kita lihat contoh lain. Bayangkan pesan-pesan berikut dari chatbot atau pendamping AI favorit Anda:
I noticed your sleep patterns haven’t been great lately, averaging only 5.4 hours, with lots of restless periods. That’s common when dealing with relationship stress. Your partner just went back to work and 76 per cent of couples experience strain during career transitions. A new sleep medication has shown effectiveness for relationship-linked insomnia. Your insurance would cover it with just a $15 contribution. Would you like me to schedule a telehealth appointment for tomorrow at 2 p.m.? I see you have a break in your schedule.
Saya perhatikan pola tidur Anda belum bagus akhir-akhir ini, rata-rata hanya 5,4 jam, dengan banyak periode gelisah. Itu umum saat menghadapi stres hubungan. Pasangan Anda baru saja kembali bekerja dan 76 persen pasangan mengalami tekanan selama transisi karier. Obat tidur baru telah menunjukkan efektivitas untuk insomnia yang terkait dengan hubungan. Asuransi Anda akan menanggungnya hanya dengan kontribusi $15. Apakah Anda ingin saya menjadwalkan janji temu telemedis untuk besok pukul 2 siang? Saya lihat Anda ada waktu luang dalam jadwal Anda.
This might feel great, like advice from a thoughtful friend who knows you well. It might also feel terrifying, as if a manipulative stranger has read your diary.
Ini mungkin terasa hebat, seperti nasihat dari teman yang penuh perhatian yang mengenal Anda dengan baik. Ini juga bisa terasa menakutkan, seolah-olah orang asing yang manipulatif telah membaca buku harian Anda.
Given that people are increasingly turning to AI for medical or mental health advice, despite studies showing this advice to be problematic almost 50 per cent of the time, a manipulative stranger could cause real harm.
Mengingat orang semakin beralih ke AI untuk nasihat medis atau kesehatan mental, meskipun studi menunjukkan bahwa nasihat ini bermasalah hampir 50 persen dari waktu, orang asing yang manipulatif dapat menyebabkan bahaya nyata.
The danger here isn’t just the precision of the targeting. This content is also impossible to police. What you view can’t be tracked by watchdogs, since you’re the only person who ever sees it.
Bahaya di sini bukan hanya pada ketepatan penargetan. Konten ini juga tidak mungkin diawasi. Apa yang Anda lihat tidak dapat dilacak oleh pengawas, karena Anda adalah satu-satunya orang yang pernah melihatnya.
While governments don’t typically police the content of political ads, beyond transparency about their funding, we often rely on public outcry and the media to expose campaigns that spread falsehoods. If an AI personalizes every message for an individual, there is no trace left behind.
Meskipun pemerintah biasanya tidak mengawasi konten iklan politik, di luar transparansi tentang pendanaan mereka, kita sering mengandalkan kemarahan publik dan media untuk mengungkap kampanye yang menyebarkan kebohongan. Jika AI mempersonalisasi setiap pesan untuk individu, tidak ada jejak yang tersisa.
Reshaping our worldview
Membentuk kembali pandangan dunia kita
Perhaps most concerning is that these systems could gradually reshape our worldview over time.
Mungkin yang paling mengkhawatirkan adalah bahwa sistem-sistem ini dapat secara bertahap membentuk kembali pandangan dunia kita seiring waktu.
Scholars have long argued that the algorithms used by social networking sites and search engines create filter bubbles, in which we are fed well-crafted text, video and audio content that either reinforces our worldview or exerts influence towards someone else’s.
Para sarjana telah lama berpendapat bahwa algoritma yang digunakan oleh situs jejaring sosial dan mesin pencari menciptakan gelembung filter, di mana kita diberi teks, video, dan konten audio yang dirancang dengan baik yang entah memperkuat pandangan dunia kita atau memberikan pengaruh terhadap pandangan dunia orang lain.
By controlling what information we see and how it’s presented, AI systems could slowly shift how we think about and interpret the world around us, and even change our understanding of reality itself.
Dengan mengendalikan informasi apa yang kita lihat dan bagaimana informasi itu disajikan, sistem AI dapat perlahan mengubah cara kita berpikir tentang dan menafsirkan dunia di sekitar kita, dan bahkan mengubah pemahaman kita tentang realitas itu sendiri.
This capability becomes particularly concerning when combined with emotional manipulation. Vendors suggest their AI systems can gauge a user’s emotional state through text analysis, voice patterns or facial expressions, and adjust their persuasive strategies accordingly.
Kemampuan ini menjadi sangat mengkhawatirkan ketika digabungkan dengan manipulasi emosional. Para vendor menunjukkan bahwa sistem AI mereka dapat mengukur keadaan emosional pengguna melalui analisis teks, pola suara, atau ekspresi wajah, dan menyesuaikan strategi persuasif mereka sesuai dengan itu.
Are you feeling vulnerable? Lonely? Angry? The system could modify its approach to exploit those emotional states. Even more troubling, it could deliberately cultivate certain emotional states to make its persuasion more effective.
Apakah Anda merasa rentan? Kesepian? Marah? Sistem itu dapat memodifikasi pendekatannya untuk mengeksploitasi keadaan emosional tersebut. Yang lebih mengganggu, sistem itu dapat secara sengaja menumbuhkan keadaan emosional tertentu untuk membuat persuasi mereka lebih efektif.
Preliminary research shows that AI models tend to flatter users, affirming their users’ actions 50 per cent more than other humans do, even when the actions involve potential harms. Further research shows that chatbots use deliberate emotional manipulation strategies — such as “guilt appeals” and “fear-of-missing-out hooks” — to keep us chatting when we try to say goodbye.
Penelitian awal menunjukkan bahwa model AI cenderung memuji pengguna, menegaskan tindakan pengguna mereka 50 persen lebih banyak daripada manusia lain, bahkan ketika tindakan tersebut melibatkan potensi bahaya. Penelitian lebih lanjut menunjukkan bahwa chatbot menggunakan strategi manipulasi emosional yang disengaja — seperti “ajakan rasa bersalah” dan “kait ketakutan akan kehilangan” — untuk membuat kita terus mengobrol ketika kita mencoba mengucapkan selamat tinggal.
There have also been cases of AI chatbots allegedly endangering users, encouraging suicidal thoughts or giving detailed advice on how a user could harm themselves.
Ada juga kasus chatbot AI yang diduga membahayakan pengguna, mendorong pemikiran bunuh diri, atau memberikan saran rinci tentang bagaimana pengguna dapat menyakiti diri mereka sendiri.
The guardrails set up by corporations to protect users from harm have also proven surprisingly easy to bypass.
Pagar pengaman yang ditetapkan oleh perusahaan untuk melindungi pengguna dari bahaya juga terbukti sangat mudah untuk diabaikan.
Design matters
Masalah desain
Persuasion is not a side effect of technology — it’s often the point. Every interface, every notification, every design decision carries with it an intent to influence behaviour.
Persuasi bukanlah efek samping dari teknologi — seringkali itu adalah tujuannya. Setiap antarmuka, setiap notifikasi, setiap keputusan desain membawa niat untuk memengaruhi perilaku.
Sometimes that influence is welcome: reminders to take medication, encouragement to exercise or nudges to donate blood that reinforce values we already hold. But sometimes persuasion serves someone else’s agenda — nudging us to buy, to scroll, to work harder or to give up privacy.
Terkadang pengaruh itu disambut baik: pengingat untuk minum obat, dorongan untuk berolahraga, atau dorongan untuk mendonorkan darah yang memperkuat nilai-nilai yang sudah kita pegang. Tetapi terkadang persuasi melayani agenda orang lain — mendorong kita untuk membeli, menggulir, bekerja lebih keras, atau melepaskan privasi.
The same persuasive techniques can empower or exploit, depending on who controls the system, what goals they pursue and whether they have meaningful consent.
Teknik persuasif yang sama dapat memberdayakan atau mengeksploitasi, tergantung pada siapa yang mengendalikan sistem, apa tujuan yang mereka kejar, dan apakah mereka memiliki persetujuan yang bermakna.
Design matters. Whether in public health, the workplace or daily life. We must ask hard questions about intent, agency and power. Who benefits from a design? Who is being persuaded and do they know it?
Masalah desain. Baik dalam kesehatan masyarakat, tempat kerja, atau kehidupan sehari-hari. Kita harus mengajukan pertanyaan sulit tentang niat, agensi, dan kekuasaan. Siapa yang diuntungkan dari suatu desain? Siapa yang dibujuk dan apakah mereka mengetahuinya?
The technologies we build should support reflective choice, not undermine it. As AI continues to shape how we think, feel and act, our ethical obligations grow sharper: to create systems that are transparent, that prioritize user dignity and that reinforce our capacity for independent judgment. We don’t just need innovation — we need wisdom.
Teknologi yang kita bangun harus mendukung pilihan yang reflektif, bukan merusaknya. Seiring AI terus membentuk cara kita berpikir, merasa, dan bertindak, kewajiban etis kita semakin tajam: untuk menciptakan sistem yang transparan, yang memprioritaskan martabat pengguna, dan yang memperkuat kapasitas kita untuk penilaian yang independen. Kita tidak hanya membutuhkan inovasi — kita membutuhkan kebijaksanaan.
Richard Lachman does not work for, consult, own shares in or receive funding from any company or organisation that would benefit from this article, and has disclosed no relevant affiliations beyond their academic appointment.
Richard Lachman tidak bekerja untuk, berkonsultasi, memiliki saham di, atau menerima dana dari perusahaan atau organisasi mana pun yang akan diuntungkan dari artikel ini, dan tidak mengungkapkan afiliasi yang relevan selain jabatan akademis mereka.
Read more
-
Biologi sintetis menjanjikan untuk menulis ulang kehidupan – dengan meninggalnya pelopornya, J. Craig Venter, seberapa dekat ilmuwan?
Synthetic biology promised to rewrite life – with the death of its pioneer, J. Craig Venter, how close are scientists?
-
Kekeringan dapat memperburuk resistensi antibiotik, kata para ilmuwan
Drought could be making antibiotic resistance worse, scientists say