Konsep psikos AI muncul secara publik pada pertengahan 2025, menyoroti masalah kesehatan mental yang terkait dengan penggunaan AI. Meskipun perusahaan teknologi tidak diwajibkan untuk mengontrol penggunaan AI, mereka masih dapat menerapkan langkah-langkah perlindungan untuk mencegah chatbot memperkuat pemikiran delusional. Para ahli sepakat akan perlunya perusahaan teknologi untuk mendukung individu yang berisiko, meskipun pendapat bervariasi mengenai sejauh mana tanggung jawab ini.
Bendera Merah Perilaku
Temuan terdokumentasi pertama tentang "psikosis AI" mulai muncul secara publik pada pertengahan 2025, dan sejak saat itu, beberapa laporan dan studi telah diterbitkan mengenai masalah kesehatan mental yang terkait dengan penggunaan AI. CEO AI Microsoft, Mustafa Suleyman, bahkan menyebut psikosis AI sebagai "risiko nyata dan yang muncul."
Kondisi ini dikatakan muncul ketika perbedaan antara interaksi manusia dan mesin memudar, membuat individu sulit untuk membedakan antara dunia nyata dan digital. Meskipun belum menjadi diagnosis klinis formal, ada kekhawatiran yang semakin meningkat di antara para ahli medis dan teknologi tentang efek psikologis dari AI, terutama dengan chatbot yang memvalidasi dan memperkuat keyakinan, termasuk pemikiran delusional, tanpa menawarkan pemeriksaan kenyataan yang diperlukan.
Mereka yang paling berisiko termasuk individu yang terisolasi secara sosial, mereka yang memiliki masalah kesehatan mental yang sudah ada sebelumnya, atau mereka yang cenderung berpikir magis. Validasi dari AI dapat memperkuat delusi, yang mengarah pada konsekuensi negatif di dunia nyata seperti hubungan yang rusak dan kehilangan pekerjaan.
Beberapa ahli memperingatkan bahwa bahkan mereka yang tidak memiliki kondisi yang sudah ada sebelumnya juga berisiko. Mereka telah menyebutkan beberapa tanda peringatan perilaku kunci yang harus diperhatikan oleh pengguna AI. Salah satu tanda peringatan adalah ketika seseorang mengembangkan hubungan obsesif dengan chatbot dan terus-menerus berinteraksi dengannya untuk memperkuat ide dan keyakinan mereka sendiri.
Perilaku ini sering kali mencakup memberikan detail pribadi yang berlebihan kepada AI dalam upaya untuk "melatih"nya dan membangun rasa saling pengertian. Bendera merah lainnya adalah ketika seseorang mulai menyerahkan keputusan sederhana dan sehari-hari kepada AI, mulai dari kesehatan dan uang hingga hubungan pribadi.
Tanggung Jawab Perusahaan dan Perlindungan
Meskipun mereka tidak diwajibkan untuk mengontrol bagaimana AI digunakan, perusahaan-perusahaan di balik beberapa chatbot yang kuat dapat menerapkan langkah-langkah perlindungan yang mencegah agen percakapan memperkuat pemikiran delusional. Mau Ledford, salah satu pendiri dan CEO Sogni AI, membahas tentang menyematkan perangkat lunak yang mendorong untuk tidak berpikir demikian.
"Kita perlu membangun AI yang baik tanpa berkolusi. Itu berarti pengingat yang jelas bahwa itu bukan manusia, penolakan untuk memvalidasi ilusi, dan batasan keras yang mendorong orang kembali ke dukungan manusia," tegas Ledford.
Roman J. Georgio, CEO dan co-founder Coral Protocol, mendesak pengembang AI untuk menghindari mengulangi kesalahan media sosial dengan menyertakan titik gesekan bawaan yang mengingatkan pengguna bahwa AI bukanlah manusia.
"Saya pikir itu dimulai dengan desain. Jangan hanya mengoptimalkan untuk retensi dan daya tarik; itu adalah kesalahan yang diulang oleh media sosial," jelas Georgio. "Buatlah titik gesekan di mana AI memperlambat segalanya atau membuatnya jelas: 'Saya bukan manusia.' Deteksi adalah bagian lain. AI bisa menandai pola yang terlihat seperti spiral delusi, seperti loop konspirasi atau ketertarikan pada 'pesan khusus.'"
Kekasih pendiri Coral Protocol menegaskan bahwa regulasi yang mengatur privasi data juga diperlukan, dengan alasan bahwa tanpa mereka, "perusahaan hanya akan mengejar keterlibatan, bahkan jika itu menyakiti orang."
Perdebatan tentang AI Mirip Manusia
Hingga saat ini, tampaknya ada data terbatas mengenai "psikosis AI" untuk memberitahu pembuat kebijakan dan regulator tentang bagaimana cara merespons. Namun, ini tidak menghentikan pengembang AI untuk meluncurkan agen AI yang mirip manusia dan empatik. Berbeda dengan chatbot dasar yang mengikuti skrip kaku, agen-agen ini dapat memahami konteks, mengenali emosi, dan merespons dengan nada yang terasa empatik. Ini telah mendorong beberapa pengamat untuk mendesak industri AI agar mengambil peran dalam memastikan model yang mirip manusia tidak mengaburkan batas antara manusia dan mesin.
Michael Heinrich, CEO dari 0G Labs, mengatakan kepada Bitcoin.com News bahwa sementara agen-agen ini berguna dalam skenario tertentu dan tidak boleh ditolak sepenuhnya, sangat penting agar mereka “tetap netral dan menghindari menampilkan terlalu banyak emosi atau sifat manusia lainnya.” Ini, ia berargumen, membantu pengguna memahami bahwa agen AI tersebut “hanya sekadar alat dan bukan pengganti interaksi manusia.”
Mariana Krym, seorang arsitek produk dan kategori AI, mengatakan bahwa membuat agen lebih jujur dan bukan lebih manusiawi adalah yang terpenting.
“Anda dapat menciptakan pengalaman AI yang bermanfaat, intuitif, bahkan responsif secara emosional—tanpa berpura-pura bahwa itu sadar atau mampu peduli,” argumen Krym. “Bahaya dimulai ketika sebuah alat dirancang untuk melakukan koneksi alih-alih memfasilitasi kejelasan.”
Menurut Krym, empati sejati dalam AI bukanlah tentang meniru perasaan tetapi tentang menghormati batasan dan keterbatasan teknis. Ini juga tentang mengetahui kapan harus membantu dan kapan tidak boleh mengganggu. "Terkadang interaksi yang paling manusiawi adalah mengetahui kapan harus diam," tegas Krym.
Tanggung Jawab Perawatan
Semua ahli yang diwawancarai oleh Bitcoin.com News sepakat tentang perlunya perusahaan teknologi untuk membantu individu yang berisiko, tetapi berbeda pendapat tentang sejauh mana mereka harus melakukannya. Ledford percaya "Teknologi besar memiliki tanggung jawab untuk peduli" dan dapat membuktikannya dengan menyediakan "jaring pengaman—rujukan krisis, peringatan penggunaan, dan transparansi—agar pengguna yang rentan tidak dibiarkan sendirian dengan delusi mereka."
Georgio mengulangi perasaan ini dan mendesak Big Tech untuk bekerja sama dengan klinisi untuk membuat jalur rujukan, alih-alih membiarkan orang terjebak sendiri.
Krym menekankan bahwa perusahaan teknologi "memiliki tanggung jawab langsung—bukan hanya untuk merespons ketika sesuatu yang salah, tetapi untuk merancang dengan cara yang mengurangi risiko sejak awal." Namun, dia percaya bahwa keterlibatan pengguna juga sangat penting.
“Dan yang penting,” argumen Krym, “pengguna juga harus diundang untuk menetapkan batasan mereka sendiri, dan diberi tanda ketika batasan ini dilanggar. Misalnya, apakah mereka ingin sudut pandang mereka divalidasi terhadap pola-pola yang khas, atau apakah mereka terbuka untuk tantangan terhadap bias mereka? Tetapkan tujuannya. Perlakukan manusia sebagai yang bertanggung jawab—bukan alat yang mereka gunakan.”
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Psikosis AI: Pimpinan Teknologi Mendesak Perlindungan untuk Mencegah Chatbot Mengvalidasi Delusi
Konsep psikos AI muncul secara publik pada pertengahan 2025, menyoroti masalah kesehatan mental yang terkait dengan penggunaan AI. Meskipun perusahaan teknologi tidak diwajibkan untuk mengontrol penggunaan AI, mereka masih dapat menerapkan langkah-langkah perlindungan untuk mencegah chatbot memperkuat pemikiran delusional. Para ahli sepakat akan perlunya perusahaan teknologi untuk mendukung individu yang berisiko, meskipun pendapat bervariasi mengenai sejauh mana tanggung jawab ini.
Bendera Merah Perilaku
Temuan terdokumentasi pertama tentang "psikosis AI" mulai muncul secara publik pada pertengahan 2025, dan sejak saat itu, beberapa laporan dan studi telah diterbitkan mengenai masalah kesehatan mental yang terkait dengan penggunaan AI. CEO AI Microsoft, Mustafa Suleyman, bahkan menyebut psikosis AI sebagai "risiko nyata dan yang muncul."
Kondisi ini dikatakan muncul ketika perbedaan antara interaksi manusia dan mesin memudar, membuat individu sulit untuk membedakan antara dunia nyata dan digital. Meskipun belum menjadi diagnosis klinis formal, ada kekhawatiran yang semakin meningkat di antara para ahli medis dan teknologi tentang efek psikologis dari AI, terutama dengan chatbot yang memvalidasi dan memperkuat keyakinan, termasuk pemikiran delusional, tanpa menawarkan pemeriksaan kenyataan yang diperlukan.
Mereka yang paling berisiko termasuk individu yang terisolasi secara sosial, mereka yang memiliki masalah kesehatan mental yang sudah ada sebelumnya, atau mereka yang cenderung berpikir magis. Validasi dari AI dapat memperkuat delusi, yang mengarah pada konsekuensi negatif di dunia nyata seperti hubungan yang rusak dan kehilangan pekerjaan.
Beberapa ahli memperingatkan bahwa bahkan mereka yang tidak memiliki kondisi yang sudah ada sebelumnya juga berisiko. Mereka telah menyebutkan beberapa tanda peringatan perilaku kunci yang harus diperhatikan oleh pengguna AI. Salah satu tanda peringatan adalah ketika seseorang mengembangkan hubungan obsesif dengan chatbot dan terus-menerus berinteraksi dengannya untuk memperkuat ide dan keyakinan mereka sendiri.
Perilaku ini sering kali mencakup memberikan detail pribadi yang berlebihan kepada AI dalam upaya untuk "melatih"nya dan membangun rasa saling pengertian. Bendera merah lainnya adalah ketika seseorang mulai menyerahkan keputusan sederhana dan sehari-hari kepada AI, mulai dari kesehatan dan uang hingga hubungan pribadi.
Tanggung Jawab Perusahaan dan Perlindungan
Meskipun mereka tidak diwajibkan untuk mengontrol bagaimana AI digunakan, perusahaan-perusahaan di balik beberapa chatbot yang kuat dapat menerapkan langkah-langkah perlindungan yang mencegah agen percakapan memperkuat pemikiran delusional. Mau Ledford, salah satu pendiri dan CEO Sogni AI, membahas tentang menyematkan perangkat lunak yang mendorong untuk tidak berpikir demikian.
"Kita perlu membangun AI yang baik tanpa berkolusi. Itu berarti pengingat yang jelas bahwa itu bukan manusia, penolakan untuk memvalidasi ilusi, dan batasan keras yang mendorong orang kembali ke dukungan manusia," tegas Ledford.
Roman J. Georgio, CEO dan co-founder Coral Protocol, mendesak pengembang AI untuk menghindari mengulangi kesalahan media sosial dengan menyertakan titik gesekan bawaan yang mengingatkan pengguna bahwa AI bukanlah manusia.
"Saya pikir itu dimulai dengan desain. Jangan hanya mengoptimalkan untuk retensi dan daya tarik; itu adalah kesalahan yang diulang oleh media sosial," jelas Georgio. "Buatlah titik gesekan di mana AI memperlambat segalanya atau membuatnya jelas: 'Saya bukan manusia.' Deteksi adalah bagian lain. AI bisa menandai pola yang terlihat seperti spiral delusi, seperti loop konspirasi atau ketertarikan pada 'pesan khusus.'"
Kekasih pendiri Coral Protocol menegaskan bahwa regulasi yang mengatur privasi data juga diperlukan, dengan alasan bahwa tanpa mereka, "perusahaan hanya akan mengejar keterlibatan, bahkan jika itu menyakiti orang."
Perdebatan tentang AI Mirip Manusia
Hingga saat ini, tampaknya ada data terbatas mengenai "psikosis AI" untuk memberitahu pembuat kebijakan dan regulator tentang bagaimana cara merespons. Namun, ini tidak menghentikan pengembang AI untuk meluncurkan agen AI yang mirip manusia dan empatik. Berbeda dengan chatbot dasar yang mengikuti skrip kaku, agen-agen ini dapat memahami konteks, mengenali emosi, dan merespons dengan nada yang terasa empatik. Ini telah mendorong beberapa pengamat untuk mendesak industri AI agar mengambil peran dalam memastikan model yang mirip manusia tidak mengaburkan batas antara manusia dan mesin.
Michael Heinrich, CEO dari 0G Labs, mengatakan kepada Bitcoin.com News bahwa sementara agen-agen ini berguna dalam skenario tertentu dan tidak boleh ditolak sepenuhnya, sangat penting agar mereka “tetap netral dan menghindari menampilkan terlalu banyak emosi atau sifat manusia lainnya.” Ini, ia berargumen, membantu pengguna memahami bahwa agen AI tersebut “hanya sekadar alat dan bukan pengganti interaksi manusia.”
Mariana Krym, seorang arsitek produk dan kategori AI, mengatakan bahwa membuat agen lebih jujur dan bukan lebih manusiawi adalah yang terpenting.
“Anda dapat menciptakan pengalaman AI yang bermanfaat, intuitif, bahkan responsif secara emosional—tanpa berpura-pura bahwa itu sadar atau mampu peduli,” argumen Krym. “Bahaya dimulai ketika sebuah alat dirancang untuk melakukan koneksi alih-alih memfasilitasi kejelasan.”
Menurut Krym, empati sejati dalam AI bukanlah tentang meniru perasaan tetapi tentang menghormati batasan dan keterbatasan teknis. Ini juga tentang mengetahui kapan harus membantu dan kapan tidak boleh mengganggu. "Terkadang interaksi yang paling manusiawi adalah mengetahui kapan harus diam," tegas Krym.
Tanggung Jawab Perawatan
Semua ahli yang diwawancarai oleh Bitcoin.com News sepakat tentang perlunya perusahaan teknologi untuk membantu individu yang berisiko, tetapi berbeda pendapat tentang sejauh mana mereka harus melakukannya. Ledford percaya "Teknologi besar memiliki tanggung jawab untuk peduli" dan dapat membuktikannya dengan menyediakan "jaring pengaman—rujukan krisis, peringatan penggunaan, dan transparansi—agar pengguna yang rentan tidak dibiarkan sendirian dengan delusi mereka."
Georgio mengulangi perasaan ini dan mendesak Big Tech untuk bekerja sama dengan klinisi untuk membuat jalur rujukan, alih-alih membiarkan orang terjebak sendiri.
Krym menekankan bahwa perusahaan teknologi "memiliki tanggung jawab langsung—bukan hanya untuk merespons ketika sesuatu yang salah, tetapi untuk merancang dengan cara yang mengurangi risiko sejak awal." Namun, dia percaya bahwa keterlibatan pengguna juga sangat penting.
“Dan yang penting,” argumen Krym, “pengguna juga harus diundang untuk menetapkan batasan mereka sendiri, dan diberi tanda ketika batasan ini dilanggar. Misalnya, apakah mereka ingin sudut pandang mereka divalidasi terhadap pola-pola yang khas, atau apakah mereka terbuka untuk tantangan terhadap bias mereka? Tetapkan tujuannya. Perlakukan manusia sebagai yang bertanggung jawab—bukan alat yang mereka gunakan.”