Inisiatif ini adalah upaya terbaru untuk mengatasi masalah keamanan di tengah meningkatnya jumlah tuntutan hukum yang menuduh perusahaan AI gagal menghentikan, dan bahkan memungkinkan, kekerasan.
Selandia Baru, Suarathailand- Perusahaan Selandia Baru membantu platform AI dengan dukungan deradikalisasi ketika tanda-tanda masalah muncul
Orang-orang yang menunjukkan kecenderungan ekstremis kekerasan di ChatGPT akan diarahkan ke dukungan deradikalisasi berbasis manusia dan chatbot melalui alat baru yang sedang dikembangkan di Selandia Baru, kata orang-orang di baliknya.
Inisiatif ini adalah upaya terbaru untuk mengatasi masalah keamanan di tengah meningkatnya jumlah tuntutan hukum yang menuduh perusahaan AI gagal menghentikan, dan bahkan memungkinkan, kekerasan.
OpenAI diancam dengan intervensi oleh pemerintah Kanada pada bulan Februari setelah mengungkapkan seseorang yang melakukan penembakan sekolah yang mematikan telah diblokir oleh platform tersebut tanpa memberi tahu pihak berwenang.
ThroughLine, sebuah perusahaan rintisan yang beberapa tahun terakhir dipekerjakan oleh pemilik ChatGPT, OpenAI, serta para pesaingnya, Anthropic dan Google, untuk mengarahkan pengguna ke dukungan krisis ketika mereka ditandai sebagai berisiko melakukan tindakan menyakiti diri sendiri, kekerasan dalam rumah tangga, atau gangguan makan, juga sedang menjajaki cara untuk memperluas penawarannya agar mencakup pencegahan ekstremisme kekerasan, kata pendirinya Elliot Taylor.
Perusahaan tersebut sedang berdiskusi dengan The Christchurch Call, sebuah inisiatif untuk memberantas kebencian daring yang dibentuk setelah serangan teroris terburuk di Selandia Baru pada tahun 2019. Hal ini akan melibatkan kelompok anti-ekstremisme tersebut memberikan panduan sementara ThroughLine mengembangkan chatbot intervensi, kata mantan pekerja sosial muda tersebut.
“Ini adalah sesuatu yang ingin kami tuju dan lakukan pekerjaan yang lebih baik dalam menanganinya, dan kemudian untuk dapat mendukung platform dengan lebih baik,” kata Taylor dalam sebuah wawancara, menambahkan bahwa belum ada jangka waktu yang ditetapkan.
OpenAI mengkonfirmasi hubungan dengan ThroughLine tetapi menolak untuk berkomentar lebih lanjut. Anthropic dan Google tidak segera menanggapi permintaan komentar.
Perusahaan Taylor, yang ia kelola dari rumahnya di pedesaan Selandia Baru, telah menjadi pilihan utama bagi perusahaan AI dengan menawarkan jaringan 1.600 layanan bantuan yang terus dipantau di 180 negara.
Setelah AI mendeteksi tanda-tanda potensi krisis kesehatan mental, ia mengarahkan pengguna ke ThroughLine, yang mencocokkan mereka dengan layanan yang dikelola manusia di dekatnya.
Namun, ruang lingkup ThroughLine terbatas pada kategori tertentu, kata pendirinya. Luasnya masalah kesehatan mental yang diungkapkan orang secara online telah meningkat pesat seiring dengan popularitas chatbot AI, dan sekarang termasuk keterlibatan dengan ekstremisme, tambahnya.
Lebih Banyak Chatbot, Lebih Banyak Masalah
Alat anti-ekstremisme kemungkinan akan berupa model hibrida yang menggabungkan chatbot yang dilatih untuk merespons orang-orang yang menunjukkan tanda-tanda ekstremisme dan rujukan ke layanan kesehatan mental di dunia nyata, kata Taylor.
“Kami tidak menggunakan data pelatihan dari LLM dasar,” katanya, merujuk pada kumpulan data generik yang digunakan platform model bahasa besar untuk membentuk teks yang koheren. “Kami bekerja sama dengan para ahli yang tepat.” Teknologi ini saat ini sedang diuji, tetapi belum ada tanggal rilis yang ditetapkan.
Galen Lamphere-Englund, seorang penasihat kontra-terorisme yang mewakili The Christchurch Call, mengatakan dia berharap untuk meluncurkan produk ini untuk moderator forum game dan untuk orang tua dan pengasuh yang ingin memberantas ekstremisme daring.
Alat pengalihan chatbot adalah “ide yang bagus dan perlu karena menyadari bahwa masalahnya bukan hanya konten, tetapi juga dinamika hubungan,” kata Henry Fraser, seorang peneliti AI di Queensland University of Technology.
Keberhasilan produk ini mungkin bergantung pada pertanyaan tentang “seberapa baik mekanisme tindak lanjut dan seberapa baik struktur dan hubungan yang mengarahkan orang untuk mengatasi masalah tersebut,” katanya.
Taylor mengatakan fitur tindak lanjut, termasuk kemungkinan peringatan kepada pihak berwenang tentang pengguna berbahaya, masih perlu ditentukan tetapi akan mempertimbangkan risiko memicu perilaku yang lebih buruk.
Ia mengatakan orang yang sedang dalam kesulitan cenderung berbagi hal-hal secara online yang terlalu memalukan untuk mereka katakan kepada seseorang, dan pemerintah berisiko memperburuk bahaya jika mereka menekan platform untuk memutus akses pengguna yang terlibat dalam percakapan sensitif.
Peningkatan moderasi yang terkait dengan militansi oleh platform-platform di bawah tekanan penegak hukum telah menyebabkan para simpatisan beralih ke alternatif yang kurang diatur seperti Telegram, menurut sebuah studi tahun 2025 oleh Stern Center for Business and Human Rights di New York University.
“Jika Anda berbicara dengan AI dan mengungkapkan krisis tersebut dan AI tersebut menghentikan percakapan, tidak ada yang tahu bahwa itu terjadi, dan orang tersebut mungkin masih tanpa dukungan,” kata Taylor. Bangkok Post
