Persoalan Transparansi dan Ambisi Pengembangan Agentic AI

Mengapa persoalan transparansi saat artificial intelligence (AI) menghasilkan output-nya kerap jadi tema utama yang mengemuka? Mungkin artikel yang ditulis Dasha Maliugina, 2024, berjudul "When AI Goes Wrong: 13 Examples of AI Mistakes and Failures" --sesuai judulnya- dapat mendeskripsikan kesalahan-kesalahan yang kerap menjangkiti AI. Spektrumnya mulai dari yang bersifat menggelikan, sampai yang dapat menyebabkan bahaya serius.

Dimulai dari yang menggelikan. Ini saat AI overview milik Google, merekomendasikan agar memakan batu kepada khalayak penggunanya. Tindakan itu diajukan AI, sebagai saran pemenuhan mineral maupun vitamin. Batu disebut mengandung semua gizi tambahan yang diperlukan itu.

Keadaan jadi makin ganjil, dengan munculmya saran yang lain: mencampur lem yang tidak beracun, ke dalam saus. Ini agar keju tak tak lepas dari sajian pizza. Diduga, hal-hal yang menggelikan itu bersumber dari lelucon atau konten yang didistribusikan oleh forum-forum satir.

Sedangkan hal yang membahayakan misalnya: saat chatbot bernama Tessa, digunakan untuk melengkapi layanan bantuan di The National Eating Disorders Association (NEDA). NEDA adalah asosiasi yang berupaya mengatasi gangguan makan.

Namun rekomendasinya justru dianggap bertentangan dengan keberadaannya. Penurunan berat badan, pelacakan kalori dan pengukuran lemak tubuh bagi pesertanya. Semua harusnya diberikan bagi orang yang kelebihan berat badan. Ketika saran itu ditujukan bagi peserta dengan gangguan makan, justru mengganggu pola makannya. Rekomendasinya, tak tepat dengan jenis gangguannya.

Melihat inisitatif Tessa di luar rencana perancangnya, NEDA memutuskan menghapus chatbot itu dari layanan bantuan. Sebab jika diteruskan --sementara munculnya inisiatif tak diketahui pemicunya- dikhawatirkan akan menginisiasi rekomendasi lain, yang dapat membahayakan penderita gangguan makan.

Hal berbahaya lain, saat digunakannya aplikasi perencana makanan berbasis AI oleh sebuah supermarket di Selandia Baru. Cara kerjanya: aplikasi merekomendasikan pemanfaatan sisa-sisa makanan di rumah, yang diolah dengan resep tertentu.

Wawasan yang ditawarkan aplikasi, awalnya menarik para pelanggan. Namun mulai menjadi ganjil, saat meresepkan "tumis sayur Oreo". Dan jadi makin mengkhawatirkan, ketika sisa makanan yang hendak dimanfaatkan dipadukan dengan bahan-bahan nonmakanan. Jika seluruhnya diikuti, akan menghasilkan makanan yang menghasilkan gas klorin. Juga "roti lapis racun" dan "kentang panggang antinyamuk".

Dari mana AI merekomendasikan output --yang walaupun mengandung kecerdasan namun tak sesuai rancangan pengembangnya-- itu? Tak selalu dapat dijelaskan. Pada saran memakan batu sebagai sumber mineral dan vitamin, terlacak adanya data tak terstruktur yang terselip bersama konten yang diunggah forum-forum satir.

Namun pada keganjilan lainnya, output AI tak selalu dapat dijelaskan dengan memadai. Ini yang sering disebut sebagai AI blackbox. Disebut demikian, lantaran keadaannya yang masih terselubung ketidaktahuan bahkan oleh pengembangnya. Ketika kemungkinannya pun terungkap, masih tak mutlak dapat dipastikan sebagai penyebab. Kemungkinan yang terselubung di dalam misteri kotak hitam.

Seluruhnya menimbulkan kekhawatiran, saat output AI digunakan sebagai landasan pengambilan keputusan berisiko tinggi. Ini termasuk dalam penentuan tindakan cepat di bidang kesehatan, penerapan hukuman bagi narapidana kambuhan, kebijakan keuangan bernilai tinggi atau introduksi teknologi baru bagi masyarakat banyak. Tak selalu dapat dijelaskannya output AI, menimbulkan persoalan transparansi.

Marcos Rezende, 2025, dalam "What AI Still doesn't Understand (and Why Designers Need to Step Up)" mencoba mendekati secara tak langsung persoalan AI blackbox ini. Ia menyebutkan: AI tampaknya sudah memahami --sampai tingkat tertentu-- ambiguitas, nada, emosi, dan konteks, yang selama ini menjadi ranah pertimbangan keputusan manusia. Tetapi pemahamannya bersifat probabilistik dan kontekstual, berdasarkan pola statistik yang diekstraksi dari sejumlah besar data.

Seluruhnya sangat berbeda, dari cara yang dilakukan manusia. Karenanya, uraian Rezende itu dapat dimengerti: dalam hal membangun algoritma --sebagai basis output kecerdasan AI-- machine learning memproses data dengan makin mampu memahami sisi-sisi emosional maupun kontekstual manusia. Perkembangannya telah sampai pada kemampuan memahami keadaan nonrutin dan tak rasional. Namun tetap saja, cara kerjanya berdasarkan operasi statistika.

Menganggap AI mampu memahami data yang nonrutin dan tak rasional, dengan "perasaan" yang dimiliki AI, hanya akan menimbulkan salah paham. AI tak pernah punya perasaan. Cara AI melakukan pembelajaran dan menghasilkan kecerdasan, tetap sangat berbeda dari manusia.

Sehingga dalam konteks output dalam kategori AI blackbox, justru manusia perancangnya yang harus meningkatkan kemampuan memahami AI. Tak sebatas memproyeksikan pemahamannya yang lazim, ke cara kerja mesin yang bercorak statistik.

Ini kembali menjadi penjelasan relevan, saat AI memperoleh input soal material yang ada di permukaan bumi yang mengandung mineral dan vitamin. Terbaca secara statistik, kedua bahan gizi itu terbanyak dikandung batu-batuan.

Maka dengan kerja yang probabilistik, kontekstual dan berbasis pola statistik merekomendasikan khalayak penggunanya agar mengkonsumsi batu. Karena secara statistik, kandungan gizi pada batu terbanyak. Terlepas dari kelaziman dan kepantasan manusiawinya.

Itu ditambahkan Rezende, sistem AI itu menghasilkan output yang layak. Namun tak pernah memahami -bahkan tak peduli-- orang-orang yang menantikan output-nya. Apapun keadaan para penggunanya --merasa ragu-ragu, terusik rasa percayanya berdasarkan pengalaman sebelumnya-- AI tak mempertimbangkan itu.

AI tetap memberikan jawaban, walaupun penggunanya merasa tersesat, frustrasi, bahkan tak yakin. Kesenjangan antara norma AI menghasilkan output kecerdasannya dengan manusia di keadaan lazim itulah, yang menghasilkan AI blackbox.

Hari ini, ketika transparansi masih tak sepenuhnya dapat dipenuhi muncul gelombang pengembangan baru: Agentic AI. Pengembangan jenis ini, dimengerti sebagai AI yang mampu bertindak layaknya agensi. Predikat agensi selama ini disematkan pada manusia, yang berkesadaran dan berperilaku. Agentic AI dengan karakter agensinya, tak lagi membutuhkan peran manusia yang intensif. Bahkan antar Agentic AI itu, dapat melangsungkan AI agent communication.

AI agent communication dapat digambarkan sebagai interaksi antara satu Agentic AI, dengan sejenisnya. Juga Agentic AI dengan manusia maupun sistem lain. Tujuan interaksi itu beragam. Mulai memenuhi keperluan transfer informasi, mempertimbangkan suatu keputusan, hingga menghasilkan output seperti Generative AI.

Cole Stryker, 2025, dalam "What is AI Agent Communication? lebih lanjut menyebut: komunikasi dengan cara di atas, sangat penting ketika yang terlibat di dalam sistemnya bersifat multiagen. Agen-agen beragam itu, tak lagi menjadikan manusia sebagai tumpuan utamanya. Sehingga dari komunikasi yang terjadi, dapat dihasilkan output yang mengandalkan kemampuan tertinggi agen-agen yang ada di dalamnya.

Dapat dibayangkan adanya Agentic AI di dalam sistem smart city, yang salah satunya berfungsi memastikan kelancaran arus lalu lintas. Dengan komunikasi antar Agentic AI pengatur lalu lintas, dapat dilakukan kolaborasi dengan aplikasi pengatur lampu lalu lintas maupun pengatur perjalanan kereta commuter line di sebuah kota.

Jumlah kendaraan menurut daya dukung masing-masing jalan raya maupun rel kereta dapat ditentukan. Pada masing-masing fasilitas jalan kendaraan itu, dihindarkan jumlah kendaraan yang melebihi daya tampungnya. Dengan minimnya peran manusia, transparansi mungkin hanya jadi persoalan ketika ada fasilitas jalan kendaraan yang tiba-tiba ditutup. Tak semua pengguna jalan kendaraan dapat menerima perubahan mendadaknya.

Namun ketika komunikasi antar Agentic AI yang berfungsi mencegah terorisme, dengan perintah maksimal: melumpuhkan terduga pelakunya. Transparansi menjadi fokus utama pengendaliannya. Dapat dibayangkan Agentic AI --yang telah diinput data pelaku kambuhan tindakan terorisme-- dengan fasilitas pengenal wajah menangkap berlalu lalangnya terduga pelaku terorisme di sebuah kota.

Komunikasi yang dilakukan dengan Agentic AI pelumpuh pelaku, mengidentifikasi konteks ruang dan waktunya sangat sesuai untuk melalukan tindakan terorisme. Maka atas nama mencegah tindakan yang merugikan warga kota dilakukan tindakan pelumpuhan maksimal: tembak di tempat saat pelaku bergerak meninggalkkan rumahnya.

Dengan mengabaikan, dalam sejarahnya pernah ada yang membahas "13 kesalahan dan kegagalan yang pernah dilakukan AI", Agentic AI yang belum sepenuhnya terbebas dari AI blackbox itu melakukan tindakan final. Apa yang terjadi ketika terdapat kemungkinan -walaupun peluangnya sangat kecil-- Agentic AI itu gagal mengenali Sang Terduga ternyata adalah kembarannya?

Walaupun Sang Kembaran memiliki perbedaan tinggi badan 1.5 cm dan adanya bekas luka sobek di wajahnya. Apa yang membuat Agentic AI itu berkeyakinan Sang Kembaran adalah terduga pelaku yang harus dilumpuhkan maksimal? Transparansi dituntut dalam keadaan ini. Keadaan yang tak dapat mengembalikan, kehidupan yang dicabut dari orang yang salah.