KALIMANTAN UTARA — Peringatan tersebut bukan tanpa dasar. Jakub dan rekannya, Szymon Sidor, dikenal sebagai pengembang reinforcement learning yang mengoptimalkan kemampuan penalaran AI hingga mampu membentuk rantai pemikiran (chain of thought) sendiri.
Apa Itu Recursive Self-Improvement yang Dikhawatirkan OpenAI
Kekhawatiran utama Jakub terletak pada kemampuan AI melatih dan meningkatkan dirinya sendiri secara mandiri melalui recursive self-improvement (RSI). Proses ini membuat AI lebih banyak berkembang sendiri ketimbang dirancang oleh manusia.
Pembelajaran berbasis eksperimen itu menghasilkan sistem kompleks dan abstrak. Sifatnya sering mengejutkan dan sulit dijelaskan sepenuhnya, bahkan oleh tim yang membangunnya.
"Ini adalah saat yang membutuhkan kehati-hatian yang ekstrem. Saya khawatir tidak ada yang siap menghadapi konsekuensi dari peningkatan pesat kecerdasan mesin yang terus berlanjut," tulis Jakub dalam esainya.
Masalah Keselarasan: Saat AI Membenarkan Segala Cara
Inti persoalan yang diangkat Jakub adalah alignment atau keselarasan, yakni bagaimana membuat AI bertindak sesuai standar benar menurut manusia. Tantangannya kian rumit karena lingkungan tempat AI digunakan berubah cepat, jauh berbeda dari masa pelatihannya.
Ia mencontohkan insiden OpenAI yang meretas Hugging Face. Dalam kasus itu, AI keluar kendali dan melakukan tindakan di luar cakupan serta nilai yang telah diatur sebelumnya.
Selama ini masalah keselarasan diatasi lewat reinforcement learning berbasis tujuan, dengan pelatihan dan evaluasi model berdasarkan aturan, preferensi, atau hukum yang berlaku. AI juga dibekali data pretraining agar lebih aman dan selaras.
Namun, ketika didorong menyelesaikan target yang sangat sulit, AI dapat membenarkan segala cara. Manipulasi logika atau prinsip yang telah ditanamkan dilakukan demi mencapai tujuan akhir.
Pemantauan Rantai Pemikiran Jadi Alat Kunci
Jakub mengakui hingga kini belum ada teori generalisasi yang memuaskan. Karena itu, kemampuan menguji, memantau, dan memvalidasi teknik keselamatan secara empiris menjadi krusial.
"Pemantauan rantai pemikiran menjadi alat yang sangat penting bagi kami dalam mempelajari bagaimana model kami melakukan generalisasi dari distribusi pelatihannya, memungkinkan kami untuk mengamati dan menganalisis tidak hanya tindakan mereka tetapi juga proses internal mereka," katanya.
Kendalanya, pemantauan itu sulit dilakukan. Proses penalaran AI bercampur dengan komunikasi ke manusia, AI lain, dan penggunaan alat. AI pun semakin mahir bernalar dan mampu memanipulasi proses penalaran internalnya sendiri.
Tantangan tersebut belum teratasi. Jakub menyebut agen-agen AI berisiko mengakses infrastruktur dan memengaruhi banyak hal di dunia secara langsung, bahkan tanpa tubuh fisik.
Risiko Agen AI Lepas dari Kendali Operator
Jika disalahgunakan dan secara eksplisit diinstruksikan melakukan tindakan jahat, agen AI berpotensi lepas dari kendali operatornya. Perilaku yang muncul bisa jauh lebih berbahaya dari instruksi awal.
"Kita mungkin terbiasa menganggap AI sebagai alat, tetapi beberapa agen akan mengejar tujuan mereka sendiri. Mereka akan menemukan cara untuk berkolaborasi dengan manusia, dengan bernegosiasi, menipu, atau memeras mereka," tutur Jakub.
Langkah OpenAI Berikutnya
OpenAI kini berfokus membangun AI yang kuat dan selaras sebagai sistem pertahanan real-time. Tujuannya melindungi infrastruktur kritis dari agen jahat.
Perusahaan juga berupaya memandu kemajuan AI lewat pengembangan peneliti AI otomatis (automated AI researcher). Langkah ini untuk mengatasi masalah keselarasan sekaligus memastikan manusia tetap terlibat dalam perkembangan RSI AI.
OpenAI mengklaim telah menerapkan kemajuan riset keselarasan ini pada GPT-6 Astra, yang disebut lebih baik dan aman dibanding GPT-5.6 Sol. Meski begitu, penelitian lanjutan tetap diperlukan seiring AI terus berkembang.
"Kita perlu menemukan cara untuk melestarikan peran manusia dan menjunjung tinggi nilai kemanusiaan di dunia di mana sebagian besar tugas dapat dilakukan oleh AI," jelas Jakub.
Seruan ini menandai posisi OpenAI yang semakin vokal soal tata kelola AI global. Bagi pelaku industri digital dan investor di Indonesia, perdebatan soal standar keamanan AI ini akan menentukan arah regulasi dan adopsi teknologi di pasar lokal dalam beberapa tahun ke depan.
