AI Semakin Bisa Bertindak, Bukan Hanya Menjawab: Batas Otoritas Apa yang Harus Dibuat Perusahaan?

Selama beberapa tahun terakhir, penggunaan AI di perusahaan relatif mudah dipahami.

Seorang karyawan meminta AI merangkum dokumen.

AI memberi jawaban.

Manusia membaca.

Manusia mengambil keputusan.

Batas tanggung jawabnya cukup jelas.

Namun generasi sistem berikutnya mulai mengubah pola itu.

AI dapat diberi akses ke aplikasi, database, email, workflow, sistem tiket, procurement, CRM, atau tools lain. Ia tidak hanya menjawab pertanyaan, tetapi dapat mengambil langkah berikutnya.

Membuat draft.

Mencari data.

Mengubah status.

Mengirim permintaan.

Memicu workflow.

Membuka tiket.

Menghubungkan beberapa sistem.

Dalam konteks tertentu, bahkan menjalankan aksi tanpa menunggu manusia menekan tombol berikutnya.

Di sinilah diskusi tentang AI berubah dari sekadar produktivitas menjadi delegasi kewenangan.

Agentic AI mengubah pertanyaan governance

Istilah agentic AI digunakan untuk menggambarkan sistem AI yang dapat merencanakan dan melakukan serangkaian tindakan untuk mencapai tujuan tertentu dengan tingkat otonomi tertentu.

Masalahnya bukan bahwa sistem seperti ini selalu berbahaya.

Masalahnya adalah kemampuan bertindak menciptakan kategori risiko yang berbeda dari kemampuan menjawab.

Sebuah chatbot yang salah memberi ringkasan dapat dikoreksi.

Tetapi AI yang salah mengirim refund, mengubah data pelanggan, memesan barang, menghapus file, mengaktifkan akun, atau mengirim komunikasi kepada ribuan orang dapat menghasilkan konsekuensi operasional yang lebih langsung.

Kerangka NIST AI Risk Management Framework menempatkan governance, measurement, monitoring, dan risk management sebagai bagian penting dari pengelolaan sistem AI.[1] NIST juga memperbarui profil Generative AI pada 2026 untuk membantu organisasi mengidentifikasi dan mengelola risiko khusus sistem AI generatif.[2]

Indonesia sebenarnya sudah memiliki prinsip dasar

Indonesia belum memulai diskusi ini dari nol.

Surat Edaran Menteri Komunikasi dan Informatika Nomor 9 Tahun 2023 tentang Etika Kecerdasan Artifisial sudah menekankan nilai seperti keamanan, transparansi, kredibilitas, akuntabilitas, perlindungan data, kemanusiaan, dan pengawasan penggunaan AI.[3]

Dokumen tersebut juga menegaskan bahwa AI seharusnya menjadi pendukung aktivitas manusia dan bahwa penyelenggara harus melakukan pengawasan untuk mencegah penyalahgunaan.[3]

Pada Juli 2026, Komdigi mengatakan pemerintah sedang menyiapkan Peraturan Presiden tentang AI sebagai langkah awal menuju kerangka hukum AI yang lebih komprehensif.[4]

Artinya, perusahaan sebaiknya tidak menunggu regulasi final untuk mulai membangun kontrol internal.

Karena teknologi dapat bergerak lebih cepat daripada regulasi.

Pertanyaan pertama: AI boleh melihat apa?

Sebelum bertanya apa yang boleh dilakukan AI, perusahaan harus bertanya:

data apa yang boleh diakses?

Sistem AI dapat menjadi sangat berguna karena bisa menghubungkan berbagai sumber.

Tetapi akses yang terlalu luas menciptakan risiko.

AI customer-service mungkin membutuhkan riwayat transaksi pelanggan.

Ia belum tentu membutuhkan akses penuh ke seluruh database finance.

AI procurement mungkin perlu melihat katalog vendor.

Ia belum tentu perlu melihat payroll karyawan.

Prinsip keamanan yang relevan adalah least privilege: sistem hanya mendapatkan akses minimum yang diperlukan untuk menjalankan tugasnya.

Praktik keamanan agentic AI terbaru juga menempatkan identity, delegated credentials, per-tool permissions, dan least-privilege access sebagai kontrol inti.[5]

Pertanyaan kedua: AI boleh melakukan apa?

Membaca data dan mengubah data adalah dua hal berbeda.

Contoh sederhana:

AI boleh membaca status invoice.

Tetapi apakah boleh menyetujui pembayaran?

AI boleh membuat rekomendasi diskon.

Tetapi apakah boleh mengubah harga?

AI boleh mendeteksi pelanggan tidak aktif.

Tetapi apakah boleh otomatis mengirim voucher?

AI boleh menyiapkan kontrak.

Tetapi apakah boleh mengirimkannya ke pihak luar?

Setiap kemampuan perlu dikelompokkan berdasarkan impact level.

Gunakan tiga level kewenangan

Perusahaan tidak perlu memulai dengan kerangka rumit.

Gunakan tiga tingkat.

Level 1 — Read and Recommend

AI boleh:

• membaca data yang diizinkan;

• menganalisis;

• merangkum;

• membuat rekomendasi;

• menyiapkan draft.

Tidak ada tindakan eksternal otomatis.

Ini cocok untuk use case awal dan risiko rendah.

Level 2 — Act with Approval

AI dapat menyiapkan tindakan, tetapi manusia harus menyetujui sebelum eksekusi.

Misalnya:

• membuat purchase order;

• mengirim email pelanggan;

• mengubah harga;

• memberikan refund;

• mengubah status klaim;

• mengaktifkan campaign.

Ini cocok untuk tindakan yang memiliki dampak finansial, pelanggan, legal, atau reputasi.

Level 3 — Autonomous within Boundaries

AI boleh bertindak otomatis, tetapi hanya dalam batas tertentu.

Contohnya:

• menjadwalkan ulang task internal;

• mengklasifikasikan tiket;

• mengirim reminder internal;

• memperbarui field non-sensitif;

• melakukan tindakan berulang yang reversibel.

Batas nominal, waktu, scope, dan jenis aksi harus jelas.

Human-in-the-loop bukan berarti manusia menyetujui semuanya

Jika setiap tindakan kecil memerlukan approval, otomatisasi kehilangan manfaat.

Sebaliknya, jika semuanya otomatis, perusahaan kehilangan kontrol.

Solusinya adalah approval threshold.

Contoh:

Refund di bawah Rp100.000 dapat otomatis jika memenuhi rule tertentu.

Di atas itu membutuhkan approval supervisor.

Perubahan data internal dapat berjalan otomatis.

Penghapusan data permanen membutuhkan approval.

Email internal bisa otomatis.

Komunikasi publik membutuhkan review.

Nominal di atas angka tertentu membutuhkan manusia.

Ini bukan standar universal. Setiap perusahaan harus menetapkan threshold berdasarkan risiko.

Audit log harus menjadi fitur, bukan tambahan

Ketika AI mulai melakukan tindakan, perusahaan harus dapat menjawab:

• siapa memberi instruksi;

• AI melakukan apa;

• data apa yang digunakan;

• tool apa yang dipanggil;

• kapan tindakan terjadi;

• siapa menyetujui;

• apa hasilnya.

Praktik agentic AI governance terbaru menempatkan action audit logging, monitoring, authorization, dan accountability sebagai kontrol utama.[5][6]

Tanpa log, kesalahan menjadi sulit direkonstruksi.

Dan jika sebuah keputusan tidak dapat direkonstruksi, governance menjadi lemah.

AI juga membutuhkan tombol “berhenti”

Sistem otomatis perlu memiliki kemampuan untuk dicabut.

Credential dapat direvoke.

Permission diturunkan.

Workflow dihentikan.

Token dinonaktifkan.

Aksi dibatalkan bila masih reversible.

Least-privilege guidance modern untuk AI agents juga menekankan pentingnya logging dan revocation agar organisasi dapat merespons jika scope atau perilaku agent berubah.[7]

Ini penting karena AI tidak harus “jahat” untuk menciptakan masalah.

Cukup salah memahami instruksi.

Atau mendapatkan data yang salah.

Atau berinteraksi dengan sistem yang berubah.

Risiko terbesar bisa datang dari agent yang tidak diketahui

Salah satu risiko baru adalah shadow agents.

Tim membuat automation sendiri.

Developer menghubungkan model ke tool.

SaaS menambahkan fitur AI otomatis.

Sebuah workflow kecil tumbuh menjadi sistem yang memiliki akses luas.

Survei Cloud Security Alliance pada 2026 menemukan 82% responden perusahaan pernah menemukan AI agent yang sebelumnya tidak mereka ketahui di lingkungan organisasi dalam 12 bulan terakhir.[8]

Survei yang sama menunjukkan authorization manusia dan tingkat risiko tindakan menjadi sinyal penting dalam governance agent.[8]

Angka tersebut berasal dari survei organisasi, bukan gambaran seluruh perusahaan global.

Tetapi pesannya relevan:

inventory agent sama pentingnya dengan inventory software.

Perusahaan perlu tahu AI apa yang berjalan, siapa pemiliknya, dan akses apa yang dimilikinya.

Jangan memberi AI satu identitas bersama

Sistem agentic yang matang sebaiknya memiliki identitas yang dapat dibedakan.

Agent procurement berbeda dari agent customer service.

Agent finance berbeda dari agent HR.

Jika semuanya menggunakan credential bersama, auditability menjadi buruk.

Jika satu credential bocor, dampaknya lebih luas.

Treat agents like users: beri identitas, role, permission, lifecycle, dan owner.

Tentukan tindakan yang tidak boleh otomatis

Setiap perusahaan sebaiknya memiliki never-autonomous list.

Contohnya dapat mencakup:

• keputusan pemecatan;

• approval pembayaran besar;

• perubahan kontrak material;

• komunikasi publik sensitif;

• keputusan kredit tertentu;

• penghapusan data permanen;

• perubahan access-control;

• tindakan yang berdampak hukum atau keselamatan.

Surat Edaran AI Indonesia sendiri menekankan pendekatan yang human-centered dan perlunya menjaga agar AI tidak menjadi penentu kebijakan atau keputusan yang menyangkut kemanusiaan.[3]

Governance bukan tugas IT saja

Agentic AI menyentuh banyak fungsi.

IT mengelola sistem.

Security mengelola permission.

Legal melihat liability.

Compliance melihat regulatory exposure.

Operations melihat workflow.

Finance melihat financial authority.

HR melihat employee impact.

Business owner melihat value.

Karena itu, keputusan tentang batas AI tidak bisa sepenuhnya didelegasikan kepada developer.

Ia adalah keputusan organisasi.

Mulailah dari satu matriks sederhana

Perusahaan dapat membuat tabel:

Matriks sederhana ini memaksa organisasi berpikir tentang kewenangan sebelum deployment.

Kecepatan bukan satu-satunya ukuran AI yang bagus

Agentic AI menarik karena bisa mempercepat pekerjaan.

Tetapi perusahaan tidak seharusnya mengukur keberhasilannya hanya dari task completed.

Ukuran yang lebih sehat meliputi:

• error rate;

• override rate;

• unauthorized action attempts;

• approval frequency;

• rollback;

• incident;

• waktu yang benar-benar dihemat;

• kualitas hasil.

AI yang menyelesaikan banyak tugas tetapi membutuhkan banyak koreksi belum tentu produktif.

Sebelum AI diberi lebih banyak kebebasan

Pertanyaan perusahaan bukan lagi:

“Bisakah AI melakukan pekerjaan ini?”

Pertanyaannya menjadi:

“Jika AI melakukan pekerjaan ini tanpa manusia, apa konsekuensi terburuknya?”

Jika jawabannya kecil dan reversible, automation lebih mudah diberikan.

Jika dampaknya finansial, legal, reputasi, keamanan, atau manusia, approval dan kontrol harus lebih kuat.

Agentic AI dapat memberikan produktivitas besar.

Tetapi nilai sebenarnya tidak datang dari AI yang diberi kebebasan tanpa batas.

Ia datang dari sistem yang mampu bertindak dalam batas kewenangan yang memang sengaja dirancang.