Apa isi jejak audit yang layak
Enam hal. Satu nomor tetap untuk setiap langkah, supaya bisa dirujuk nanti. Waktu langkah itu berjalan, dicatat saat itu juga, bukan diisi belakangan. Alat yang berjalan dan agen yang memanggilnya. Masukan yang persis dan hasil yang disimpan, dalam bentuk yang tetap. Ringkasan atas hasil yang disimpan yang bisa dihitung ulang siapa pun. Dan posisi langkah itu dalam urutan pekerjaan, supaya langkah yang hilang terlihat sebagai celah. Untuk satu pekerjaan utuh, jejak ini ditutup dalam satu catatan atas rangkaian langkah yang persis berurutan itu.
Cara mengaudit tindakan agen
Bekerjalah dari catatan yang ditinggalkan agen saat ia berjalan, bukan dari ringkasannya sesudahnya. Untuk setiap langkah, buka kuitansi langkah itu, periksa bahwa hasil yang tersimpan masih cocok dengan ringkasannya, dan bandingkan apa yang dikembalikan langkah itu dengan apa yang diasumsikan langkah berikutnya. Periksa posisinya untuk mencari celah, karena langkah yang tidak pernah berjalan muncul sebagai posisi yang hilang, bukan cerita yang mulus. Di Zambo, setiap panggilan alat menyimpan kuitansi itu saat berjalan, satu pekerjaan ditutup dalam satu catatan, dan setiap langkah bisa diperiksa ulang gratis.
Batas jujurnya
Jejak audit menunjukkan apa yang tercatat, berurutan, dan membuktikan catatan yang tersimpan tidak diubah sejak disimpan. Jejak ini tidak membuktikan tindakan itu bijak, jawabannya benar, atau ringkasan agennya adil. Yang berubah adalah perdebatannya: alih-alih kata Anda melawan kata mereka, kedua pihak melihat catatan yang sama, termasuk langkah yang salah, karena langkah yang gagal dan yang ditolak dicatat dengan cara yang sama seperti yang berhasil.
Biayanya
Memeriksa kuitansi selalu gratis dan tidak perlu akun. Menjalankan pekerjaan dengan catatan: 20 panggilan gratis setiap hari, lalu Day Pass $0,99 untuk 24 jam. Zambo Pass $29 untuk 30 hari, satu kali pembayaran, atau $290 untuk 365 hari, dan $19 untuk 30 hari bagi pemegang $ZAMBO. Mulai di zambo.dev/add.
Pertanyaan, dijawab
Apa itu jejak audit agen AI?
Jejak audit agen AI adalah catatan berurutan yang bisa dicek tentang apa yang dilakukan agen, apa yang dihasilkan, dan apakah catatan yang tersimpan masih cocok dengan yang disimpan. Setiap langkah pekerjaan disimpan sebagai kuitansi yang bisa diverifikasi saat langkah itu berjalan, berurutan, dan seluruh pekerjaan ditutup dalam satu catatan, jadi siapa pun yang memegang tautannya bisa memeriksa ulang langkah mana pun nanti, tanpa akun dan tanpa harus memercayai orang yang menjalankan agen itu.
Apa bedanya jejak audit dengan log?
Log mengatakan apa yang dicetak sistem. Log ditulis oleh sistem yang sedang diperiksa, sering diringkas atau ditulis belakangan, tinggal di dalam konsol operator, dan membacanya berarti memercayai pencatatnya. Jejak audit dibuat supaya bisa diperiksa orang lain nanti: setiap entri disimpan saat berjalan dengan masukan yang persis dan hasil yang disimpan, membawa ringkasan yang bisa dihitung ulang orang asing, dan tersimpan di tempat yang bisa dibuka pemeriksa. Log berkata percayalah pada sistemnya; jejak audit berkata periksalah sendiri catatannya.
Apakah jejak audit bisa membuktikan agen AI saya mengerjakan tugasnya dengan benar?
Tidak, dan jejak yang jujur tidak pernah mengklaim begitu. Jejak menunjukkan apa yang tercatat, berurutan, dan membuktikan catatan yang tersimpan tidak diubah sejak disimpan. Jejak tidak membuktikan tindakan itu bijak, jawabannya benar, atau ringkasan agennya adil. Yang berubah adalah perdebatannya: alih-alih kata Anda melawan kata mereka, kedua pihak melihat catatan yang sama, termasuk langkah yang salah.
Bagaimana cara mengaudit tindakan agen AI?
Bekerjalah dari catatan yang ditinggalkan agen saat ia berjalan, bukan dari ringkasannya sesudahnya. Untuk setiap langkah, buka kuitansi langkah itu yang bisa diverifikasi, periksa bahwa hasil yang tersimpan masih cocok dengan ringkasannya, dan bandingkan apa yang dikembalikan langkah itu dengan apa yang diasumsikan langkah berikutnya. Di Zambo, setiap panggilan alat menyimpan kuitansi itu saat berjalan, satu pekerjaan ditutup dalam satu catatan, dan setiap langkah bisa diperiksa ulang gratis di halaman pemeriksa publik.
Berapa lama jejak audit agen AI harus disimpan?
Setidaknya selama pekerjaan itu masih bisa disengketakan, dan lebih lama bila ada aturan yang menetapkan batas minimum. Untuk sistem AI berisiko tinggi di bawah Undang-Undang AI Uni Eropa, Pasal 19 meminta penyedia menyimpan log yang dihasilkan otomatis yang berada dalam kendali mereka setidaknya enam bulan, dan Pasal 26 ayat 6 menetapkan batas minimum yang sama untuk pengguna. Kuitansi adalah catatan teks yang kecil, jadi menyimpan jejak selama bertahun-tahun biayanya kecil. Hari yang mahal adalah hari ketika jejak itu dibutuhkan dan ternyata tidak ada.