Metrik Akurasi QC Inspection AI: False Reject, Escape, dan Cara Mengukurnya

Kenapa "Akurasi 99%" Sering Menyesatkan

Vendor sistem QC inspection berbasis AI hampir selalu menyebut satu angka: akurasi 99%. Di lantai produksi, angka tunggal itu nyaris tidak berarti. Kalau tingkat cacat lini Anda 1%, sistem yang meloloskan semua produk tanpa memeriksa apa pun juga "akurat 99%" — tapi nol manfaatnya, karena tidak satu pun cacat tertangkap.

Yang perlu diukur bukan seberapa sering sistem benar, melainkan jenis kesalahan yang dibuatnya — karena keduanya punya konsekuensi biaya yang sangat berbeda.

Empat Kemungkinan Hasil Setiap Inspeksi

Susunan empat kotak ini disebut confusion matrix, dan inilah laporan minimum yang wajib Anda minta dari vendor mana pun — bukan sekadar satu persentase.

Metrik yang Benar-Benar Dipakai di Pabrik

• Detection rate (recall) — persentase produk cacat yang berhasil ditolak.
• Precision — persentase penolakan yang memang benar cacat.
• False reject rate — persentase produk bagus yang ikut ditolak.
• Escape rate — persentase cacat yang lolos dari total produksi; ini angka yang ditanya pelanggan saat audit.

Ukur keempatnya per jenis cacat, bukan digabung. Model bisa saja sangat baik mendeteksi label miring tapi lemah pada goresan halus, dan rata-rata gabungan menyembunyikan kelemahan itu sampai terlambat.

Threshold: Tuas Antara Ketat dan Longgar

Model AI tidak menjawab "ya/tidak", melainkan mengeluarkan skor keyakinan 0–1. Threshold adalah batas yang menerjemahkan skor itu jadi keputusan OK atau NG:

• Threshold diturunkan → lebih banyak cacat tertangkap, tapi false reject ikut naik.
• Threshold dinaikkan → lebih sedikit produk bagus tertahan, tapi risiko escape membesar.

Tidak ada setelan yang sempurna, yang ada setelan yang sesuai biaya relatif. Di otomotif, farmasi, dan alat kesehatan, satu escape jauh lebih mahal daripada seratus false reject — pasang threshold ketat. Pada produk konsumsi bernilai rendah bervolume besar, justru false reject berlebihan yang menggerus margin. Kerangka hitungnya sama seperti pada biaya & ROI QC inspection AI.

Protokol Uji Sebelum Go-Live

1. Pakai set uji terpisah. Gambar untuk evaluasi tidak boleh pernah dipakai melatih model — kalau tercampur, angkanya pasti terlihat bagus dan pasti menipu. Cara memisahkannya sejak awal ada di panduan dataset dan anotasi.
2. Sertakan kasus borderline. Cacat mencolok mudah dideteksi siapa pun; nilai sistem ditentukan oleh cacat samar dan produk bagus yang tampak mencurigakan.
3. Jalankan shadow mode 1–2 minggu. Sistem menilai diam-diam sementara inspektur tetap memutuskan, lalu hasilnya dibandingkan — cara paling aman mengukur performa nyata tanpa mengganggu produksi.
4. Ukur ulang tiap ada perubahan. Ganti bahan, ganti lampu, atau geser kamera bisa menurunkan akurasi — pola penurunannya dibahas di drift model AI visual — jaga konsistensi pengambilan gambar seperti di panduan pencahayaan camera vision.

Angka yang Bisa Dipertanggungjawabkan

Sistem inspeksi yang baik bukan yang mengklaim angka tertinggi, melainkan yang transparan soal kesalahannya dan bisa disetel sesuai toleransi bisnis Anda. Simpan tiap hasil inspeksi beserta gambarnya agar metrik bisa dihitung ulang saat audit pelanggan — polanya sama dengan traceability pada integrasi AI inspection ke PLC, MES, dan ERP.

Nirmana VisionAI berjalan on-premise: riwayat inspeksi tersimpan di server pabrik sendiri, threshold diatur per model, dan pelatihan ulang dilakukan tanpa coding saat metrik bergeser. Lihat paket & edisi untuk mulai dari satu lini dulu.