Akurasi klasifikasi adalah pembagian dari jumlah prediksi benar terhadap jumlah total prediksi. Akurasi bisa saja “menyesatkan”, dalam kasus dimana ketidakseimbangan kelas yang besar (large class imbalance). Model klasifikasi dapat memprediksi nilai pada kelas terbesar untuk semua prediksi dan bisa memberikan nilai akurasi yang tinggi dan tentu saja model yang dihasilkan dapat memprediksikan nilai yang salah, sehingga perlu metrik evaluasi lain yang dapat mengukur performa model klasifikasi yang kita buat. Metrik yang dimaksudkan adalah Precision, Recall dan Confusion Matrix. Sebenarnya ada metrik lainya yang dapat digunakan, nampun 3 jenis metrik ini sudah cukup untuk langkah awal.

Binary Classification Problem

Dalam kasus binary classification seperti contoh prediksi kredit macet pinjaman bank, kita akan dihadapkan pada hasil prediksi berupa True Positive (TF), True Negative (TN), False Positive (FP), False Negative (FN).

Contoh kasus : Prediksi pasien hamil atau tidak.

• True positives: model memprediksikan pasien hamil dan kenyataanya memang pasien hamil

• False positives: model memprediksikan pasien hamil dan kenyataanya pasien tidak hamil

• True negatives: model memprediksikan pasien tidak hamil dan kenyataanya pasien tidak hamil

• False negatives: model memprediksikan pasien tidak hamil dan kenyataanya pasien hamil
  
  

Confusion Matrix

Nah setelah familiar dengan TP, FP, TN, FN, selanjutnya akan lebih mudah dalam memahami confusion matrix.   

Confusion Matrix merepresentasikan prediksi dan kondisi sebenarnya(aktual) dari data yang dihasilkan oleh algoritma ML. Berdasarkan Confusion Matrix, kita bisa menentukan Precision dan Recall.

Recall

Recall dapat didefinisikan sebagai rasio dari jumlah total contoh positif yang diklasifikasikan bernilai benar dibagi dengan jumlah total contoh positif. High Recall menunjukkan kelas dikenali dengan baik (FN rendah).

Precision

Precision merupakan pembagian dari jumlah total contoh positif yang diklasifikasikan bernilai benar dengan jumlah total contoh positif yang diprediksi. High Precision menunjukkan contoh berlabel positif memang positif (FP rendah).

Referensi

• JWGP-intro-to-ml-chap9-secured.pdf (wiragotama.github.io)
• #3 Machine Learning Evaluation. Precision, Recall dan Confusion Matrix | by Muhammad Yunus | Medium
• Workflow of a Machine Learning project | by Ayush Pant | Towards Data Science
• Idiot’s Guide to Precision, Recall and Confusion Matrix | HackerNoon
• Beyond Accuracy: Precision and Recall | by Will Koehrsen | Towards Data Science
• machine learning - Why is accuracy not the best measure for assessing classification models? - Cross Validated (stackexchange.com)
• Confusion Matrix in Machine Learning - GeeksforGeeks
• Explaining precision and recall. The first days and weeks of getting… | by Andreas Klintberg | Medium