Mengukur Impact Project: Dari Before-After sampai A/B Test
"Model kami akurasinya 92%." Kalimat ini sering muncul di slide penutup project, dan hampir tidak pernah menjawab pertanyaan yang sebenarnya ditanyakan manajemen: jadi hasilnya berapa?
Impact bukan akurasi, dan bukan juga "angka sesudah project lebih bagus". Impact adalah selisih antara yang terjadi dan yang akan terjadi seandainya project itu tidak ada. Masalahnya, dunia "seandainya tidak ada" tidak pernah bisa kita lihat. Semua cara mengukur impact pada dasarnya adalah cara menebak dunia itu sejujur mungkin.
Rumus dasarnya
Impact (Rp) = (hasil dengan project − hasil tanpa project) × jumlah yang terdampak × nilai per unit − biaya project
Bagian yang sulit hanya satu: "hasil tanpa project". Empat cara di bawah ini berbeda dalam cara mendapatkan angka itu.
Empat cara, dari yang paling lemah sampai paling kuat
Before-after pada grup yang sama
Bandingkan angka sebelum dan sesudah project. Paling mudah, dan paling sering menyesatkan, karena semua hal lain yang berubah di periode itu ikut terhitung: musim, promo lain, kondisi pasar. Cocok untuk: proses internal yang stabil, misalnya waktu membuat laporan sebelum dan sesudah otomasi.
Membandingkan dengan grup lain, tanpa pengacakan
Bandingkan yang ikut program dengan yang tidak. Kelemahannya: kedua grup biasanya sudah berbeda sejak awal. Pelanggan yang dipilih untuk program loyalitas memang pelanggan yang lebih setia. Cocok untuk: gambaran awal saja, dengan catatan besar.
Before-after dengan grup kontrol
Ukur perubahan di grup yang kena project, lalu kurangi dengan perubahan di grup yang tidak kena. Tren yang dialami bersama saling menghapus. Nama teknisnya difference-in-differences. Syaratnya: tanpa project, kedua grup akan bergerak dengan tren yang mirip. Cocok untuk: peluncuran bertahap per cabang atau wilayah.
A/B test
Bagi target secara acak menjadi dua: satu grup mendapat perlakuan, satu tidak. Karena diacak, kedua grup setara dalam segala hal kecuali perlakuannya, jadi selisih hasilnya adalah dampak project. Ini standar tertinggi. Cocok untuk: campaign, penawaran, harga, tampilan aplikasi, dan model yang dipakai untuk memilih target.
Di demo ini, sebuah program retensi dijalankan untuk 10.000 pelanggan. Kamu yang menentukan efek aslinya, lalu lihat berapa yang "ditemukan" oleh masing-masing cara.
Jenis project menentukan cara ukurnya
| Jenis project | Cara ukur yang disarankan | Yang dihitung |
|---|---|---|
| Campaign atau penawaran ke pelanggan | A/B test, dengan sebagian target sengaja tidak diberi penawaran | Selisih pembelian atau retensi, dikurangi biaya diskon |
| Model prediksi untuk memilih target | A/B test: target pilihan model lawan target pilihan cara lama | Selisih hasil kedua cara, bukan akurasi model |
| Peluncuran bertahap per cabang atau wilayah | Before-after dengan grup kontrol | Perubahan di cabang yang sudah jalan dikurangi perubahan di cabang yang belum |
| Otomasi dan efisiensi proses | Before-after pada proses yang sama | Jam kerja yang dihemat × biaya per jam, ditambah penurunan kesalahan |
| Kebijakan yang berlaku untuk semua sekaligus | Before-after dibanding perkiraan tanpa kebijakan (forecast) | Selisih angka nyata dengan forecast. Ini yang paling lemah, sampaikan sebagai perkiraan |
| Dashboard dan analisis | Catat keputusan yang berubah karena analisis itu | Nilai keputusannya. Paling sulit diukur, jadi catat sejak awal |
Lima kebiasaan supaya angkanya dipercaya
- Tentukan cara ukur sebelum project dimulai. Metrik apa, dibanding apa, selama berapa lama. Kalau baru ditentukan setelah melihat hasil, godaan memilih angka yang paling bagus terlalu besar.
- Selalu sisakan grup pembanding. Tim bisnis sering keberatan karena "sayang kalau sebagian tidak diberi penawaran". Tanpa pembanding, tidak ada yang bisa membuktikan penawaran itu bekerja.
- Ukur cukup lama. Sebagian efek hanya muncul di minggu pertama lalu hilang. Sebagian lagi baru muncul belakangan.
- Hitung bersih. Kurangi biaya project, biaya diskon, dan penjualan yang hanya berpindah dari produk lain atau dari bulan depan.
- Laporkan sebagai rentang. "Antara Rp 300 dan 450 juta" lebih jujur daripada "Rp 372 juta". Pastikan juga selisihnya bukan kebetulan. Lihat Memahami "Signifikan" dan Evaluasi Campaign.
Impact bukan apa yang terjadi setelah project. Impact adalah apa yang tidak akan terjadi tanpa project.