Bisnis Analitik · 03 dari 03

Mengukur Impact Project: Dari Before-After sampai A/B Test

Akurasi model bukan impact. Empat cara menghitung dampak, kapan masing-masing dipakai, dan seberapa jauh bisa meleset.
Rahmat Hidayatullah · 9 menit baca · Interaktif

"Model kami akurasinya 92%." Kalimat ini sering muncul di slide penutup project, dan hampir tidak pernah menjawab pertanyaan yang sebenarnya ditanyakan manajemen: jadi hasilnya berapa?

Impact bukan akurasi, dan bukan juga "angka sesudah project lebih bagus". Impact adalah selisih antara yang terjadi dan yang akan terjadi seandainya project itu tidak ada. Masalahnya, dunia "seandainya tidak ada" tidak pernah bisa kita lihat. Semua cara mengukur impact pada dasarnya adalah cara menebak dunia itu sejujur mungkin.

Rumus dasarnya

Impact (Rp) = (hasil dengan project − hasil tanpa project) × jumlah yang terdampak × nilai per unit − biaya project

Bagian yang sulit hanya satu: "hasil tanpa project". Empat cara di bawah ini berbeda dalam cara mendapatkan angka itu.

Empat cara, dari yang paling lemah sampai paling kuat

1

Before-after pada grup yang sama

Bandingkan angka sebelum dan sesudah project. Paling mudah, dan paling sering menyesatkan, karena semua hal lain yang berubah di periode itu ikut terhitung: musim, promo lain, kondisi pasar. Cocok untuk: proses internal yang stabil, misalnya waktu membuat laporan sebelum dan sesudah otomasi.

2

Membandingkan dengan grup lain, tanpa pengacakan

Bandingkan yang ikut program dengan yang tidak. Kelemahannya: kedua grup biasanya sudah berbeda sejak awal. Pelanggan yang dipilih untuk program loyalitas memang pelanggan yang lebih setia. Cocok untuk: gambaran awal saja, dengan catatan besar.

3

Before-after dengan grup kontrol

Ukur perubahan di grup yang kena project, lalu kurangi dengan perubahan di grup yang tidak kena. Tren yang dialami bersama saling menghapus. Nama teknisnya difference-in-differences. Syaratnya: tanpa project, kedua grup akan bergerak dengan tren yang mirip. Cocok untuk: peluncuran bertahap per cabang atau wilayah.

4

A/B test

Bagi target secara acak menjadi dua: satu grup mendapat perlakuan, satu tidak. Karena diacak, kedua grup setara dalam segala hal kecuali perlakuannya, jadi selisih hasilnya adalah dampak project. Ini standar tertinggi. Cocok untuk: campaign, penawaran, harga, tampilan aplikasi, dan model yang dipakai untuk memilih target.

Di demo ini, sebuah program retensi dijalankan untuk 10.000 pelanggan. Kamu yang menentukan efek aslinya, lalu lihat berapa yang "ditemukan" oleh masing-masing cara.

Coba sendiri · Empat Cara Mengukur

Program retensi: berapa dampak sebenarnya?

Tingkat retensiSebelumSesudah
Grup yang ikut program
Grup yang tidak ikut
Dampak per tahun menurut tiap cara
Dampak sebenarnya

Batang merah berarti angkanya meleset dari dampak sebenarnya. Tiap pelanggan yang bertahan dihitung bernilai Rp 1,2 juta per tahun. Angka contoh untuk latihan.

Jenis project menentukan cara ukurnya

Jenis projectCara ukur yang disarankanYang dihitung
Campaign atau penawaran ke pelangganA/B test, dengan sebagian target sengaja tidak diberi penawaranSelisih pembelian atau retensi, dikurangi biaya diskon
Model prediksi untuk memilih targetA/B test: target pilihan model lawan target pilihan cara lamaSelisih hasil kedua cara, bukan akurasi model
Peluncuran bertahap per cabang atau wilayahBefore-after dengan grup kontrolPerubahan di cabang yang sudah jalan dikurangi perubahan di cabang yang belum
Otomasi dan efisiensi prosesBefore-after pada proses yang samaJam kerja yang dihemat × biaya per jam, ditambah penurunan kesalahan
Kebijakan yang berlaku untuk semua sekaligusBefore-after dibanding perkiraan tanpa kebijakan (forecast)Selisih angka nyata dengan forecast. Ini yang paling lemah, sampaikan sebagai perkiraan
Dashboard dan analisisCatat keputusan yang berubah karena analisis ituNilai keputusannya. Paling sulit diukur, jadi catat sejak awal

Lima kebiasaan supaya angkanya dipercaya

Impact bukan apa yang terjadi setelah project. Impact adalah apa yang tidak akan terjadi tanpa project.
Materi bisnis selesaiTahu uangnya di mana, tahu mana yang dikerjakan dulu, tahu cara membuktikan hasilnya.Mau lihat tekniknya dipakai? Buka Panduan Analitik, atau ikuti cerita 12 bab dari awal.
← Kembali ke daftar