Statistics · Marketing

Evaluating Campaign Success: A Data-Driven Approach

Evaluasi campaign secara rigorous dengan control/treatment group, t-test, dan statistical power.
9 Januari 2025 · 6 min read
Control Group No campaign Baseline: $42 ARPU vs Treatment Group With campaign Result: $48 ARPU t-test p < 0.05 ✅

Masalah Umum

Marketer kesulitan mengisolasi dampak campaign dari variabel eksternal seperti seasonality dan aksi kompetitor. Tanpa strategi evaluasi yang tepat, mudah menarik kesimpulan salah.

Framework 4 Langkah

1

Desain Control & Treatment Group

Dua kelompok yang comparable: control (tanpa campaign) dan treatment (dengan campaign). Gunakan clustering atau binning untuk memastikan kesamaan demografis dan behavioral. Randomized controlled trials = gold standard.

2

Tentukan Key Metrics

Conversion rate, Average Revenue Per User (ARPU), Click-Through Rate (CTR).

3

T-Test Statistical Analysis

Bandingkan means kedua group. Significance threshold: p < 0.05.

4

Sample Size & Statistical Power

Sample size yang besar meningkatkan statistical power. Sample tidak cukup = risiko false positive dan false negative.

Formula T-Test

t = (X̄₁ – X̄₂) / √((s₁² / n₁) + (s₂² / n₂))

X̄ = sample mean, s² = variance, n = group size
Reject H₀ if p < 0.05
"Without a proper evaluation strategy, it's easy to draw incorrect conclusions and make poor business decisions."
← Kembali ke daftar