Dünya genelinde bütün markalar değerli içgörüler elde edebilmek ve ürünlerinin web, sunucu ve uygulamaları özelinde kalıcı herhangi bir işlevsel fonksiyonel adaptasyonunu, kullanıcı deneyimi ve tasarımı odağındaki yeniliğini, ürün eklenti hizmetini geliştirmeden önce, kabulünü ve etkisini değerlendirmek için kullanıcı deneyimini iyileştirerek hedef metrik başarımlarını artırma odağında bir çok farklı test çeşidini uyguluyor.
Gerçekleştirilen tasarımsal ve fonksiyonel deneyler, dijital pazarlama alanında çalışan ekiplerin marka hedefleri odağında korelasyonlar yerine nedenselliğe dayalı daha doğru kararlar almasına yardımcı oluyor.
Invesp’in yaptığı 2024 yılı sektör araştırması verilerine göre dijital pazarlama sektöründeki şirketlerin %71’i her ay iki veya daha fazla test gerçekleştiriyor ve VWO deneyim analitiği platformunun içgörü raporuna göreyse ortalama olarak SaaS şirketleri her yıl marka özelinde 24-60 sayıda testi canlıya alarak kullanıcılarına sunuyor.
Airbnb, Amazon, Booking, Meta, Google, Linkedin, Microsoft, Twitter, Uber, Yandex ve Netflix gibi alanında öncü olan markalar düzenli olarak deney çalışmalarını gerçekleştiriyor ve kullanıcı yolculuklarında bütünsel bir yaklaşımı benimseyerek deney süreçlerinin sürekliliğini sağlıyor.
Netflix, 2022 yılının ilk yarısında abone sayısında gerçekleşen dramatik düşüşü duyurmuştu ve şirket yüzlerce kişiyi işten çıkarmaya ve programlarını küçültmeye yönelmişti. Bu dramatik etki, hisse senedi fiyatında önemli bir düşüşe yol açarak yaklaşık olarak 200 milyar dolarlık piyasa değerini düşürmüştü.
Netflix abone merkezli model testleri ve uygulamaları gerçekleştirerek kullanıcılarının şifre paylaşımını engelleme ve reklam destekli sürümlerini kulllanıcılarına tanıttığı yeni süreçler tasarlayarak 2024 yılı verilerine göre 30 milyon yeni abone edinimi gerçekleştirdi, 2025 yılı ilk çeğreğinde ise ilgili metrik 9,3 milyon olarak kaydedildi.
Netflix düzenli blog içerikleri yayınlayarak A/B testlerinin önemini vurgulamaya devam ediyor ve A/B test başarımları odağındaki veri paylaşımları ilgili alanda gerçekleştirilen akademik çalışmalara ışık tutuyor.
İlgili blogumda sizlerle markanız özelinde hedef strateji ve segmentiniz, marka ölçeğiniz, markanızın sezonsallık verileri gibi etkenlere dayalı olarak hipotezleriniz özelinde web, server ve uygulama taraflı deney süreçlerinizi gerçekleştirmek için hangi deney yaklaşımını tercih etmeniz gerektiğine dair ve elde ettiğiniz değerli içgörülerinizi, varyantlarınızın değişim verileri, testinizin anlamlılık, güven düzeyi v.b. test sonuç verileriyle anlamlandırarak bir sonraki en iyi aksiyonu belirleme odağında test sonuç veri analizi süreçlerinizi desteklemek adına deneyimlerimden elde ettiğim içgörüleri paylaşmak isterim.
Kullanıcı yolculuklarınızda tam ve bütünsel görünürlük elde etmek ve dijital deneyimlerinizi optimize etmek için gerçekleştirilen her deney markanızın hedef başarım metriklerine ulaşması konusunda yeni içgörüler edinme ve zengin veriler elde etme odağında veriye dayalı olarak kararlar alabilmesi için fırsat sunar. Öncelikli olarak hangi deney yaklaşımının hedef ve başarım metrikleriniz odağında marka süreçleriniz için dogru uygulama olabileceği konusuna değinmek isterim.
MAB Testleri ve A/B Testleri şirketlerin bir dizi fonksiyonel, önyüz ve deneyim tasarımlarının farklı varyantlar ile genel, belirli kullanıcı segmentleri özelinde deneyimi iyileştirmek adına kullanıcı yolculuğu görünürlüğünde bütünsellik sunarak hedeflenen strateji odağında süreçleri optimize etmeyi temel alan test stratejileridir.
MAB Testleri ile farklı test varyantları kullanıcı gösterimine sunulur ve daha iyi performans gösteren varyanta doğru test süresi içerisinde kullanıcılar otomatik olarak yönlendirilir. Bu kavram, MAB’ler ile A/B testi arasındaki temel farkı gösterir. Gerçek zamanlı veri kontrolu ve gelir odağında optimizasyon sağlamak için MAB Testleri doğru uygulamalardır.
A/B Testi uygulamaları ise kullanıcı gruplarınız özelinde tüm varyantları test süresi boyunca belirlenen/eşit oranlarda sunarak her seçeneğin potansiyelinin kapsamlı bir şekilde keşfedilmesini sağlar. A/B testleri, biri diğerlerinden açıkça daha iyi performans gösterse bile aynı/belirlenen oranda varyant gösterimlerini sunmaya devam eder. İstatistiksel yöntem kullanımı, örnek büyüklüğü ve süre arasındaki bağlamı kavrama, varyant ve kontrol versiyonları arasında metrik özelinde performans analizleri gerçekleştirerek derin anlamsal içgörüler elde etmek için A/B Testleri doğru uygulamalardır.
MAB Testleri dinamik çevrelerde uygulanabilirliği anlamlı olan, oluşturdugunuz etkin varyanta hızla adapte olan test çeşididir, bu sebeple zamana duyarlı, büyük veri odağında gerçekleştirilen senaryolar için ideal olan bir test çeşididir. MAB’ler kullanıcı davranışlarının tutarlı olduğu varsayımıyla hareket eden bir algoritmaya sahiptir, bu da varyant performansını doğru bir şekilde değerlendirmede zorluklar yaratabilir.
A/B Testleri ise sabit çevrelerde uygulanabilirliği anlamlı olan, test sonuç verilerine göre kullanıcılar tarafından tüm varyantların eşit şekilde keşfedilmesini sağladığı için içgörü odağında kapsamlı veri elde etmek için uygun bir test tercihidir. Genellikle uzun vadeli stratejik kararlar için uygulanması daha anlamlıdır. MAB’ler ve A/B testi arasındaki tercihin temelinde anlam olmalıdır, hızlı iyileştirmelere duyulan ihtiyaç ya da içgörü edinimi derinliğine duyulan ihtiyaca göre seçimi gerçekleştirmek sonuç verinin hatasızlık oranını artırmak için süreç başlangıcında alınması gereken en önemli karardır.
Eğer marka hedefleriniz doğrultusunda MAB Testi yaklaşımı yerine A/B Testi uygulamayı tercih ediyor ve veri setiniz, hedef metrikleriniz odağında en doğru yaklaşımın A/B Testi olduğuna karar verdiyseniz, bu noktada A/B Testi yaklaşımları içerisinde olan bir Sıralı A/B Testimi yoksa Sabit T-Testi mi gerçekleştirmeniz gerektiğine karar vermelisiniz.
Sıralı Test uygulamalarında istatistiksel olarak anlamlı sonuç elde edene dek testinizi kullanıcılara sunabilir ve anlamlılık düzeyine ulaştığında testinizi sonlandırabilirsiniz. Sabit Ufuk T-Testi uygulamasında ise bu yaklaşım yanlış pozitif oranını artıracağınız için tercih edilmemelidir.
Sabit T-Testi uygulamalarında deney esnasında istatistiksel olarak güven aralığına, p değerlerine bağlı çıkarımlar yapmak mümkün olmaz, yalnızca kontrol ve varyant gösterimlerini deneyimleyen kullanıcı sayısı ve ortalama veriler gözlemlenebilir. Sıralı Test uygulamaları esnasında ise gözlemci herhangi bir zaman aralığında her zaman geçerli güven aralığı ve p değerlerine erişebilir.
Sabit T-Testi ve Sıralı Test kavramlarının uygulanabilirliğini belirlemek için minimum tespit edilebilir etki verisi temelinde karar vermekte anlamlı olur. Minimum tespit edilebilir etki size en kötü durum senaryosunu verir ve maksimum tespit edilebilir etki size en iyi durum senaryosunu verir. Geçmişte bir çok test gerçekleştirmiş bir şirket iseniz makul bir minimum tespit edilebilir etkinin ölçümlemesini deney sonuç verilerinize dayanarak analiz etmişsinizdir. Büyük ölçekli firmaların genellikle test sonuçlarında karşılaştırma odağında %1 -%2 aralığında dönüşüm oranı artışı elde etmeleri büyük önem taşır. Bu iyileştirme genellikle minimum tespit edilebilir etkiye yakındır ve maksimum tespit edilebilir etki ile minimum tespit edilebilir etki arasındaki fark küçüktür.
Sabit T-Testi ve Sıralı Test uygulamaları arasında seçim yapmadan önce her zaman düşünülmesi gereken hipoteziniz özelinde, Sabit T-Testini tercih etmiş olsaydınız belirli bir zaman aralığında testinizi durdurmaya ihtiyaç duyup duymayacağınızdır. Bu çıkarıma varmak için testinizin hipotezini, ürün kullanım sezonsallığınızı, kullanım sıklığına bağlı deney süresi değerlendirmeleri yapmak, uzun vadeli metrik hedefleri ve kullanıcılarınızın ürün kullanımlarını tekrarlama süresine dek gecen zaman ilişkisini detaylı bir şekilde analiz etmeniz gerekir.
Durum analiz süreçlerinize dayanarak uzun süreli bir deney yapmaya karar verdiyseniz, deneyi erken sonlandırarak elde edeceğiniz kazançlı senaryoları ve varsayımlarınızı anlamlandırmanıza katkısını değerlendirmek, erken durdurduğunuz deney sonuç verisinin detaylı analizleriniz için gereken verileri sunabilecek zenginlikte olup olmadığını öngörmek önemlidir.
İlgili kullanıcı segmentlerinize, kullanıcı özelliği verilerinize, istatistiksel yöntem/ayar seçimlerinize, veri setinize, marka hedefleriniz ve stratejinize dayalı olarak uygun A/B veya MAB Test metodolojisini uygulamalarınızdan sonraki en önemli aksiyon deney analizi süreçlerinizi gerçekleştirmektir.
A/B Testleri ve MAB Testleri odağında gerçekleştirilen uygulama sonuç verilerini üç olası farklı senaryo altında değerlendirebiliriz;
• Testiniz anlamlılık düzeyine erişti ve tasarladığınız bir varyant gösterimi test sonuç verilerinize göre kazanan olarak belirlendiyse, minimum güven düzeyi metriği sıfıra yakın, eşit veya daha yüksek, sonuç güven aralığı göreceli olarak geniş değil ise kazanan varyantınızı kalıcı olarak canlıya alabilirsiniz.
• Test sonuç verileriniz anlamlılık düzeyine ulaştı ancak herhangi bir varyant tasarımınız performans verileri odağında, hedef metrikleriniz ve segment özellikleriniz temelinde kazanan olarak belirlenemediyse bir sonraki en iyi aksiyonu alabilmek için derin analizler gerçekleştirmeli ve analiz basamaklarınızı doğru bir şekilde belirlemelisiniz.
Gerçekleştirilen A/B ya da MAB Testiniz gösterim sürecindeyken herhangi bir kullanıcı grubuna gösterim etkileri negatif ise ilgili tesinizi durdurmanız gerekir. Test sonuç içgörülerinizi kullanıcı özelliklerine; platform, cihaz türü, konum gibi kullanıcı ya da olay özelliklerine göre segmentlere ayırarak filtrelemek, yeni kullanıcılar, varyant atlama deneyimi yaşamamış kullanıcılar vb. gibi kullanıcı segmentlerine göre gözlemlemek ve etki analizleri gerçekleştirmek, gelecekte benzer hipotezler özelinde planladığınız testlerinizin gerçekleşme süreci konusunda hangi yeni aksiyonları almanız gerektiği ve güncel varyant tasarımlarınızda hangi farklı değişiklikleri uygulamanız gerektiğini kararlaştırmanız anlamında destekleyici veriler olarak kullanılabilir.
Benzer yeni test fikirleri ve stratejileri üretmek için sonuç verilerdeki eğilimleri ve kalıpları gözlemlemeli, herhangi bir anormallik saptadıysanız bu anormalliğin temel nedenini analiz etmelisiniz.
• Deneysel sonuçlarınız anlamlılık düzeyine ulaşmadıysa ve bir kazananınız varsa veya yoksa bu deneyinizin başarısız olduğu anlamına gelmez. Mevcut durum analizi gerçekleştirmeli ve süreç genelindeki alınan aksiyonların hedef yaklaşımlarınızı benimsemenize olan artı ve eksi etkilerini belirlemelisiniz. Önceden planlanmış deneylerinizi, güncel olarak canlıda olan deneylerinizi önceliklendirme ve genel olarak maliyet öngörülerini ölçümlemelisiniz. Eğer Sıralı Test gerçekleştiriyor iseniz daha fazla veri toplamak için testinizi çalışır durumda tutmak için zaman odağında öngörülerinizi gerçekleştirmelisiniz, bu yaklaşım MAB veya T-Testi için uygun değildir.
Kazanan bir varyant belirlendiyse, deney sonuç verilerinizi kullanıcı özelliklerine, olay özelliklerine göre segmentlere ayırarak filtrelemeli ve kullanıcı segmentiniz ya da genel kullanıcılarınız özelinde kalıcı olarak ilgili varyantı canlıya almak doğru bir tercih olabilir mi değerlendirmelisiniz. Varyantınız özelinde göreceli değişim, anlamlılık ve güven düzeyi size yanlış kazanan varyantı kullanıma sunma yönünde bir yön veriyor mu bunları değerlendirmeli ve deney öncesi koşulları kontrol ederek alacağınız bir sonraki ilgili aksiyonu belirlemelisiniz.
CAGR’ın verilerine göre küresel A/B test araçları pazarının 2024 yılında 850,2 milyon ABD dolarına ulaşması, 2024’ten 2031’e kadar %14,00’lık bileşik yıllık büyüme oranına sahip olması ve Truelist’in 2024 yılı ilk çeyreğinde paylaştığı gelir odaklı verilere göreyse A/B testlerinin 2025 yılına kadar markalara yaklaşık 1,08 milyar dolar gelir yaratacağı öngörülmüştü.
VWO deneyim optimizasyonu platformunun sunduğu rapora göre dijital sektörlerde ürün hizmetleri sunan markaların yaklaşık %61-80’i güçlü organizasyonel destekle kapsamlı deney yaklaşımlarını benimsiyorlar.
Deney gerçekleştirmek, deney ve analiz süreçlerininin sürekliliğini sağlamak deneyim analitiği alanında markaların ürün kullanıcı yolculuklarını desteklemek, optimizasyon stratejilerini kapsamlı bir şekilde uygulayarak dönüşüm metriklerini kullanıcı edinimi, gelir, ürün kullanım sıklığı ve büyüme odağında artırmak için dijital pazarlama sektöründe geçtiğimiz 20 yılın en popüler ve en etkili yöntemlerinden biri olarak görülmekte.
Hedef metrikleriniz özelinde uyguladığınız bütün deneylerden elde ettiğiniz olumlu ya da olumsuz içgörülerin tamamı çok değerlidir. Deney sonuç verileri ürünlerinizin belirlediğiniz optimizasyon alanları özelinde gelecekte gerçekleştirmeyi planladığınız hem yeni deney süreçlerinize hemde marka stratejileriniz odağında bir sonraki en iyi aksiyonu almanıza yardımcı olan derin değerli içgörüler içermektedir. Düzenli analiz süreçleriyle desteklediğiniz deneyim analitiği çalışmaları markanızın dijital alandaki hedef başarımlarını artıracak, sektör trendlerini ve yeniliklerini ürün kullanımlarınıza adapte ederken doğrudan bir yaklaşım uygulamak yerine aktif kullanıcılarınızdan aldığınız geri dönüşlere göre kullanıcılarınızın beklentilerini anlamlandırarak ürününüzü geliştirme, dönüştürme odağında kullanıcı marka iletişiminde köprü görevi görecektir.