A/B टेस्टिंग क्या है: इसे कैसे करें और इसके व्यावहारिक उदाहरण

Google, HubSpot और Shopify के विशेषज्ञों से A/B टेस्ट, कन्वर्जन रिसर्च और आइडिया प्राथमिकता से लेकर टेस्ट विश्लेषण और आर्काइव प्रबंधन तक सब कुछ सीखें।

चाहे आप एक अनुभवी उद्यमी हों या अभी शुरुआत कर रहे हों, संभावना है कि आपने A/B टेस्टिंग के बारे में अनगिनत लेख और संसाधन देखे होंगे। हो सकता है आप पहले से ही अपनी ईमेल सब्जेक्ट लाइन या सोशल मीडिया पोस्ट का A/B टेस्ट कर रहे हों।

मार्केटिंग के क्षेत्र में A/B टेस्टिंग के बारे में काफी कुछ कहा गया है, फिर भी कई उद्यमी व्यावहारिक रूप से गलतियां करते हैं। परिणाम? गलत टेस्ट के गलत परिणामों के आधार पर महत्वपूर्ण व्यावसायिक निर्णय।

A/B टेस्टिंग को अक्सर सरल बनाकर पेश किया जाता है, खासकर स्टोर मालिकों के लिए लिखे गए कंटेंट में। आगे, आपको ईकॉमर्स के लिए विभिन्न प्रकार के A/B टेस्टिंग के साथ शुरुआत करने के लिए आवश्यक सब कुछ मिलेगा, जो सरल लेकिन उपयोगी तरीके से समझाया गया है। A/B टेस्टिंग सही प्रोडक्ट पोजिशनिंग चुनने, लैंडिंग पेज पर कन्वर्जन बढ़ाने और बहुत कुछ के लिए गेम चेंजर हो सकता है।

A/B टेस्टिंग क्या है?

A/B टेस्टिंग, जिसे स्प्लिट टेस्टिंग या बकेट टेस्टिंग भी कहा जाता है, एक ही वेब पेज, ईमेल या अन्य डिजिटल एसेट के दो वर्जन की तुलना करने की प्रक्रिया है। इससे पता चलता है कि यूजर व्यवहार के आधार पर कौन सा बेहतर प्रदर्शन करता है।

यह मार्केटिंग कैंपेन के प्रदर्शन को बेहतर बनाने और यह समझने के लिए उपयोगी टूल है कि आपके टारगेट ऑडियंस को क्या कन्वर्ट करता है। A/B टेस्टिंग आपको महत्वपूर्ण व्यावसायिक सवालों के जवाब देने में मदद करता है, आपके मौजूदा ट्रैफिक से अधिक रेवेन्यू जेनरेट करने में सहायता करता है, और डेटा-आधारित मार्केटिंग रणनीति की नींव रखता है।

A/B टेस्टिंग कैसे काम करता है

• अपना लक्ष्य निर्धारित करें। A/B टेस्ट के लिए अपने लक्ष्य स्थापित करें, जैसे कन्वर्जन बढ़ाना, क्लिक-थ्रू रेट या समग्र बिक्री।
• टेस्ट करने के लिए एलिमेंट चुनें। आप हेडलाइन, इमेज, ईमेल सब्जेक्ट लाइन, कॉल टू एक्शन (CTA), प्राइसिंग, लेआउट आदि टेस्ट कर सकते हैं।
• वेरिएशन बनाएं। एलिमेंट के दो वर्जन बनाएं: वर्जन A, जो आपके एसेट का मूल वर्जन है, या "कंट्रोल।" वर्जन B, जिन बदलावों को आप टेस्ट करना चाहते हैं उसके साथ नया वर्जन, "वेरिएंट" कहलाता है। मार्केटिंग के संदर्भ में, आप 50% विजिटर को वर्जन A और 50% को वर्जन B दिखाते हैं।
• टेस्ट चलाएं। दोनों ग्रुप को पूर्व निर्धारित अवधि में समान वर्जन दिखाएं। उदाहरण के लिए, यदि आप ईकॉमर्स साइट के होमपेज CTA बटन का टेस्ट कर रहे हैं, तो सांख्यिकीय रूप से महत्वपूर्ण परिणाम प्राप्त करने के लिए दो सप्ताह तक टेस्ट चला सकते हैं।
• डेटा एकत्र करें। दोनों वर्जन में कन्वर्जन, क्लिक-थ्रू, एंगेजमेंट लेवल और बिक्री को मॉनिटर और मापें।
• परिणामों का विश्लेषण करें। वर्जन A बनाम वर्जन B के प्रदर्शन की तुलना करें कि कौन सा आपके लक्ष्य को अधिक प्रभावी रूप से पूरा करता है। सबसे अधिक कन्वर्जन रेट वाला वर्जन जीतता है।
• विजेता घोषित करें। यदि वर्जन B का कन्वर्जन रेट सबसे अधिक है, तो इसे विजेता घोषित करें और 100% विजिटर को वहां भेजें। यह नया कंट्रोल बन जाता है, और आपको भविष्य के टेस्ट के लिए दूसरा वेरिएंट डिजाइन करना होगा।

विचार करें: A/B टेस्ट कन्वर्जन रेट अक्सर सफलता का अपूर्ण मापदंड हो सकता है।

उदाहरण के लिए, यदि आप एक पेज पर किसी आइटम की कीमत ₹4,000 रखते हैं और दूसरे पर यह बिल्कुल मुफ्त है, तो यह कोई वास्तविक मूल्यवान अंतर्दृष्टि प्रदान नहीं करेगा। जैसा कि आप अपने व्यवसाय के लिए उपयोग करने वाले किसी भी टूल या रणनीति के साथ करते हैं, यह रणनीतिक होना चाहिए।

इसीलिए आपको कन्वर्जन के मूल्य को अंतिम बिक्री तक ट्रैक करना चाहिए।

आपको कब A/B टेस्ट करना चाहिए

यदि आप कम ट्रैफिक वाली साइट या वेब या मोबाइल ऐप चला रहे हैं, तो A/B टेस्टिंग शायद आपके लिए सबसे अच्छा ऑप्टिमाइजेशन प्रयास नहीं है। आपको यूजर टेस्टिंग करने या अपने ग्राहकों से बात करने से अधिक निवेश पर रिटर्न (ROI) दिखेगा। लोकप्रिय धारणा के विपरीत, कन्वर्जन रेट ऑप्टिमाइजेशन की शुरुआत और अंत टेस्टिंग से नहीं होता।

दो से चार सप्ताह क्यों? याद रखें, आप कम से कम दो पूर्ण व्यावसायिक चक्रों के लिए टेस्ट चलाना चाहते हैं। आमतौर पर, यह दो से चार सप्ताह का होता है। अब शायद आप सोच रहे हैं, "कोई समस्या नहीं, मैं आवश्यक सैंपल साइज तक पहुंचने के लिए दो से चार सप्ताह से अधिक समय तक टेस्ट चलाऊंगा।" यह भी काम नहीं करेगा।

टेस्ट जितनी देर तक चलता है, उतना ही यह बाहरी वैधता खतरों और सैंपल प्रदूषण के लिए संवेदनशील होता है। उदाहरण के लिए, विजिटर अपनी कुकीज़ डिलीट कर सकते हैं और नए विजिटर के रूप में A/B टेस्ट में फिर से प्रवेश कर सकते हैं। या कोई अपने मोबाइल फोन से डेस्कटॉप पर स्विच कर सकता है और वैकल्पिक वेरिएशन देख सकता है।

मूल रूप से, अपने टेस्ट को बहुत लंबे समय तक चलाने देना परिणामों को उतना ही विकृत कर सकता है जितना कि इसे पर्याप्त समय तक नहीं चलाना।

उन स्टोर के लिए टेस्टिंग निवेश के लायक है जो दो से चार सप्ताह में आवश्यक सैंपल साइज पूरा कर सकते हैं। जो स्टोर ऐसा नहीं कर सकते, उन्हें अपना ट्रैफिक बढ़ने तक अन्य प्रकार के ऑप्टिमाइजेशन पर विचार करना चाहिए।

अपनी A/B टेस्टिंग प्रक्रिया सेट करें

A/B टेस्ट आइडिया को प्राथमिकता दें

A/B टेस्टिंग उदाहरणों की एक बड़ी सूची रोमांचक है, हालांकि यह तय करने के लिए कि क्या टेस्ट करना है, यह अनुपयोगी है। आप कहां से शुरू करते हैं? यहीं प्राथमिकता काम आती है।

कुछ सामान्य A/B टेस्टिंग प्राथमिकता फ्रेमवर्क हैं जिनका आप उपयोग कर सकते हैं:

• ICE। ICE का मतलब प्रभाव, विश्वास और आसानी है। इन कारकों में से प्रत्येक को 1 से 10 तक की रैंकिंग मिलती है। उदाहरण के लिए, यदि आप डेवलपर या डिजाइनर की मदद के बिना आसानी से टेस्ट चला सकते हैं, तो आप आसानी को 8 दे सकते हैं। आप यहां अपने निर्णय का उपयोग कर रहे हैं, और यदि आपके पास टेस्ट चलाने वाले एक से अधिक व्यक्ति हैं, तो रैंकिंग बहुत व्यक्तिपरक हो सकती है। सभी को निष्पक्ष रखने के लिए दिशानिर्देशों का एक सेट होना मददगार है।
• PIE। PIE का मतलब संभावना, महत्व और आसानी है। फिर से, प्रत्येक कारक को 1 से 10 तक की रैंकिंग मिलती है। उदाहरण के लिए, यदि टेस्ट आपके 90% ट्रैफिक तक पहुंचेगा, तो आप महत्व को 8 दे सकते हैं। PIE भी ICE जितना व्यक्तिपरक है, इसलिए इस फ्रेमवर्क के लिए भी दिशानिर्देश सहायक हो सकते हैं।
• PXL। PXL शैक्षिक प्लेटफॉर्म CXL का प्राथमिकता फ्रेमवर्क है। यह थोड़ा अलग और अधिक अनुकूलन योग्य है, जो अधिक निष्पक्ष निर्णयों को बाध्य करता है। तीन कारकों के बजाय, आपको हां/नहीं प्रश्न और एक कार्यान्वयन-आसानी प्रश्न मिलेगा। उदाहरण के लिए, फ्रेमवर्क पूछ सकता है: "क्या टेस्ट प्रेरणा बढ़ाने के लिए डिज़ाइन किया गया है?" यदि हां, तो इसे 1 मिलता है। यदि नहीं, तो इसे 0 मिलता है। आप इस फ्रेमवर्क के बारे में अधिक जान सकते हैं और स्प्रेडशीट डाउनलोड कर सकते हैं।

एक बार जब आपको पता चल जाए कि कहां से शुरू करना है, तो अपने आइडिया को वर्गीकृत करना भी मददगार हो सकता है। उदाहरण के लिए, कुछ कन्वर्जन रिसर्च के दौरान आप तीन श्रेणियों का उपयोग कर सकते हैं: लागू करें, जांच करें और टेस्ट करें।

• लागू करें। बस करें। यह टूटा हुआ या स्पष्ट है।
• जांच करें। समस्या को परिभाषित करने या समाधान पर ध्यान केंद्रित करने के लिए अतिरिक्त विचार की आवश्यकता है।
• टेस्ट करें। आइडिया ठोस और डेटा-आधारित है। इसे टेस्ट करें!

इस वर्गीकरण और प्राथमिकता के बीच, आप A/B टेस्टिंग शुरू करने के लिए तैयार होंगे।

एक परिकल्पना विकसित करें

कुछ भी टेस्ट करने से पहले, आपके पास एक परिकल्पना होनी चाहिए। उदाहरण के लिए, "यदि मैं शिपिंग के लिए जो चार्ज करता हूं उसे कम करूं, तो कन्वर्जन रेट बढ़ेंगे।"

चिंता न करें—इस स्थिति में परिकल्पना बनाना उतना जटिल नहीं है जितना लग सकता है। मूल रूप से, आपको एक आइडिया नहीं, बल्कि एक परिकल्पना का टेस्ट करना होगा। एक परिकल्पना मापने योग्य होती है, एक विशिष्ट कन्वर्जन समस्या को हल करने की इच्छा रखती है, और जीत के बजाय अंतर्दृष्टि पर केंद्रित होती है।

परिकल्पना लिखते समय, Craig Sullivan के Hypothesis Kit से उधार लिए गए फॉर्मूले का उपयोग करना मददगार है:

• क्योंकि आप देखते हैं [रिसर्च से डेटा/फीडबैक डालें]
• आप उम्मीद करते हैं कि [जो बदलाव आप टेस्ट कर रहे हैं] [जिस प्रभाव की आप अपेक्षा करते हैं] का कारण बनेगा, और
\
• आप इसे [डेटा मेट्रिक] का उपयोग करके मापेंगे

आसान, है न? आपको बस खाली स्थान भरना है और आपका A/B टेस्ट आइडिया एक परिकल्पना में बदल जाएगा।

एक A/B टेस्टिंग टूल चुनें

अब आप A/B टेस्टिंग टूल या स्प्लिट टेस्टिंग सेवा चुनना शुरू कर सकते हैं। अक्सर, आप पहले Google Optimize, Optimizely, और VWO के बारे में सोचेंगे। सभी अच्छे, सुरक्षित विकल्प हैं।

यहां उन लोकप्रिय A/B टेस्टिंग टूल के बारे में अधिक जानकारी है:

• Google Optimize। मुफ्त, कुछ मल्टीवेरिएट सीमाओं को छोड़कर, जो वास्तव में आपको प्रभावित नहीं करना चाहिए यदि आप अभी शुरुआत कर रहे हैं। Google Analytics A/B टेस्टिंग करते समय यह अच्छा काम करता है, जो एक फायदा है।
• Optimizely। तकनीकी कौशल के बिना भी छोटे टेस्ट को चालू करना आसान है। Stats Engine टेस्ट परिणामों का विश्लेषण करना आसान बनाता है। आमतौर पर, Optimizely तीनों में सबसे महंगा विकल्प है।
• VWO। VWO में विश्लेषण को आसान बनाने के लिए SmartStats है। इसके अलावा, शुरुआती लोगों के लिए इसमें बेहतरीन WYSIWYG एडिटर है। हर VWO प्लान में हीट मैप, ऑन-साइट सर्वे, फॉर्म एनालिटिक्स आदि आते हैं।

Shopify App Store में भी A/B टेस्टिंग टूल हैं जो आपको उपयोगी लग सकते हैं।

एक बार जब आपने A/B टेस्टिंग टूल या स्प्लिट-टेस्टिंग सॉफ्टवेयर चुन लिया है, तो साइन-अप फॉर्म भरें और दिए गए निर्देशों का पालन करें। प्रक्रिया टूल से टूल में अलग होती है। आमतौर पर, आपसे अपनी साइट पर एक स्निपेट इंस्टॉल करने और लक्ष्य सेट करने को कहा जाएगा।

परिणामों का विश्लेषण कैसे करना है, यह तय करें

यदि आप अपनी परिकल्पना सही तरीके से तैयार करते हैं, तो हारने वाला भी जीतने वाला है, क्योंकि आपको अंतर्दृष्टि मिलेगी जिसका उपयोग आप भविष्य के टेस्ट और अपने व्यवसाय के अन्य क्षेत्रों में कर सकते हैं। इसलिए, जब आप अपने टेस्ट परिणामों का विश्लेषण कर रहे हों, तो आपको अंतर्दृष्टि पर ध्यान देना होगा, न कि इस पर कि टेस्ट जीता या हारा। हमेशा कुछ न कुछ सीखने को मिलता है, हमेशा कुछ न कुछ विश्लेषण करने को मिलता है। हारने वालों को खारिज न करें!

यहां ध्यान देने वाली सबसे महत्वपूर्ण बात सेगमेंटेशन की आवश्यकता है। एक टेस्ट समग्र रूप से हारने वाला हो सकता है, लेकिन संभावना है कि इसने कम से कम एक ऑडियंस सेगमेंट के साथ अच्छा प्रदर्शन किया हो।

यहां ऑडियंस सेगमेंट के कुछ उदाहरण हैं:

• नए विजिटर
• वापस आने वाले विजिटर
• iOS विजिटर
• Android विजिटर
• Chrome विजिटर
• Safari विजिटर
• डेस्कटॉप विजिटर
• टैबलेट विजिटर
• ऑर्गेनिक सर्च विजिटर
• पेड विजिटर
• सोशल मीडिया विजिटर
• लॉग-इन खरीदार

आप समझ गए, है न?

संभावना है कि परिकल्पना कुछ सेगमेंट के बीच सही साबित हुई हो। यह भी आपको कुछ बताता है।

विश्लेषण इस बारे में है कि टेस्ट जीतने वाला था या हारने वाला, इससे कहीं अधिक। सतह के नीचे छुपी अंतर्दृष्टि खोजने के लिए अपने डेटा को सेगमेंट करें।

A/B टेस्टिंग सॉफ्टवेयर आपके लिए यह विश्लेषण नहीं करेगा, इसलिए यह समय के साथ विकसित करने के लिए एक महत्वपूर्ण कौशल है।

अपने टेस्ट परिणामों को आर्काइव करें

मान लीजिए आप कल अपना पहला टेस्ट चलाते हैं। कल से दो साल बाद, क्या आपको उस टेस्ट का विवरण याद होगा? संभावना नहीं।

इसीलिए अपने A/B टेस्टिंग परिणामों को आर्काइव करना महत्वपूर्ण है। एक अच्छी तरह से बनाए रखे गए आर्काइव के बिना, आपकी सभी अंतर्दृष्टि खो जाएगी। इसके अलावा, यदि आप आर्काइव नहीं कर रहे हैं तो एक ही चीज़ को दो बार टेस्ट करना बहुत आसान है।

हालांकि, इसे करने का कोई "सही" तरीका नहीं है। आप Effective Experiments जैसे टूल का उपयोग कर सकते हैं, या आप एक सरल स्प्रेडशीट का उपयोग कर सकते हैं। यह वास्तव में आप पर निर्भर है, खासकर जब आप अभी शुरुआत कर रहे हों।

जो भी टूल आप उपयोग करें, सुनिश्चित करें कि आप इन चीजों का ट्रैक रख रहे हैं:

• टेस्ट की गई परिकल्पना
• कंट्रोल और वेरिएशन के स्क्रीनशॉट
• यह जीता या हारा
• विश्लेषण के माध्यम से प्राप्त अंतर्दृष्टि

जैसे-जैसे आप बढ़ेंगे, आप इस आर्काइव को बनाए रखने के लिए खुद को धन्यवाद देंगे। न केवल यह आपकी मदद करेगा, बल्कि यह नए कर्मचारियों और सलाहकारों/हितधारकों की भी मदद करेगा।

A/B टेस्टिंग के उदाहरण

तकनीकी विश्लेषण

क्या आपका स्टोर हर ब्राउज़र पर ठीक से और तेज़ी से लोड होता है? हर डिवाइस पर? हो सकता है आपके पास चमकदार नया स्मार्टफोन हो, लेकिन कहीं न कहीं कोई अभी भी 2005 का फ्लिप फोन इस्तेमाल कर रहा है। यदि आपकी साइट ठीक से और तेज़ी से काम नहीं करती, तो यह निश्चित रूप से उतना कन्वर्ट नहीं करती जितना हो सकता है।

ऑन-साइट सर्वे

ये आपके स्टोर के विजिटर के ब्राउज़ करते समय पॉप अप होते हैं। उदाहरण के लिए, एक ऑन-साइट सर्वे उन विजिटर से पूछ सकता है जो एक ही पेज पर काफी देर से हैं कि क्या कुछ उन्हें आज खरीदारी करने से रोक रहा है। यदि हां, तो क्या? आप इस गुणात्मक डेटा का उपयोग अपनी कॉपी और कन्वर्जन रेट को बेहतर बनाने के लिए कर सकते हैं।

ग्राहक साक्षात्कार

फोन पर बात करने और अपने ग्राहकों से बात करने का कोई विकल्प नहीं है। उन्होंने प्रतिस्पर्धी स्टोर के बजाय आपके स्टोर को क्यों चुना? जब वे आपकी साइट पर आए तो वे किस समस्या को हल करने की कोशिश कर रहे थे? आप लाखों सवाल पूछ सकते हैं कि आपके ग्राहक कौन हैं और वे वास्तव में आपसे क्यों खरीदते हैं।

ग्राहक सर्वे

ग्राहक सर्वे पूर्ण-लंबाई के सर्वे हैं जो उन लोगों के पास जाते हैं जिन्होंने पहले से ही खरीदारी की है (विजिटर के विपरीत)। ग्राहक सर्वे डिज़ाइन करते समय, आप इन पर ध्यान देना चाहते हैं: अपने ग्राहकों को परिभाषित करना, उनकी समस्याओं को परिभाषित करना, खरीदारी से पहले उनकी झिझक को परिभाषित करना, और उन शब्दों और वाक्यांशों की पहचान करना जिनका उपयोग वे आपके स्टोर का वर्णन करने के लिए करते हैं।

एनालिटिक्स विश्लेषण

क्या आपके एनालिटिक्स टूल आपके डेटा को ठीक से ट्रैक और रिपोर्ट कर रहे हैं? यह मूर्खतापूर्ण लग सकता है, लेकिन आप आश्चर्यचकित होंगे कि कितने एनालिटिक्स टूल गलत तरीके से कॉन्फ़िगर किए गए हैं। एनालिटिक्स विश्लेषण इस बारे में है कि आपके विजिटर कैसे व्यवहार करते हैं। उदाहरण के लिए, आप फ़नल पर ध्यान दे सकते हैं: आपके सबसे बड़े कन्वर्जन फ़नल लीक कहाँ हैं? दूसरे शब्दों में, अधिकांश लोग आपके फ़नल से कहाँ बाहर निकल रहे हैं? यह टेस्टिंग शुरू करने के लिए एक अच्छी जगह है।

यूजर टेस्टिंग

यह वह जगह है जहाँ आप वास्तविक लोगों को एक पेड, नियंत्रित प्रयोग में आपकी साइट पर कार्य करने की कोशिश करते हुए देखते हैं। उदाहरण के लिए, आप उनसे ₹3,000 से ₹5,000 की रेंज में एक वीडियो गेम खोजने और इसे अपनी कार्ट में जोड़ने को कह सकते हैं। जब वे ये कार्य कर रहे होते हैं, तो वे अपने विचारों और कार्यों को जोर से बयान करते हैं।

सेशन रिप्ले

सेशन रिप्ले यूजर टेस्टिंग के समान हैं, लेकिन अब आप वास्तविक पैसे और वास्तविक खरीदारी के इरादे वाले वास्तविक लोगों से निपट रहे हैं। आप देखेंगे कि आपके वास्तविक विजिटर आपकी साइट पर कैसे नेविगेट करते हैं। उन्हें क्या खोजने में परेशानी होती है? वे कहाँ निराश होते हैं? वे कहाँ भ्रमित लगते हैं?

अतिरिक्त प्रकार के रिसर्च भी हैं, लेकिन आपके लिए सबसे अच्छी A/B टेस्टिंग विधि चुनकर शुरुआत करें। यदि आप इनमें से कुछ के माध्यम से चलते हैं, तो आपके पास टेस्ट करने योग्य डेटा-आधारित आइडिया की एक बड़ी सूची होगी।

📚और जानें: आपके ईकॉमर्स स्टोर के लिए 7 कार्यात्मक A/B टेस्टिंग उदाहरण

प्रोफेशनल्स की A/B टेस्टिंग प्रक्रिया

अब जब आप एक मानक A/B टेस्टिंग ट्यूटोरियल से गुज़र चुके हैं, तो आइए प्रोफेशनल्स की सटीक प्रक्रियाओं पर एक नज़र डालते हैं।

क्रिस्टा सीडन, केएस डिजिटल

वेब और ऐप A/B टेस्टिंग के लिए मेरी चरणबद्ध प्रक्रिया विश्लेषण से शुरू होती है—मेरी राय में, यह किसी भी अच्छे टेस्टिंग प्रोग्राम का मूल है। विश्लेषण चरण में, लक्ष्य आपके एनालिटिक्स डेटा, सर्वे या UX डेटा, या ग्राहक अंतर्दृष्टि के किसी भी अन्य स्रोत की जांच करना है जो आपके पास हो सकता है ताकि यह समझा जा सके कि ऑप्टिमाइजेशन के लिए आपके अवसर कहाँ हैं।

एक बार जब आपके पास विश्लेषण चरण से आइडिया की एक अच्छी पाइपलाइन हो जाए, तो आप परिकल्पना बनाने की ओर बढ़ सकते हैं कि क्या गलत हो सकता है और आप इन ऑप्टिमाइजेशन क्षेत्रों को संभावित रूप से कैसे ठीक या बेहतर बना सकते हैं।

अगला, अपने टेस्ट बनाने और चलाने का समय है। उन्हें उचित समय के लिए चलाना सुनिश्चित करें (मैं सप्ताह-दर-सप्ताह बदलाव या विसंगतियों के लिए जिम्मेदार होने के लिए दो सप्ताह को डिफ़ॉल्ट करता हूं), और जब आपके पास पर्याप्त डेटा हो, तो अपने विजेता को निर्धारित करने के लिए अपने परिणामों का विश्लेषण करें।

इस चरण में हारने वालों का भी विश्लेषण करने के लिए कुछ समय लेना महत्वपूर्ण है—आप इन वेरिएशन से क्या सीख सकते हैं?

अंत में, और आप इस चरण तक केवल तभी पहुंच सकते हैं जब आपने एक ठोस ऑप्टिमाइजेशन प्रोग्राम की नींव रखने में समय बिताया हो, व्यक्तिगतकरण को देखने का समय है। इसके लिए जरूरी नहीं कि फैंसी टूल सेट की आवश्यकता हो, बल्कि यह आपके यूजर के बारे में आपके पास मौजूद डेटा से आ सकता है।

मार्केटिंग व्यक्तिगतकरण सही स्थानों पर सही कंटेंट को टारगेट करने जितना आसान हो सकता है या व्यक्तिगत यूजर कार्यों के आधार पर टारगेटिंग जितना जटिल हो सकता है। हालांकि व्यक्तिगतकरण बिट पर एक साथ न कूदें। सुनिश्चित करें कि आप पहले बुनियादी बातों को सही करने के लिए पर्याप्त समय बिताते हैं।

एलेक्स बर्केट, ऑम्निसिएंट डिजिटल

उच्च स्तर पर, मैं इस प्रक्रिया का पालन करने की कोशिश करता हूं:

• डेटा एकत्र करें और सुनिश्चित करें कि एनालिटिक्स कार्यान्वयन सटीक हैं।
• डेटा का विश्लेषण करें और अंतर्दृष्टि खोजें।
• अंतर्दृष्टि को परिकल्पनाओं में बदलें।
• प्रभाव और आसानी के आधार पर प्राथमिकता दें, और संसाधनों (विशेष रूप से तकनीकी संसाधनों) के आवंटन को अधिकतम करें।
• एक टेस्ट चलाएं (मेरे ज्ञान और क्षमता के अनुसार सांख्यिकी सर्वोत्तम प्रथाओं का पालन करते हुए)।
• परिणामों का विश्लेषण करें और परिणामों के अनुसार लागू करें या न करें।
• निष्कर्षों के आधार पर दोहराएं, और दोहराएं।

सरल शब्दों में: रिसर्च, टेस्ट, विश्लेषण, दोहराएं।

जबकि यह प्रक्रिया संदर्भ के आधार पर विचलित या बदल सकती है (क्या मैं एक व्यावसायिक-महत्वपूर्ण उत्पाद सुविधा का टेस्ट कर रहा हूं? एक ब्लॉग पोस्ट CTA? जोखिम प्रोफ़ाइल और नवाचार बनाम जोखिम शमन का संतुलन क्या है?), यह किसी भी आकार या प्रकार की कंपनी के लिए काफी लागू है।

मुद्दा यह है कि यह प्रक्रिया चुस्त है, लेकिन यह पर्याप्त डेटा भी एकत्र करती है, दोनों गुणात्मक ग्राहक फीडबैक और मात्रात्मक एनालिटिक्स, ताकि बेहतर टेस्ट आइडिया के साथ आने और उन्हें बेहतर प्राथमिकता देने में सक्षम हो सकें ताकि आप अपने ऑनलाइन स्टोर पर ट्रैफिक बढ़ा सकें।

टोन वेसेलिंग, ऑनलाइन डायलॉग

जब हम किसी ग्राहक यात्रा को ऑप्टिमाइज़ करना चाहते हैं तो हम हमेशा पहला सवाल यह जवाब देते हैं: यह उत्पाद या सेवा हमारे Online Dialogue में बनाए गए ROAR मॉडल पर कहाँ फिट होती है? क्या आप अभी भी जोखिम चरण में हैं, जहाँ हम बहुत सारी रिसर्च कर सकते हैं लेकिन ऑनलाइन A/B टेस्ट प्रयोगों के माध्यम से अपने निष्कर्षों को मान्य नहीं कर सकते (प्रति माह 1,000 कन्वर्जन से कम), या आप ऑप्टिमाइजेशन चरण में हैं? या इससे भी ऊपर?

• जोखिम चरण: बहुत सारी रिसर्च, जो व्यावसायिक मॉडल पिवट से लेकर पूरी तरह से नए डिज़ाइन और वैल्यू प्रपोज़िशन तक किसी भी चीज़ में अनुवादित होगी।
• ऑप्टिमाइजेशन चरण: बड़े प्रयोग जो वैल्यू प्रपोज़िशन और व्यावसायिक मॉडल को ऑप्टिमाइज़ करेंगे, साथ ही यूजर व्यवहार परिकल्पनाओं को मान्य करने के लिए छोटे प्रयोग, जो बड़े डिज़ाइन परिवर्तनों के लिए ज्ञान का निर्माण करेंगे।
• स्वचालन: आपके पास अभी भी प्रयोग शक्ति (विजिटर) बची है, जिसका अर्थ है कि आपकी पूर्ण टेस्ट क्षमता आपकी यूजर यात्रा को मान्य करने के लिए आवश्यक नहीं है। जो बचा है उसका उपयोग शोषण के लिए किया जाना चाहिए, अब तेज़ी से बढ़ने के लिए (दीर्घकालिक शिक्षा पर ध्यान दिए बिना)। यह बैंडिट चलाकर/एल्गोरिदम का उपयोग करके स्वचालित हो सकता है।
• पुनर्विचार: आप बहुत सारी रिसर्च जोड़ना बंद कर देते हैं, जब तक कि यह कुछ नए के लिए पिवट न हो।

तो वेब या ऐप A/B टेस्टिंग केवल ROAR के ऑप्टिमाइजेशन चरण और उससे आगे (पुनर्विचार तक) में एक बड़ी चीज़ है।

प्रयोग चलाने के लिए हमारा दृष्टिकोण FACT & ACT मॉडल है:

हमारी रिसर्च हमारे 5V मॉडल पर आधारित है:

हम इन सभी अंतर्दृष्टियों को एक मुख्य रिसर्च-समर्थित परिकल्पना के साथ आने के लिए एकत्र करते हैं, जो उप-परिकल्पनाओं का नेतृत्व करेगी जिन्हें डेस्कटॉप या मोबाइल A/B टेस्टिंग के माध्यम से एकत्र किए गए डेटा के आधार पर प्राथमिकता दी जाएगी। परिकल्पना के सच होने की संभावना जितनी अधिक होगी, उसकी रैंकिंग उतनी ही अधिक होगी।

एक बार जब हम सीख जाते हैं कि हमारी परिकल्पना सच है या झूठी, तो हम शिक्षा को जोड़ना शुरू कर सकते हैं और ग्राहक यात्रा के बड़े हिस्सों को फिर से डिज़ाइन/पुनर्संरेखित करके बड़े कदम उठा सकते हैं। हालांकि, किसी बिंदु पर, सभी जीतने वाले कार्यान्वयन एक स्थानीय अधिकतम तक ले जाएंगे। फिर आपको संभावित वैश्विक अधिकतम तक पहुंचने में सक्षम होने के लिए एक बड़ा कदम उठाना होगा।

और, निश्चित रूप से, मुख्य शिक्षा पूरी कंपनी में फैलाई जाएगी, जो आपकी मान्य प्रथम-पक्ष अंतर्दृष्टि के आधार पर सभी प्रकार के व्यापक ऑप्टिमाइजेशन और नवाचार की ओर ले जाती है।

क्या आप अंतर्राष्ट्रीय दर्शकों के लिए मार्केटिंग कर रहे हैं? स्यूडो-लोकलाइज़ेशन के साथ उस प्रक्रिया को आसान बनाना सीखें।

जूलिया स्टारोस्टेंको, पिनटेरेस्ट

एक प्रयोग का उद्देश्य यह मान्य करना है कि मौजूदा वेबपेज में बदलाव करने से व्यवसाय पर सकारात्मक प्रभाव पड़ेगा।

शुरू करने से पहले, यह निर्धारित करना महत्वपूर्ण है कि क्या प्रयोग चलाना वास्तव में आवश्यक है। निम्नलिखित परिदृश्य पर विचार करें: एक बटन है जिसकी क्लिक दर बेहद कम है। इस बटन के प्रदर्शन को कम करना लगभग असंभव होगा। इसलिए बटन में प्रस्तावित बदलाव की प्रभावशीलता को मान्य करना (यानी, एक प्रयोग चलाना) आवश्यक नहीं है।

इसी तरह, यदि बटन में प्रस्तावित बदलाव छोटा है, तो शायद प्रयोग सेट करने, निष्पादित करने और तोड़ने में समय बिताना उचित नहीं है। इस मामले में, बदलाव को सभी के लिए रोल आउट किया जाना चाहिए और बटन के प्रदर्शन की निगरानी की जा सकती है।

यदि यह निर्धारित किया जाता है कि प्रयोग चलाना वास्तव में फायदेमंद होगा, तो अगला कदम उन व्यावसायिक मेट्रिक्स को परिभाषित करना है जिन्हें बेहतर बनाया जाना चाहिए (जैसे, बटन की कन्वर्जन दर बढ़ाना)। फिर हम सुनिश्चित करते हैं कि उचित डेटा संग्रह मौजूद है।

एक बार यह पूरा हो जाने पर, ऑडियंस को यादृच्छिक रूप से चलाया जाता है, दो समूहों के बीच स्प्लिट टेस्टिंग: एक समूह को बटन का मौजूदा वर्जन दिखाया जाता है जबकि दूसरे समूह को नया वर्जन मिलता है। प्रत्येक ऑडियंस की कन्वर्जन दर की निगरानी की जाती है, और एक बार सांख्यिकीय महत्व तक पहुंचने पर, प्रयोग के परिणाम निर्धारित किए जाते हैं।

पीप लाजा, सीएक्सएल

A/B टेस्टिंग एक बड़ी कन्वर्जन ऑप्टिमाइजेशन तस्वीर का हिस्सा है। मेरी राय में, यह रिसर्च के बारे में 80% और टेस्टिंग के बारे में केवल 20% है। कन्वर्जन रिसर्च आपको यह निर्धारित करने में मदद करेगी कि पहले क्या टेस्ट करना है।

मेरी प्रक्रिया आमतौर पर इस तरह दिखती है (एक सरलीकृत सारांश):

1. आपकी साइट पर समस्याओं की पहचान करने के लिए ResearchXL जैसे फ्रेमवर्क का उपयोग करके कन्वर्जन रिसर्च करें।
2. एक उच्च प्राथमिकता समस्या चुनें (जो बड़ी संख्या में यूजर को प्रभावित करती है और एक गंभीर समस्या है), और इस समस्या के लिए जितने समाधान हो सकें उतने पर विचार करें। अपनी कन्वर्जन रिसर्च अंतर्दृष्टि के साथ अपनी आइडिएशन प्रक्रिया को सूचित करें। निर्धारित करें कि आप किस डिवाइस पर टेस्ट चलाना चाहते हैं (आपको डेस्कटॉप से अलग मोबाइल A/B टेस्टिंग चलाना होगा)।
3. निर्धारित करें कि आप कितने वेरिएशन का टेस्ट कर सकते हैं (आपके ट्रैफिक/लेनदेन स्तर के आधार पर), और फिर कंट्रोल के खिलाफ टेस्ट करने के लिए समाधान के लिए अपने सर्वोत्तम एक से दो आइडिया चुनें।
4. सटीक उपचारों को वायरफ्रेम करें (कॉपी लिखें, डिज़ाइन परिवर्तन करें, आदि)। परिवर्तनों के दायरे के आधार पर, आपको नए तत्वों को डिज़ाइन करने के लिए एक डिज़ाइनर को भी शामिल करना पड़ सकता है।
5. अपने फ्रंट-एंड डेवलपर से अपने टेस्टिंग टूल में उपचारों को लागू करवाएं। आवश्यक एकीकरण (Google Analytics) सेट करें और उपयुक्त लक्ष्य सेट करें।
6. टेस्ट पर QA करें (टूटे हुए टेस्ट अब तक के सबसे बड़े A/B टेस्टिंग किलर हैं) यह सुनिश्चित करने के लिए कि यह हर ब्राउज़र/डिवाइस कॉम्बो के साथ काम करता है।
7. टेस्ट लॉन्च करें!
8. एक बार टेस्ट पूरा हो जाने पर, पोस्ट-टेस्ट विश्लेषण करें।
9. परिणाम के आधार पर, या तो विजेता को लागू करें, उपचारों पर दोहराएं, या जाकर कुछ और टेस्ट करें।

A/B टेस्टिंग में सामान्य गलतियां

एक साथ बहुत सारे वेरिएबल टेस्ट करना

जब आप एक साथ दो वेरिएबल की तुलना करते हैं, तो आप यह निर्धारित नहीं कर सकते कि किस बदलाव ने प्रभाव पैदा किया।

मान लीजिए आप एक लैंडिंग पेज को ऑप्टिमाइज़ करना चाहते हैं। केवल हेडलाइन टेस्ट करने के बजाय, आप टेस्ट करते हैं:

• कॉल-टू-एक्शन टेक्स्ट
• CTA बटन रंग
• हेडर इमेज
• हेडलाइन

कन्वर्जन रेट बढ़ जाते हैं, लेकिन आप यह नहीं बता सकते कि कौन सा बदलाव जिम्मेदार था। यदि आप एक समय में एक वेरिएबल का टेस्ट करते हैं, तो आप प्रत्येक बदलाव के प्रभाव को अलग कर सकते हैं और अधिक सटीक परिणाम प्राप्त कर सकते हैं।

विचार करें: मल्टीवेरिएट टेस्टिंग एक विकल्प है यदि आप यह समझना चाहते हैं कि कई वेरिएबल एक दूसरे के साथ कैसे इंटरैक्ट करते हैं। लेकिन मल्टीवेरिएट टेस्ट चलाने के लिए, आपको अधिक ट्रैफिक और पहले से ही अच्छी तरह से ऑप्टिमाइज़ किए गए पेज की आवश्यकता होती है ताकि उस पर वृद्धिशील सुधार किए जा सकें। प्रक्रिया A/B टेस्ट चलाने से कहीं अधिक जटिल है।

अपर्याप्त सैंपल साइज़

आपके A/B टेस्ट परिणामों की विश्वसनीयता उपयोग किए गए सैंपल साइज़ पर निर्भर करती है। छोटे सैंपल गलत सकारात्मक और नकारात्मक का कारण बन सकते हैं, जिससे यह निष्कर्ष निकालना मुश्किल हो जाता है कि क्या अंतर आपके बदलावों का परिणाम है या यादृच्छिक संयोग।

कल्पना करें कि आप एक प्रोडक्ट पेज के दो वर्जन का टेस्ट कर रहे हैं यह देखने के लिए कि कौन सा अधिक खरीदारी दर की ओर ले जाता है। आप ट्रैफिक को विभाजित करते हैं लेकिन वर्जन A में केवल 100 विजिटर और वर्जन B में 100 विजिटर के साथ समाप्त होते हैं।

यदि वर्जन A की कन्वर्जन दर 6% है, और वर्जन B की 5% है, तो आप सोच सकते हैं कि वर्जन A बेहतर है। लेकिन, प्रति वर्जन केवल 100 विजिटर के साथ, यह सांख्यिकीय रूप से महत्वपूर्ण नहीं है। यह संभव है कि यदि आपने अधिक विजिटर के साथ टेस्ट किया होता, तो परिणाम अलग हो सकते थे।

एक स्वस्थ सैंपल साइज़ निर्धारित करने का सबसे अच्छा तरीका सैंपल साइज़ कैलकुलेटर के साथ है।

छोटी टेस्टिंग अवधि

अपना A/B टेस्ट कम से कम एक, आदर्श रूप से दो, पूर्ण व्यावसायिक चक्रों के लिए चलाएं। केवल इसलिए अपना टेस्ट न रोकें कि आपने महत्व तक पहुंच लिया है। आपको अपने पूर्व निर्धारित सैंपल साइज़ को भी पूरा करना होगा। अंत में, सभी टेस्ट को पूर्ण-सप्ताह की वृद्धि में चलाना न भूलें।

दो पूर्ण व्यावसायिक चक्र क्यों? शुरुआत के लिए, दो चक्र आपको इसके लिए जिम्मेदार होने में मदद करते हैं:

1. "मुझे इसके बारे में सोचना है" खरीदार।
2. विभिन्न ट्रैफिक स्रोत (Facebook, ईमेल न्यूज़लेटर, ऑर्गेनिक सर्च, आदि)
3. विसंगतियां। उदाहरण के लिए, आपका शुक्रवार ईमेल न्यूज़लेटर।

दो व्यावसायिक चक्र आमतौर पर आपके टारगेट ऑडियंस के यूजर व्यवहार में मूल्यवान अंतर्दृष्टि प्राप्त करने के लिए पर्याप्त समय होते हैं।

यदि आपने किसी भी प्रकार के A/B टेस्ट लैंडिंग पेज टेस्टिंग टूल का उपयोग किया है, तो आप संभवतः छोटे हरे "सांख्यिकीय रूप से महत्वपूर्ण" आइकन से परिचित हैं।

दुर्भाग्य से, कई लोगों के लिए, यह "टेस्ट पक गया है, इसे कॉल करें" का सार्वभौमिक संकेत है। जैसा कि आप नीचे सीखेंगे, केवल इसलिए कि A/B टेस्ट सांख्यिकीय महत्व तक पहुंच गया है, इसका मतलब यह नहीं है कि आपको टेस्ट रोक देना चाहिए।

यूजर सेगमेंटेशन को नज़रअंदाज़ करना

यदि आप विभिन्न यूजर सेगमेंट पर विचार नहीं करते हैं, तो आपको सामान्यीकृत परिणाम मिलेंगे जो हर किसी पर लागू नहीं हो सकते।

यूजर को जनसांख्यिकी, व्यवहार या अन्य प्रासंगिक कारकों द्वारा सेगमेंट करना सहायक है। जो नए यूजर के लिए काम करता है वह वापस आने वाले यूजर के लिए काम नहीं कर सकता। यदि आप सेगमेंट नहीं करते हैं, तो आप मुख्य यूजर समूहों को अलग कर देंगे और अपने टेस्ट की अखंडता को खतरे में डालेंगे।

अपने व्यवसाय के लिए A/B टेस्टिंग को ऑप्टिमाइज़ करें

आपके पास प्रक्रिया है, आपके पास शक्ति है! तो, वहां जाएं, सबसे अच्छा A/B टेस्टिंग सॉफ्टवेयर प्राप्त करें, और अपने स्टोर का टेस्ट करना शुरू करें। इससे पहले कि आप जानें, वे अंतर्दृष्टि बैंक में अधिक पैसे के रूप में जुड़ जाएंगी।

यदि आप ऑप्टिमाइजेशन के बारे में सीखना जारी रखना चाहते हैं, तो एक मुफ्त कोर्स लेने पर विचार करें, जैसे Udacity का Google द्वारा A/B टेस्टिंग। आप अपने ऑप्टिमाइजेशन कौशल सेट को बढ़ाने के लिए वेब और मोबाइल ऐप A/B टेस्टिंग के बारे में अधिक जान सकते हैं।