เวลาพูดถึง A/B Testing เพื่อน ๆ น่าจะนึกถึงการ Compare Design 2 เวอร์ชั่นใช่ไหมครับ หรือหลาย ๆ ครั้งก็มักจะมีมากกว่า 2 เวอร์ชั่น ซึ่งของที่เอามาเทียบ อาจจะเป็น Design ที่เป็น Wireframe เฉย ๆ High/Mid-fidelity Design หรืออาจจะเป็น Product ที่ Live แล้วก็ได้ (Facebook ทำบ่อย)

ซึ่งของที่เอามาเทียบที่ต่างกัน ก็จะทำให้ Tool ที่ต้องใช้ต่างกัน รวมถึง Aspect ที่จะเทสก็อาจจะต่างกันด้วย เพราะ A/B Testing จริง ๆ มันจะต้องวัด Conversion ถ้าเป็นแนวแบบเอา Design หลาย ๆ แบบให้ User ดูเพื่อ Get Impression/Feedback ในบางมุม แบบนั้นจะเรียกว่า Concept Test มากกว่า (แต่ภาษาก็เป็นสิ่งที่ดิ้นได้อ่ะนะ ก็ยังเจอคนเรียกมันว่า A/B Testing อยู่ดีในการทำงานจริง ซึ่งเราก็เข้าใจ)

ทีนี้มาพูดถึง Objective ในการทำ A/B Testing

หลัก ๆ คือมันใช้เป็น Optimization Technique สำหรับวัดว่า Design Version ไหนจะช่วยให้เรา (หรือ Product ของเรา) Move เข้าใกล้ Business Goal มากที่สุด ซึ่งก็มักจะเป็น CTA (Call-to-action) สำคัญ ๆ บน Product ของเรา เช่น ปุ่มซื้อ, ปุ่มจอง เป็นต้น

พวกนี้ฟังดูเหมือนเล็ก ๆ แต่ใช้ดี ก็จะสามารถ Drive Business ให้ Grow แบบ Significantly จริง ๆ นึกภาพว่าถ้า Business เราเป็น Agoda แล้วเปลี่ยน Design บางอย่างที่ทำให้คนที่หลุดเข้ามาถึง Flow นี้ Drop-off น้อยลง Convert มากขึ้นแค่ 2-3% แค่นี้ก็เป็นเงินมหาศาลในระยะยาวแล้ว!

ไอเดียเวลาทำ

หลัก ๆ ก็คือเราจะ Random User ให้เข้าไปใน Path A or B (or C and so on) เวลาเข้ามาใช้ Product ของเรา แล้วก็ทำการวัดผลพวก Conversion สำหรับ CTA หลัก ๆ ที่เป็น Metric สำคัญ

ตอน Dev จริง คือจะต้องอาศัยการ Integrate พวก Product Analytics ที่มีความสามารถในการทำ A/B Testing (ซึ่งตัวดัง ๆ สมัยนี้มีหมดแหละ) เช่น Optimizely, Mixpanel, Firebase, etc. เพื่อ Set พวก Variations ว่าอยากจะ Test ส่วนไหน อยากจะให้อะไรที่โชว์บนเว็บ เช่น ตัวหนังสือตรงนี้ ตัวเลข Promotion ตรงนี้ สีของปุ่มนี้ ตำแหน่งของปุ่มนี้ มีกี่ Variation แต่ละ Variation เป็นยังไง และก็จะให้วัดผล Event อะไรสำหรับใช้เป็นตัววัด Score เพื่อเทียบกัน

‍

ซึ่ง Tool พวกนี้ก็ไม่ใช่ Plug-and-play ซะทีเดียว คือยังต้องรู้ Technical พอสมควรในการ Implement จริง และบ่อยครั้งก็คือถ้าทำร่วมกันกับหลาย ๆ ฝ่าย รวมถึงการ Design Experiment ที่ดี ก็จะต้องแพลนและคิดให้รอบคอบประมาณนึง ไม่งั้นผลที่ได้จะไม่ค่อยมีประโยชน์ หรือไม่ก็ไปใช้ตัวชี้วัดที่มันผิดจุด ตรงนี้แหละ ที่ทำให้เวลาเราเลือกจะทำ A/B Testing ควรเลือกทำในส่วนที่มัน Impactful เพราะในการ Setup การทดลองมันไม่ได้ Cost น้อยขนาดนั้น

สุดท้ายนี้ ก็คือมีการกำหนดเวลาการทดลอง ขึ้นอยู่กับ Traffic ของ Product เราเหมือนกันว่ามี DAU (Daily Active Users), MAU (Monthly Active Users) ขนาดไหน ส่วนใหญ่ก็ประมาณเดือนนึง แล้วค่อยมาสรุปผลแล้วดูว่าจะยังไงต่อ จะ Iterate อะไรไหม พอจะสรุปผลได้ไหม หรือควรจะทำร่วมกับ Design Research Method ประเภทอื่นไหม เพื่อ Find out why

ซึ่งพอกล่าวมาถึงตรงนี้ก็จะเห็นได้ถึงข้อจำกัดอีกอย่างว่า จะต้องเป็น Product ที่มี Traffic ประมาณนึง ไม่งั้นมันจะไม่มี Data เข้ามามากพอที่จะ Analyze

A/B Testing บอกอะไร

A/B Testing จะช่วย Assess พวก Design/Communication Aspect บางอย่าง เช่น Text Copy (ซึ่งดูเหมือนจะเป็นเรื่องเล็ก แต่จริง ๆ การสื่อสารบน Product เราในบางจุดมีผลมาก ซึ่งอันนี้อาจจะกินไปถึงฝั่ง Marketing ด้วย เช่นกรณีที่เราพยายามวัดผลพวก Promotional Campaign), ดีไซน์ของ Form, ดีไซน์ของปุ่ม CTA (ที่อยู่ Placement, ขนาด, สี, Label, etc.)

A/B Testing ไม่ได้บอกอะไร

ผลลัพธ์ที่ได้ไม่ได้เป็นตัวฟันธง Design ที่ชนะอาจจะไม่ได้ถูกต้องเสมอไป เพราะคุณภาพของ A/B Testing อยู่ที่การออกแบบ Experiment ที่ดีด้วย ข้อใหญ่อีกอย่างคือมันไม่ได้อธิบาย “Why” ว่าทำไม Design A ถึงชนะ เป็นต้น เพราะงั้นควรทำร่วมกับ Qualitative ด้วยเพื่อขุดต่อว่าทำไม

เป็นยังไงกันบ้างครับ หวังว่า Post นี้จะช่วยตอบข้อสงสัยว่าใน Context ของแต่ละคน ควรจะใช้ A/B Testing ไหม หรือถ้าจะใช้มีข้อควรระวังอะไรบ้าง ส่วนเพื่อน ๆ คนไหนมีประสบการณ์อะไรก็ Share ได้เลยครับ จะได้เรียนรู้ซึ่งกันและกันครับ!

‍