A/B Test โฆษณาเมื่อข้อมูลยังน้อย: ตั้งสมมติฐานและเกณฑ์หยุดอย่างไร

ยิงโฆษณาไปได้สองสัปดาห์ โฆษณา A มีคนกรอกฟอร์ม 4 คน ส่วน B ได้ 3 คน แบบนี้สรุปว่า "A ชนะ" แล้วปิด B ได้เลยไหม — ยังสรุปไม่ได้ ถ้าข้อมูลยังน้อย ความต่างแค่ครั้งสองครั้งอาจเป็นความบังเอิญของกลุ่มตัวอย่าง (noise) ไม่ใช่ความต่างที่เกิดจากตัวโฆษณาจริง ๆ

บทความนี้จะพาไปดูวิธีออกแบบการทดสอบ A/B ให้อ่านผลได้จริง เมื่อธุรกิจ SME มี conversion แค่ไม่กี่ครั้งต่อเดือน โดยสโคปที่เครื่องมือ Experiment ใน Google Ads เป็นหลัก ตัวอย่างทั้งหมดเป็นสถานการณ์สมมติ ไม่ใช่ผลลัพธ์ของลูกค้าจริง และไม่รับประกันว่าทุกแคมเปญต้องรอเท่ากัน

ทำไมข้อมูลน้อยถึงสรุปเร็วไม่ได้

Google Ads รายงานผล Experiment เป็น "ช่วง" ไม่ใช่ตัวเลขเดียว โดยระบุว่าถ้าเลือก confidence interval 95% ค่าที่สองจะแสดงช่วงความต่างของประสิทธิภาพที่อาจเกิดขึ้นระหว่าง experiment กับแคมเปญเดิม ตัวอย่างเช่นถ้าเห็น [+8%, +12%] หมายความว่าประสิทธิภาพอาจสูงขึ้นได้ตั้งแต่ 8% ถึง 12%.[2]

เบื้องหลังการคำนวณ Google ใช้วิธี Jackknife resampling บนข้อมูลแบบ bucket เพื่อหาความแปรปรวนของตัวอย่างของเปอร์เซ็นต์การเปลี่ยนแปลง แล้วรัน two-tailed significance test ที่ 95% confidence interval.[5]

ถ้าสถานะของ experiment ขึ้นว่า "No clear winner" หรือ "In progress" แปลว่ายังตัดสิน winner ไม่ได้หรือข้อมูลยังไม่พอ Google แนะนำให้รัน experiment ต่อ 2–3 สัปดาห์เพื่อเก็บข้อมูล และถ้ายังไม่ชัด อาจต้องเพิ่มงบหรือรันนานขึ้นเพื่อให้ได้ข้อมูลพอ.[2] ส่วนสาเหตุที่ผล "not statistically significant" มักมาจาก: รันไม่นานพอ, แคมเปญได้รับ traffic ไม่พอ, หรือ split ของ traffic น้อยเกินไปจน experiment ได้ข้อมูลไม่พอ.[2]

แปลเป็นภาษาธุรกิจ: conversion น้อย ๆ ยังอยู่ในช่วงความคลาดเคลื่อน การเห็น A มากกว่า B หนึ่งครั้งยังไม่ใช่หลักฐานว่า A ดีกว่าจริง

เริ่มจากตั้งสมมติฐานก่อนเปิดทดสอบ

Google แนะนำให้ตั้ง hypothesis ให้ชัดก่อน โดย hypothesis ควรอธิบายว่าทำไมต้องรัน experiment และผูกกับเป้าหมายทางธุรกิจ.[1]

รูปแบบสมมติฐานที่เขียนได้ง่าย: "ถ้าเราเปลี่ยน [ตัวแปรหนึ่งตัว] จาก [แบบเดิม] เป็น [แบบใหม่] เราคิดว่า [metric เป้าหมาย] จะดีขึ้น เพราะ [เหตุผลที่อิงจากกลุ่มลูกค้าจริง]"

ตัวอย่างสมมติ: "ถ้าเปลี่ยนหัวข้อโฆษณาจากเน้นราคาโปรโมชัน เป็นเน้นทีมผ่านการอบรมและมีประกัน เราคิดว่าจำนวนการจองนัดจะสูงขึ้น เพราะลูกค้ากลุ่มนี้ตัดสินใจจากความน่าเชื่อถือมากกว่าราคา"

เปลี่ยนทีละหนึ่งตัวแปร และเลือก metric ก่อนเริ่ม

Google ระบุตรง ๆ ว่าให้ "test one variable at a time" เพราะถ้าทดสอบมากกว่าหนึ่งตัวแปรพร้อมกัน จะบอกไม่ได้ว่าองค์ประกอบไหนเป็นตัวทำให้ผลดีขึ้น.[1] ตัวอย่างเช่นถ้าจะเทียบหัวข้อโฆษณาสองแบบ แต่ดันเปลี่ยน bidding strategy ไปพร้อมกัน จะแยกไม่ออกว่าผลเปลี่ยนเพราะหัวข้อหรือเพราะ bid.[1]

และให้เลือกหนึ่งถึงสอง metric ไว้วัดความสำเร็จก่อนเริ่มทดสอบ.[1] สำหรับ SME เลือกตัวที่ตรงกับเป้าหมายจริง เช่น conversion (ฟอร์ม/โทร/แชต) หรือ cost per conversion อย่าเปิดหลายตัวจนตัดสินใจไม่ได้

ถ้ายังไม่แน่ใจว่า conversion ที่ตั้งไว้ตรงกับผลจริงหรือเปล่า อ่านต่อที่ Google Ads กับ GA4 ตัวเลข Conversion ไม่เท่ากัน

กำหนดเกณฑ์หยุดก่อนเปิด ไม่ใช่ตัดสินใจกลางทาง

ระยะเวลาที่แนะนำขึ้นกับประเภทการทดสอบ อย่าเอาเลขเดียวไปใช้กับทุกกรณี:

Experiment ทั่วไป: ถ้าสถานะยัง "No clear winner / In progress" Google แนะนำให้รันต่อ 2–3 สัปดาห์.[2]
คำแนะนำใน FAQ: แนะนำให้รัน experiment อย่างน้อย 4–6 สัปดาห์ (หรือนานกว่านั้นถ้า conversion มี delay ยาว) และ 7 วันแรกของข้อมูลจะถูกตัดออกเพื่อชดเชยช่วง ramp-up.[4]
ทดสอบกลยุทธ์ bid: เลือกแคมเปญและการ split ที่จะให้ได้อย่างน้อย 30 conversions ในช่วง 30 วันที่ผ่านมา โดยไทม์ไลน์คือ Day 1–14 ให้ ramp-up (ตัดช่วงนี้ออกจากผลเสมอ), Day 14–44 รันต่อเนื่องอย่างน้อย 30 วัน และบวกระยะ conversion lag ท้าย.[3]

ตัวเลขสามชุดนี้เป็นคนละบริบท: "2–3 สัปดาห์" คือคำแนะนำให้รอจนข้อมูลพอสำหรับ experiment ทั่วไป, "4–6 สัปดาห์" มาจาก FAQ, และ "30 conversions/30 วัน" เป็นเงื่อนไขของการทดสอบ bid — อย่ารวมเป็นกฎเดียว

ตัวอย่างสมมติ: บริการทำความสะอาดบ้านรายเดือน

สมมติธุรกิจบริการทำความสะอาดบ้านรายเดือน มีคนจองนัดเข้ามาเฉลี่ยประมาณ 10 ครั้งต่อเดือน อยากรู้ว่าหัวข้อโฆษณาแบบไหนทำให้คนกดจองมากขึ้น

ตัวแปรเดียวที่เปลี่ยน: หัวข้อโฆษณา — A = "โปรโมชันเดือนนี้ ลดทันที" / B = "ทีมผ่านการอบรม มีประกัน"
metric: conversion = การจองนัดสำรวจ
สมมติฐาน: B น่าจะได้ conversion มากกว่า เพราะลูกค้าเลือกจากความน่าเชื่อถือ

ตารางอ่านผล (ตัวเลขสมมติ เพื่อให้เห็นวิธีคิดเท่านั้น):

สัปดาห์	A (จอง)	B (จอง)	อ่านผล	ทำอะไรต่อ
1	2	2	ยังสรุปไม่ได้	รันต่อ
2	4	3	ต่างนิดเดียว	รันต่อ รอข้อมูลเพิ่ม
3	6	5	ช่วงยังทับกัน	รันต่อให้ครบอย่างน้อย 2–3 สัปดาห์
4	8	7	ยังไม่ชัด	ดู confidence interval / เพิ่มงบ หรือรันนานขึ้น

สิ่งที่ควรดูไม่ใช่ "B ตามหลัง A หนึ่งครั้ง" แต่เป็นช่วง confidence interval ที่เครื่องมือแสดง และสถานะ winner ว่ายัง "In progress" อยู่หรือไม่ ตัวอย่างนี้เป็นสถานการณ์สมมติ ไม่ใช่ผลลัพธ์ของลูกค้าจริง

เช็กลิสต์ก่อนและระหว่างทดสอบ

เขียนสมมติฐานหนึ่งประโยคที่ผูกกับเป้าหมายธุรกิจ
เลือกตัวแปรเดียวที่จะเปลี่ยน และเลือก 1–2 metric ก่อนเริ่ม
จดเกณฑ์หยุด/ระยะเวลาที่จะรอไว้ก่อนเปิด ไม่ใช่ค่อยตัดสินใจกลางทาง
ระหว่างทดสอบอย่าแก้ base campaign ถ้ายังไม่เปิด sync — Google แนะนำให้หลีกเลี่ยงการแก้ base campaign เว้นแต่เปิด sync ไว้.[1]
บันทึกผลการทดลองไว้เสมอ.[1]
อย่ารันหลาย experiment พร้อมกัน เพราะมันรบกวนกันได้และทำให้ผลเชื่อถือน้อยลง ควรเรียงรันทีละตัว.[4]

ถ้าจะทดสอบตัวแปรที่หน้า Landing Page ต่อจากโฆษณา เริ่มจาก เช็กลิสต์ Landing Page สำหรับแคมเปญโฆษณา SME

สรุป

A/B Test ที่มีประโยชน์ไม่ใช่ "รันสองเวอร์ชันแล้วดูว่าใครคลิกมากกว่า" แต่คือการตั้งสมมติฐาน เปลี่ยนทีละตัวแปร เลือก metric ล่วงหน้า และรอจนข้อมูลพอให้อ่านผลด้วย confidence interval แทนการสรุปจากตัวเลขต่างกันเล็กน้อย เมื่อข้อมูลยังน้อย สิ่งที่ถูกต้องคือรอต่อหรือเพิ่มงบ ไม่ใช่รีบประกาศ winner

ถ้าอยากวางแผน A/B test ให้เหมาะกับปริมาณข้อมูลของธุรกิจ ทีม NgageUp ช่วยออกแบบสมมติฐาน เลือก metric และเกณฑ์อ่านผลให้ได้

เอกสาร Google ที่ใช้อ้างอิง

Sources

[1] https://support.google.com/google-ads/answer/7281575?hl=en — Test with confidence with the Experiments page - Google Ads Help

[2] https://support.google.com/google-ads/answer/6318747?hl=en — Monitor your experiments - Google Ads Help

[3] https://support.google.com/google-ads/answer/6167141?hl=en — Test your bid strategy - Google Ads Help

[4] https://support.google.com/google-ads/answer/13826584?hl=en — Experiments FAQs - Google Ads Help

[5] https://support.google.com/google-ads/answer/9232676?hl=en — The statistical methodology behind experiments - Google Ads Help