광고 소재 A/B 테스트, 이렇게 하면 2주 돌려도 답 안 나옵니다

실수 1. 한 번에 여러 가지를 바꾸는 경우

이미지랑 문구이랑 타겟을 동시에 바꾸면 뭐가 성과를 바꿨는지 알 수 없어요. A/B 테스트는 변수를 하나만 바꿔야 해요.

이미지를 테스트하려면 문구이랑 타겟은 동일하게 유지하고 이미지만 다르게 해야 해요. 그래야 이미지 차이가 성과에 미친 영향을 정확하게 측정할 수 있어요.

실수 2. 데이터가 충분히 쌓이기 전에 판단하는 경우

하루이틀 돌리고 성과가 낮은 소재를 끄는 경우가 많아요. 데이터가 충분히 쌓이지 않은 상태에서 판단하면 틀릴 가능성이 높아요.

최소 2주 이상 돌린 다음에 판단하는 게 맞아요. 전환 기준으로는 소재당 전환 3~5건 이상이 쌓인 다음에 비교해야 통계적으로 의미가 있어요.

실수 3. 클릭률만 보고 판단하는 경우

CTR이 높은 소재가 전환율도 높을 거라고 생각하는 경우가 있어요. 실제론 CTR이 높아도 전환이 낮은 소재가 있어요. 클릭은 많이 되는데 구매로 이어지지 않는 소재예요.

CTR이랑 CPA이랑 ROAS를 같이 봐야 해요. 진짜 위닝 소재는 전환 효율이 좋은 소재예요.

테스트할 변수를 하나로 정하세요

소재 A/B 테스트에서 바꿀 수 있는 변수예요.
한 번에 하나씩 테스트하는 게 맞아요.

동시에 집행하는 소재는 2~3개가 적당해요

소재가 너무 많으면 데이터가 분산돼요. 2~3개를 동시에 집행해서 비교하는 게 맞아요. 소재가 많아질수록 각 소재에 쌓이는 데이터가 적어져요.

같은 조건에서 집행해야 해요

타겟이랑 예산이랑 일정이 같아야 해요. 다른 조건에서 집행하면 소재 차이가 아닌 다른 요인이 성과를 바꿨을 수 있어요.

같은 광고 그룹 안에 소재를 여러 개 등록하면 동일한 조건에서 자동으로 비교돼요.

1단계

2단계

3단계

1. 위닝 소재에 예산을 집중하세요

비효율 소재를 끄고 위닝 소재에 예산을 몰아줘요. 예산이 분산되면 위닝 소재의 성과가 충분히 나오지 않아요.

2. 위닝 소재 기준 다음 테스트 설계

위닝 소재에서 한 가지 요소를 바꾼 새 소재를 만들어요. 위닝 소재의 어떤 요소가 효과적인지 계속 좁혀나가는 방식이에요.

예를 들어 "사용 장면 이미지 + 가격 강조 문구"가 위닝이라면 다음엔 "사용 장면 이미지 + 품질 강조 문구"랑 비교해서 문구 방향을 좁혀나가요.

3. 2주마다 소재 피로도를 확인하세요

위닝 소재도 2주 이상 집행하면 피로도가 쌓여요. CTR이 초기 대비 30% 이상 떨어지면 교체를 준비해야 해요. 위닝 소재를 기반으로 새 버전을 만들어두는 게 맞아요.