"내 생각에는"을 증명할 때 시작되는 진짜 마케팅

안녕하세요, AMPM global 1팀 송준석입니다.

마케팅에서 가장 필요하지만 위험한 단어는 무엇일까요?
바로 '제 생각에는요'라는 말입니다.

"이번 광고 소재는 색감이 화려해서 예쁘니까 반응이 좋을 것 같아요" 혹은 "요즘은 감성적인 카피가 유행이니 이렇게 가시죠"라는 대화가 오고 가곤 합니다. 하지만 마케팅의 세계에서 개인의 취향만큼 위험한 잣대는 없습니다. 내가 보기 좋은 광고가 고객의 지갑을 열게 한다는 보장은 어디에도 없기 때문입니다.

근거는 판매자나 회사의 머릿속이 아니라 시장에 있는 고객들의 클릭과 결제 데이터에 있습니다.
그리고 그 정답을 가장 객관적으로 찾아내는 무기가 바로 오늘 알아볼 A/B 테스트입니다.
감에 의존하는 마케팅을 끝내고 성과를 만드는 데이터 기반 의사결정은 어떻게 시작해야 할까요?

---

실패하는 테스트의 공통점과 단일 변수 통제

A/B 테스트를 진행할 때 가장 많이 하는 실수가 있습니다.
A안에는 감성적인 이미지와 할인 문구를 넣고, B안에는 제품의 기능을 강조한 이미지와 리뷰 문구를 넣은 뒤 동시에 광고를 집행하는 방식입니다.

만약 B안의 성과가 더 좋게 나왔다면 그 원인은 무엇일까요? 이미지가 바뀌어서일까요 아니면 문구가 달라서일까요?
두 가지 이상의 요소를 한꺼번에 바꾸면 어떤 것이 성과에 영향을 주었는지 명확히 알 수 없습니다.

이를 방지하며 성공적인 테스트를 위한 제1원칙은 단일 변수 통제입니다. 즉 한번의 테스트에 한 가지 요소만 바꿔서 실험해보는겁니다.

1. 1. 이미지는 동일하게 두고 카피만 바꾸기
2. 2. 카피는 그대로 두고 버튼의 색상만 바꿔보기

단일 변수 통제의 가장 큰 장점은 성과 변화의 원인을 명확하게 규명할 수 있다는 점입니다.
최종 최적화까지 시간이 다소 소요될 수 있지만, 인과관계를 확실히 파악해야 다음 단계로 나아갈 수 있기에
처음 광고 소재를 기획하거나 상세 페이지의 효율을 점검할 때 활용하는 것이 좋습니다.

---

표면적인 지표의 함정과 목표 설정

가설을 세우고 변수를 통제했다면 다음으로 중요한 것은 '어떤 기준으로 승자를 결정할 것인가'입니다.
여기서 많은 분이 빠지는 함정이 바로 무조건 클릭률(CTR) 같은 표면적인 지표에만 매몰되는 현상입니다.

예를 들어 자극적인 문구를 사용한 A안이 평범하지만 혜택을 강조한 B안보다 클릭률이 2배 높게 나왔다고 가정해 보겠습니다.
겉보기에는 A안이 승리한 것처럼 보입니다.

하지만 최종 결제 완료 지표를 확인해 보면 결과를 판단하기 쉽지 않은 경우가 많습니다.
A안은 자극적인 문구로 궁금증을 유발해 클릭을 유도했지만 실제 구매 의사가 없는 유저들을 끌어모아 이탈률이 높았던 반면,
B안은 진짜 살 사람만 들어와 결제까지 이어졌기 때문입니다.

이런 혼동 방지하기 위해 테스트 가설 수립 이후에는 반드시 이 캠페인으로 달성할 목표가 정해야 합니다.

A/B 테스트의 기준 지표는 항상 캠페인의 최종 목적과 맞닿아 있어야 합니다. 이를 흔히 북극성 지표라고 부릅니다.

이러한 지표 설정의 중요성은 온라인 마케팅에서 가장 많이 사용 하는 메타(인스타그램, 페이스북)광고에서 더욱 극명하게 드러납니다.
메타의  특징인 머신러닝 알고리즘은 마케터가 설정한 '목표' 를 맹목적으로 달성하기 위해 지속적으로 최적화를 진행합니다.

예를 들어 A/B 테스트나 캠페인의 기준을  '트래픽증가' 로 설정한다면, 알고리즘은 구매의도보다 상관없이 습관적으로 광고를 누르는 유저들에게 우선적으로 예산을 소진하고 노출되도록 학습 될 것이며  '결제완료', '장바구니담기' 같은 전환 이벤트를 목표로 설정한다면 노출 보단 구매 의도가 있는, 지갑을 열 사람을 찾아 노출되도록 최적화 가 진행 됩니다.

트래픽 확보가 목적이라면 클릭률이 기준이 되겠지만, 매출 증대가 목적이라면 전환율(CVR)이나 고객 획득 비용(CAC)이 승패의 기준이 되어야 합니다. 이처럼 단순히 눈앞의 수치가 아닌 목표에 맞는  진짜 비즈니스 성과를 놓치지 않는 태도가 필요합니다.

---

전문가의 직관을 이긴 데이터의 힘

데이터가 가진 힘을 보여주는 가장 유명한 사례는 2012년 미국 대선 당시 오바마 캠프의 사례입니다.
당시 캠프는 기부금을 더 많이 모으기 위해 웹사이트 메인 이미지와 버튼 문구를 조합하여 여러 가지 버전을 동시에 테스트했습니다.

당시 수많은 전문가는 오바마 후보가 연설하는 역동적인 영상이나 카리스마 있는 사진이 가장 효과적일 것이라고 예측했습니다.
버튼 문구 역시 '회원 가입'이라는 명확한 표현을 선호했습니다. 

하지만 실제 테스트 결과는 모두의 예상을 뒤엎었습니다.

데이터가 선택한 승자는 '가족과 함께 있는 따뜻한 분위기의 흑백 사진'과 '더 알아보기'라는 버튼의 조합이었습니다.

이 조합은 기존 페이지보다 기부율을 40퍼센트 이상 끌어올렸으며 결과적으로 수백억 원의 추가 모금액을 달성했습니다.
아무리 뛰어난 전문가의 직관이라도 시장에서 부딪히며 얻어낸 실제 고객의 데이터를 이길 수는 없다는 사실을 증명한 셈입니다.

---

A/B 테스트는 한 번의 성공으로 끝나는 이벤트가 아니라 끊임없이 더 나은 정답을 찾아가는 과정입니다. B가 이겼다면 다시 B를 뛰어넘을 수 있는 C안을 만들어 테스트하는 반복적인 최적화가 핵심입니다.

마케터의 직관과 경험은 처음에 훌륭한 가설을 세울 때 나침반으로 사용되어야 합니다.
하지만 그 가설의 옳고 그름을 최종적으로 판단하는 것은 오직 숫자뿐이어야 합니다.

"내 생각에는 이렇다"라는 주관적인 의견에 덧붙여  "테스트 데이터에 따르면 이렇다"라고 말할 수 있을 때,
캠페인은 누구도 반박할 수 없는 강력한 힘을 얻게 됩니다. 오늘 운영 중인 소재 중 가장 중요한 요소 하나를 골라 딱 한 가지만 바꿔보는 실험을 시작해 보시는 건 어떨까요?

AMPM global 1팀, 송준석 이었습니다.