데이터 사이언티스트 AB 테스트 – 나의 웹페이지와 컨텐츠에서 더 효과적인 항목을 만들려면 테스트가 필요하다. 이게 맞을까, 저게 맞을까
이 때 사용하는 기법이 AB테스트 이다. 이는 내 아이디어를 실험해 보는 강력한 도구이다. 마케팅을 위한 작업이기도 하지만 사람들의 성향을 파악할 때도 좋다.
Table of Contents
1. AB테스트 소개
A/B 테스트는 제품 또는 서비스의 두 가지 버전을 비교하여 어느 버전이 더 좋은 성능을 발휘하는지 확인하는 방법입니다. 여기서 성능은 반응을 의미하기도 합니다.
데이터 사이언스(데이터 과학, Data Science)에서는 일반적으로 웹 사이트 디자인, 앱 디자인, 광고, 가격 책정 및 기타 사용자 경험 측면을 개선하는 데 사용됩니다.
<참조> A/B 테스트(A/B testing)를 분할 테스트(split testing)로 불리기도 합니다.
데이터과학(data science)란 데이터 안에서 의미 있는 정보와 지식을 찾고 해석하는 과정을 통해 데이터가 갖고 있는 새로운 가치를 발견하고자 하는 학문 분야를 말한다. 구체적으로는 분석하고자 하는 문제의 정의, 문제 해결을 위한 데이터의 수집·처리·분석 방법, 그리고 분석된 내용을 기반으로 한 추론 등 데이터를 활용한 과학적 예측의 모든 과정을 포함하며, 이를 위해 다양한 학문 분야의 이론과 기법의 융합이 요구되는 학제적 성격의 학문 분야이다. (출처: 서울여자대학교 데이터과학 전공 소개 페이지 )
데이터 사이언티스트 AB 테스트는 전체 사용중에 일부 사용자를 샘플링 하여 두개의 그룹으로 나눕니다. 두 개의 그룹을 A(대조군)그룹, B(실험군)그룹으로 명칭합니다.
두 그룹에게 테스트하려는 2가지 안(1안, 2안)을 랜덤으로 보여 줍니다. 전체 사용자 중 A그룹, B그룹에 속한 사용자에게는 1안과 2안이 랜덤으로 보여집니다. 선택을 하고 그 결과가 DB에 저장이 되죠. 테스트가 끝난 후 (주로 날짜로 테스트를 종료 합니다. 예를 들어, 3일간, 5일간 등) 가장 선호도가 높은 방안을 확인합니다. 그 방안을 새롭게 적용합니다.
- 대조군 그룹 과 실험군 그룹으로 분류
- 두 그룹에 두 가지 버전의 내용(서비스 또는 제품)을 표시
- 두 그룹의 결정 내용을 비교하여 어떤 버전이 더 나은 결과를 가져오는지 결정
2. AB테스트 프로세스
2.1 개요
A/B 테스트를 진행하기 위해서는 아래의 단계로 진행합니다. 그냥 하기보다는 단계에 맞추고 체크 리스트를 준비해서 누락되지 않도록 합니다. 항상 시작은 데이터를 준비하고 탐색하는 작업입니다. 먼저, 데이터를 준비하세요.
2.2 데이터 사이언티스트 AB 테스트 – A/B 테스트 프로세스
1) 현행 데이터 준비 및 탐색
- AB테스트를 위한 데이터를 준비하고 탐색하는 단계
- 현행 웹사이트의 운영 현황을 조사하여 데이터로 준비
- 페이지 당 사용자 방문 수, 체류하는 시간 등
- 일일 트래픽, 시간별 트래픽 등
- 데이터의 구성, 데이터의 양, 데이터의 칼럼의 속성 등, 칼럼에 담긴 value 등
2) 가설 설정 및 버젼 생성
- 테스트하려는 항목에 대한 가설 정의 단계
- 비즈니스 목표를 달성하는 데 필요한 KPI를 정의하고, 이 KPI 전환율을 증가를 위한 가설을 설정함
- 가설을 위한 버전을 생성
- 귀무가설(H0)과 대립가설(Ha)을 정의
귀무 가설(歸無假說, 영어: null hypothesis, 기호 H0) - 통계학에서 처음부터 버릴 것을 예상하는 가설 - 차이가 없거나 의미 있는 차이가 없는 경우의 가설 - 이것이 맞거나 맞지 않다는 통계학적 증거를 통해 증명하려는 가설 - 예를 들어 "전국 20세 이상 남성의 평균 키는 170Cm이다"라는 주장의 귀무가설은 "20세 이상 성인 남자의 평균키는 170Cm와 같다(또는 차이가 없다)"가 된다. - 즉, "~와 같다.", "~와 차이가 없다"라는 형식의 설정이다. 대립 가설(對立假說, 영어: alternative hypothesis, 기호 H1) - 연구 가설 또는 유지 가설이라고 하며 귀무가설에 대립하는 명제다 - 보통, 모집단에서 "독립변수와 결과변수 사이에 어떤 특정한 관련이 있다"는 형태 - 즉, 귀무가설이 거짓이라면 대안적으로 참이 되는 가설임 귀무가설이 틀렸다고 판단(기각) 될 때, 대안적으로 선택되는(채택)) 가설인 것이다. - 예를 들어 "전국 20세 이상 남성의 평균 키는 170Cm이다"라는 주장의 대립가설은 "20세 이상 성인 남자의 평균키는 170Cm와 다르다(또는 차이가 있다)"가 된다.
3) A,B 그룹 나누고 테스트 진행
- 랜덤하게 사용자를 A(대조군)와 B(실험군)의 두 그룹으로 분리
- A(대조군)그룹에게는 제품이나 서비스의 현재 버전을 보여주고, B(실험군) 그룹에게는 새 버전을 노출 처리
4) A,B그룹 데이터 수집
- 두 그룹의 전환율, 클릭률, 페이지 체류 시간 등의 KPI 항목 데이터 수집
5) 테스트 결과 분석
- 측정 항목(가설)에 대해 두 그룹의 결과를 분석합니다.
- 통계적 방법으로 결과를 분석하여 A(대조군)와 B(실험군) 사이의 통계적으로 유의미한 차이가 있는지 확인
[사용 방법] - t-테스트 또는 카이제곱 테스트 활용 [결론 구성 방법] - p-값이 알파보다 작으면 대립가설을 채택하고 두 버전 간에 유의미한 차이가 있다 - p-값이 알파보다 크면 귀무가설을 채택 하고 두 버전 간에 유의미한 차이가 없다
6) 결론 도출 및 버전 구현
- 분석 결과를 바탕으로 새 버전이 원래 버전보다 좋은지, 적용할 가치가 있는 지 결론 도출
- 새 버전이 좋고 통계적으로 유의미한 경우 새 버전을 더 큰 규모로 구현
- 새 버전이 결과가 안 좋으면, 현행 버전을 유지
7) 데이터 사이언티스트 AB 테스트 지속적 모니터링
- 지속적으로 새 버젼을 모니터링하여 제대로 작동하는지 확인하고 필요에 따라 변경함
- 변경 시 위의 프로세스에 따라 준비하고 테스트를 진행
3. A/B 테스트 영역과 필요한 시기
데이터 사이언티스트 AB 테스트 작업의 마지막 단계는 “지속적 모니터링”이다. 이유는 모든 작업이 한번만에 끝나는게 아니기 때문이다.
A/B 테스트도 지속적으로 운영할 때 가장 큰 이점을 제공한다. 정기적으로 테스트를 진행하여 미세한 차이는 발견하고, 이를 조정하는 것이 권장 사항이다. 이는 테스트에 사용할 수 있는 옵션이 거의 무제한이므로 지속적인 테스트를 수행할 수 있기 때문이다.
3.1 AB 테스트 영역
A/B 테스트를 적용하여 디지털 마케팅을 평가할 수 있는 영역은 다음과 같은 항목이 있다.
- 이메일
- 뉴스레터
- 광고
- 문자 메시지
- 웹 페이지
- 웹 페이지의 구성 요소
- 모바일 앱
A/B 테스트는
- 잠재고객이 무엇에 관심을 갖고 반응하는지
- 마케팅 전략의 어떤 요소가 가장 큰 효과를 갖고 있는지
- 개선이 필요한 요소는 무엇인지
- 어떤 요소가 불필요한지
를 확인할 수 있다.
이제 A/B 테스트를 수행해야 하는 이유를 설명했으므로 테스트 시기를 결정하는 두 가지 기준을 살펴보겠습니다.
3.2 A/B 테스트 시기
A/B 테스트가 필요한 시기는 아래와 같은 2가지 경우를 기준으로 정할 수 있습니다.
1)성과 미달의 시기 – 왜 이렇게 밖에 안 나오지?
- 성과가 최적의 수준에 도달하지 못하고, 기대 이하의 마케팅 캠페인이 요소가 있다
- A/B 테스트 사용으로 마케팅 성과를 향상시킬 수 있음
2) 새로운 서비스 또는 제품을 출시해야 하는 데
- 새로운 무언가(웹 페이지, 이메일 캠페인)를 시작하려고 할 때
- 어떤 접근 방법(예: 메시지)이 가장 좋은 성과를 보여줄 지 확실하지 않을 때
- A/B 테스트 사용으로 두 가지 다른 접근 방법의 성과를 비교 및 대조하여 더 나은 것을 선택
4. 데이터 사이언티스트 AB테스트 – 파이썬 활용
데이터 사이언티스트 AB 테스트 지원을 위한 라이브러리가 파이썬에 제공됩니다.
널리 사용되는 라이브러리 중 하나는 t-테스트 및 카이제곱 테스트를 포함한 통계 테스트를 위한 기능을 포함하는 SciPy입니다.
4.1 카이제곱 검정
A/B 테스트에서는 범주형 데이터가 있고 비율을 비교하려는 경우 카이제곱 테스트를 사용할 수 있습니다 .
예를 들어, 웹사이트의 레이아웃 변경이 사용자 참여에 영향을 미치는지 테스트하려고 합니다.
사용자를 두 그룹에 무작위로 할당합니다. 한 그룹에는 이전 레이아웃이 표시되고 다른 그룹에는 새 레이아웃이 표시됩니다. 일주일 후에 웹사이트에 참여한(링크 클릭, 양식 작성 등) 각 그룹의 사용자 수를 계산합니다. 카이제곱 테스트를 사용하여 두 그룹 간의 참여도에 유의미한 차이가 있는지 확인할 수 있습니다.
4.2 T-테스트
수치 데이터가 있고 두 그룹의 평균을 비교하려는 경우 t-검정을 사용할 수 있습니다 . t-검정에서는 데이터가 정규 분포를 따르고 두 그룹의 분산이 동일(또는 대략 동일)하다고 가정합니다.
t-검정에는 두 가지 유형이 있습니다. 단일 표본의 평균을 알려진 값 또는 가설 값과 비교하는 1표본 t-검정과 두 독립 표본의 평균을 비교하는 2표본 t-검정입니다.
예를 들어, 새 광고 캠페인이 웹사이트의 클릭률(CTR)을 높였는지 테스트하고 싶습니다. 사용자를 두 그룹에 무작위로 할당합니다. 한 그룹은 기존 광고를 보고 다른 그룹은 새 광고를 봅니다. 일주일 후에 각 그룹의 CTR을 측정하고 평균과 표준 편차를 계산합니다. t-테스트를 사용하여 두 그룹 간의 CTR에 유의미한 차이가 있는지 확인할 수 있습니다.
4. AB테스트 좋은점
- 데이터 기반 의사 결정
- A/B 테스트는 의사 결정에 대한 데이터 기반 접근 방식을 제공하므로 제품 또는 서비스의 다양한 버전을 테스트 및 비교하고 성능이 더 좋은 버전을 선택할 수 있습니다.
- A/B 테스트는 의사 결정에 대한 데이터 기반 접근 방식을 제공하므로 제품 또는 서비스의 다양한 버전을 테스트 및 비교하고 성능이 더 좋은 버전을 선택할 수 있습니다.
- 전환율 증가
- 웹사이트나 앱의 다양한 버전을 테스트함으로써 어떤 디자인 요소나 콘텐츠가 전환율을 높이고 궁극적으로 수익이나 사용자 참여를 증가시키는지 확인할 수 있습니다.
- 웹사이트나 앱의 다양한 버전을 테스트함으로써 어떤 디자인 요소나 콘텐츠가 전환율을 높이고 궁극적으로 수익이나 사용자 참여를 증가시키는지 확인할 수 있습니다.
- 향상된 사용자 경험
- A/B 테스트를 통해 레이아웃, 카피, 이미지 등 사용자 경험의 다양한 측면을 실험하여 청중에게 가장 큰 공감을 불러일으키는 요소를 식별할 수 있습니다.
- A/B 테스트를 통해 레이아웃, 카피, 이미지 등 사용자 경험의 다양한 측면을 실험하여 청중에게 가장 큰 공감을 불러일으키는 요소를 식별할 수 있습니다.
- 위험 감소
- A/B 테스트는 선택을 뒷받침하는 정량적 데이터를 제공하므로 가정이나 직관을 기반으로 의사결정을 내릴 위험을 줄여줍니다.
- A/B 테스트는 선택을 뒷받침하는 정량적 데이터를 제공하므로 가정이나 직관을 기반으로 의사결정을 내릴 위험을 줄여줍니다.
- 지속적인 개선
- A/B 테스트는 반복적인 프로세스로, 시간이 지남에 따라 제품이나 서비스를 지속적으로 개선하고 최적화하여 지속적인 혜택과 성장을 가져올 수 있습니다.
5. 마무리
인터넷 시대는 오프라인 마케팅을 디지털 마케팅으로 전환을 가져왔습니다. 이와 더불어 마케팅 기법에도 발전을 가져왔죠. 그중에 대표적인 것인 A/B테스트 일 것입니다.
이전에 설문조사나 방문을 통한 조사를 이제는 적은 비용과 기간으로 소비자의 행동을 파악할 수 있게 된 것이죠.
데이터 사이언티스트 들에게도 데이터 기반의 의사결정에 중요한 힘을 실어 주었습니다. 이를 쉽게 할 수 있도록 파이썬은 SciPy 와 같은 좋은 라이브러리를 제공하기 때문입니다.
우리의 제품이 더 선택받을 수 있게 하고, 우리의 웹사이트 방문을 늘리고 체류시간을 늘리는 방법을 바로 실천해 볼 수 있는 AB 테스트 , 그리고 이를 바로 적용할 수 있는 파이썬의 라이브러리.
데이터 사이언티스트 (데이터 과학자)의 데이터에 대한 인사이트가 더 명확하게 할 환경이 잘 만들어진 것이죠. 고객 또는 우리 사이트의 수익을 증대시키고 비즈니스의 성과개선을 위해 A/B테스트를 이어갈 수 있도록 합시다.