2. Hypothesize - MarSci Study Guide (Facebook)

목차

• 용어 Glossary
• 평가 Assess 
• 가설설정 Hypothesize
• 측정 Recommend measurement solutions
• 분석 Perform an analysis
• 인사이트 Generate insights
• 데이터기반 제언 Make data-driven recommendations

---

소개

Facebook에서 효과적인 실험을 실행하려면 먼저 실험에서 답할 가설이나 질문을 선택해야 합니다. 강력하고 잘 구조화된 가설은 테스트를 통해 확인되거나 거부될 수 있으며 귀중한 통찰력으로 이어질 수 있습니다.

 

---

가설 공식화

가설이란 무엇입니까?

가설은 연구와 실험을 통해 테스트할 수 있는 아이디어 또는 설명입니다. 강력한 가설에는 다음이 포함됩니다.

• 누가 [청중]
• 무엇을 [해당 청중의 행동]
• 어디서 [위치]
• 언제 [광고 일정]
• 왜 [예상되는 청중 행동 또는 관점에 대한 근거]

가설을 개발하기 위해 먼저 변수를 결정한 다음, 연구 및 산업 컨텍스트를 적용해야 합니다.

변수의 사례. 청중, 배치, 크리에이티브(형식, 메시지, 광고량), 전달 최적화, 캠페인 목표, 계정 구조, 예산, 빈도.

1. 가설 사례 
   전자 상거래 의류 회사의 목표는 온라인 구매를 늘리는 것입니다. 5월에 그들은 여름 라인을 출시하고 18-34세 연령대에서 라이프스타일 중심 광고 소재가 가치 중심 광고 소재보다 온라인 구매를 더 많이 달성할 것이라고 가정합니다. 
   # 누가 : 사람, 18-34세 
   # 무엇을 : 구매
   # 어디서 : 온라인
   # 언제: 5월
   
   
2. 가설 사례
   CPG/FMCG 광고주의 목표는 6월과 8월 사이에 25세 이상 여성의 광범위한 전 세계 잠재고객에게 새로운 헤어케어 제품에 대한 브랜드 인지도를 높이는 것입니다. 광고주는 Facebook 및 Instagram의 10초 동영상 형식이 현재의 30초 동영상보다 브랜드 인지도를 더 효과적으로 높일 것이라는 가설을 테스트하려고 합니다.
   # 누가 : 25세 이상의 여성
   # 무엇을 : 브랜드 인지도
   # 어디서 : Facebook 및 Instagram
   # 언제 : 6월~8월

---

검정 가설 공식화

검정 가설이란 무엇입니까?

검정 가설은 일반적으로 if/then 문의 형식으로 테스트할 수 있는 관찰에 대해 제안된 설명입니다. 가설은 주관적인 가정일 수 있지만 검정 가설에는 귀무 가설과 대립 가설이 포함됩니다. 목적은 귀무 가설이 기각될 수 있고 대안이 채택될 수 있는지 테스트하는 것입니다.

검정 가설을 생성하려면 독립 변수와 종속 변수를 식별합니다. 변수는 구체적이고 측정 가능해야 하며 비즈니스 목표와 일치해야 합니다. 한 번에 여러 변수를 테스트할 수 있지만 테스트 중인 전략의 효과를 이해하고 분리하는 것이 목표인 경우 광고주는 한 번에 하나의 변수를 테스트해야 합니다. 테스트 대상을 정확히 이해하려면 귀무 가설과 대립 가설을 식별해야 합니다.

예를 들어, 광고주가 광고 게재위치 수를 1개에서 4개 이상으로 늘리면 평균 CPA(전환당 비용)가 감소합니다. 이 예에서 독립 변수는 광고 게재위치의 수이고 종속 변수는 CPA입니다. 귀무 가설은 CPA(1개 배치) = CPA(4개 배치)이고 대립 가설은 CPA(1개 배치) < CPA(4개 배치)입니다.

 

---

측정 방식 결정

일단 가설이 있으면 기존 인사이트나 연구를 수집하거나 테스트를 수행하여 가설을 증명하거나 반증합니다. 다음 측정 방법 중에서 선택하십시오.

 

교차 채널 도달 보고

채널이 비즈니스 결과를 생성하기 위해 함께 작동하는 방식을 측정합니다. 채널에는 이메일, TV, DM, Facebook 및 유료 검색이 포함되지만 이에 국한되지 않습니다. 한계로는,

TV에 광고비용 투자를 하는 것이 디지털채널에 광고비용 투자를 하는 것보다 더 효율적으로 도달할 것이다라는 가설. 교차채널 도달 확인.

• 측정항목은 채널에 따라 다릅니다.
• 모든 채널이 접점/도달 데이터를 공유하는 것은 아니기 때문에 교차 채널 도달 보고는 어려울 수 있습니다.
• 제한 사항은 특정 솔루션에 따라 다릅니다. 일반적으로 메트릭을 비교할 수 없거나 유사 데이터를 사용할 수 없는 경우 제한이 발생합니다.
• 도달 범위가 항상 브랜드 및 전환 비즈니스 결과와 상관관계가 있는 것은 아닙니다.

 

기여 모델

소비자의 전환 경로에서 각 터치포인트에 대한 기여도를 결정하는 프로세스입니다. 멀티터치 기여 모델(MTA)은 소비자의 전환 경로에서 둘 이상의 터치포인트에 가치를 할당합니다. 데이터 기반 기여는 종종 과거 데이터 및 통계 모델링을 기반으로 전환 경로의 터치포인트에 대한 기여도를 결정하는 프로세스입니다. 한계로는,

프로스펙팅 캠페인이 리타게팅 캠페인보다 덜 효과적이라는 가설. 근데 실험해볼 수는 없을 때 이 모델로 추정해 봄.

• 쿠키 또는 웹 기반 시스템에 대한 장치 교차 상황에서 제한적 추적.
•  많은 도구는 전환의 전체 경로에 액세스할 수 없습니다(예: 인앱 노출 데이터는 게시자 간에 공유되지 않는 경우가 많습니다.)
•  종종 디지털 채널만 포함합니다.

 

마케팅 믹스 모델링

채널 전반의 오프라인 및 온라인 판매를 모두 측정하여 마케팅 및 비 마케팅 활동의 증분 판매 영향과 투자 수익을 수량화하는 데이터 기반 통계 분석

MARKETING MIX MODELING, NIELSON - https://marketingeffectiveness.nielsen.com/our-solutions/marketing-mix-modeling/

TV가 우편보다 ROI가 높을 것이라고 가설, 더 많은 예산을 TV에 배정할 계획. 각각의 채널의 영향을 측정하는 게 아니라, 마케팅 믹스 모형을 사용.  

• 증가가 최소인 증분 판매를 포착하는 데 어려움을 겪을 수 있습니다.
• 모델러와 계량 경제학 모델 간의 협업이 필요합니다.
• 채널 내 최적화에 도움이 되지 않습니다.
• 인과관계를 추론하지 않고 상관관계만 추론합니다.
• 구현에 시간이 많이 소요될 수 있음

 

A/B 테스트

여러 캠페인을 서로 테스트하여 KPI를 기반으로 최상의 결과를 산출하는 전술적 접근 방식을 확인합니다.

 

• 일부 A/B 테스트에는 통제 그룹이 포함되지 않고 무작위 테스트 그룹만 포함됩니다. 이러한 경우 전략의 인과관계 또는 증분 가치를 측정하지 않으므로 전략 A의 기준 전환율이 전략 B(예: 잠재고객)와 다른 경우에는 권장되지 않습니다.
• 모든 테스트가 각 그룹에서 적절한 전환 수로 적절하게 구동되는 것은 아닙니다.

 

 

무작위 대조 시험(RCT)

인과관계를 측정하기 위해 고안된 실험입니다. 여기에는 참가자를 상호 배타적인 그룹으로 무작위화하는 것이 포함됩니다. 이러한 그룹 중 하나 이상은 테스트 그룹(들)이라고 하는 치료를 받는 반면, 하나 이상은 대조군(들)이라고 하는 처리를 받지 않습니다. 대조군은 비교 표준을 제공하고 표준 관행, 위약 또는 무처리를 나타낼 수 있습니다.

Basic architecture of randomized controlled trials (RCTs) (Schubert 2020, p. 13) - https://www.researchgate.net/figure/Figure-5-Basic-architecture-of-randomized-controlled-trials-RCTs-Schubert-2020-p_fig3_344396035

• 테스트가 충분한 통계적 검증력으로 설정되지 않았을 수 있습니다(예: 예산이 너무 낮거나 테스트 기간이 너무 짧거나 전환이 충분하지 않음).
• 정확한 전력 계산은 계산의 기반이 되는 유사한 활동의 ​​과거 데이터가 부족한 경우 수행하기 어려울 수 있습니다.
• 대조군은 측정 대상을 대상으로 하는 실험 외부에서 실행되는 미디어에 의해 오염될 수 있습니다.
• 치료 변수가 항상 분리되어 있는 것은 아닙니다.
• 테스트는 전체 구매 주기 또는 측정 중인 전략의 장기적인 영향을 포착할 만큼 충분히 오래 실행되지 않을 수 있습니다.
• 실험이 전략의 전체 영향을 항상 포착하는 것은 아닐 수 있습니다(예: 오프라인 데이터를 업로드하지 못할 수 있음).
• 모든 실험적 접근 방식이 이상값과 분산을 동등하게 관리하는 것은 아닙니다.

 

---

다음 단계 식별

가설을 검증하거나 무효화한 후에는 결과에 대해 가능한 조치를 결정하고 적절한 다음 단계를 권장합니다. 예를 들어 가설이 검증된 경우 새 가설을 테스트할 수 있습니다. 당신의 통찰력이 새로운 테스트의 기초가 될 새로운 질문과 새로운 가설로 이어질 수도 있습니다. 이미 테스트한 것 이상으로 테스트하는 것에 대해 항상 생각하는 것이 좋습니다.