완성했다고 끝난 게 아니었다.
며칠에 걸쳐 데이터 분석부터 A/B 테스트 설계까지 다 채운 PRD를 들고, 오늘은 처음부터 끝까지 다시 검수하는 작업을 했다.
숫자 하나, 단어 하나까지 다시 의심하고 다시 계산해보는 하루였다. 결과적으로 생각보다 훨씬 많은 것들이 걸려 나왔다.
1️⃣ 왜 "완성된" 기획서를 다시 검수했나
PRD를 다 쓰고 나면 보통 거기서 멈춘다. 그런데 오늘 제출을 하기전에, 내가 직접 한 번 더 검수해보면 어떨까 싶어서 처음부터 끝까지 다시 훑어봤다. 방식은 크게 세 가지였다.
① 수치 재계산 — 표에 적힌 모든 비율을 직접 다시 나눠서 맞는지 확인
② 표와 표 교차검증 — 같은 인원수가 다른 표에서도 똑같이 나오는지 확인
③ 외부 인용 팩트체크 — PRD에 적은 외부 연구 통계(Spiegel, PowerReviews)가 실제로 맞는 수치인지 검색해서 확인
처음엔 "그냥 한 번 훑어보면 끝나겠지"라고 생각했는데, 막상 시작하니 한 군데를 고치면 다른 데서 똑같은 문제가 또 보이는 식으로 계속 이어졌다.
2️⃣ 1단계 — 숫자가 정말 맞는지 처음부터 다시 계산하기
표에 적힌 전환율, 비율, RICE 점수를 전부 직접 다시 계산했다. 다행히 핵심 수치 자체는 전부 정확했다.
→ 리뷰 클릭 여부 하나로 전환율이 4배 이상 차이 난다. 이 수치는 베이스라인(전체 72명 전환)과도 정확히 일치했다.
RICE 점수 — 4개 레버 직접 재계산
※ 막대 길이는 시각적 구분을 위해 보정한 값이며, 실제 점수는 라벨의 숫자를 기준으로 본다.
베이스라인 35.1%, 리뷰 클릭 54.6%/13.4%, 할인 노출 33.8%/35.9%, 유입경로별·직전페이지별·체류시간별·카테고리별 전환율, RICE 점수 4건 전부 — 직접 재계산 결과 모두 일치. 특히 카테고리별 표에서 역산한 장바구니 전환 인원 합계(16+23+26+7=72명)가 베이스라인 72명과 정확히 맞아서, 표 사이의 숫자가 서로 어긋나지 않는다는 걸 확인할 수 있었다.
3️⃣ 2단계 — 같은 단어가 두 가지 의미로 쓰이고 있었다
가장 크게 걸린 부분이었다. PRD 안에는 두 개의 서로 다른 분석 축이 있었다.
| 구분 | 유입 경로 (외부에서 어떻게 들어왔나) | PDP 직전 페이지 (사이트 내에서 바로 전에 본 페이지) |
|---|---|---|
| 분류 | 광고 AD / 직접 Organic / 검색 Search | Homepage / Other / Ad landing / Search results |
| "검색" 관련 모수 | 검색 Search — 75명 | Search results — 81명 |
| "검색" 관련 전환율 | 32.0% | 27.2% |
모수도 다르고(75명 vs 81명) 전환율도 다른데(32.0% vs 27.2%), 문서 여러 곳에서 "Search results"를 그냥 "경로"라고 부르면서 직전페이지 데이터(81명/27.2%)를 마치 유입경로 데이터처럼 써놓았다. 다행히 숫자를 섞어 쓴 건 아니었지만(각 항목 안에서는 출처가 정확했다), 용어 하나가 두 가지를 가리키니 읽는 사람이 헷갈릴 수밖에 없는 구조였다.
"가장 큰 유입 경로인 Search results" → "PDP 진입 직전 페이지 중 가장 큰 비중을 차지하는 Search results"
"Search results 경로 전환율" → "PDP 직전 페이지(Search results) 전환율"
인사이트 종합 표, 문제 정의 표, 목표(KPI) 표, A/B 테스트 계획, 시나리오 해석 인용구까지 — 총 6곳에서 같은 패턴으로 반복되고 있었다. 한 곳을 고치면 다른 곳에서 또 튀어나오는 식이라 끝까지 찾는 데 시간이 제일 오래 걸렸다.
4️⃣ 3단계 — 목표와 통계 설계가 서로 다른 숫자를 보고 있었다
Primary KPI 목표는 35.1% → 38% 이상 (+2.9%p)인데, A/B 테스트 표본 크기를 산출할 때 쓴 최소 감지 효과(MDE)는 +5%p였다. 목표는 작게 잡아놓고 통계 설계는 더 큰 효과를 가정한 셈이라, 실제 효과가 목표 수준(+2.9%p)에 그칠 경우 지금 설계된 표본으로는 그 차이를 통계적으로 감지하기 어려울 수 있었다.
MDE를 목표치와 같은 +3%p로 맞추고, α=0.05·power=0.80 조건으로 표본 크기를 다시 계산하니 그룹당 약 1,500명 → 약 4,000명으로 늘어났다. "목표는 작게, 검정은 크게"였던 모순을 없애려면 표본도 그만큼 더 필요하다는 걸 직접 계산해보고 알았다.
5️⃣ 4단계 — 외부 인용 자료, 진짜로 검색해서 확인해보기
PRD에 적은 Spiegel Research Center, PowerReviews 통계가 진짜인지 직접 웹 검색으로 하나씩 확인했다. 그냥 "있어 보이는 숫자"를 적은 게 아닌지 스스로도 의심하면서 검증해본 과정이다.
· Spiegel Research Center(2017) — 리뷰 노출 시 전환율 270% 상승, 고가 상품 380%, 저가 상품 190% 상승 → 실제 연구 원문·여러 매체 보도와 정확히 일치
· PowerReviews Volume Impact Study(2021) — 리뷰 1개 이상 노출 시 52.2% 상승, 101개 이상 251.2%(≈250%↑), 5,000개 이상 296.2% 상승 → 일치
· PowerReviews Power of Reviews(2021, n=6,538) — 98%가 리뷰를 구매 결정 필수 자원으로 응답, 가격(91%)·배송(78%)보다 우선 → 일치
"PowerReviews Consumer Survey (2023, n=8,153) — 99.75%, 77%"라고 적어둔 항목은 아무리 찾아도 동일한 표본 수·수치를 가진 원문을 찾을 수 없었다. 사실인지 확신할 수 없는 수치는 그냥 두면 안 된다고 판단해서, 이미 검증된 2021년 자료(n=6,538, 99.9%/79%/98%)로 합쳐서 정리했다.
6️⃣ 5단계 — 그 외에 찾아낸 작은 오류·모순들
큰 문제 외에도 다시 보면서 계속 작은 것들이 보였다. 표로 정리하면 이렇다.
| 위치 | 문제 | 고친 방식 |
|---|---|---|
| 문서 정보 표 | 작성일 오타로 2025년 | 작성일을 2026년으로 수정 |
| 체류시간 구간별 표 | 이상값 4건 제외 후 4구간 합산 인원이 71명인데 베이스라인은 72명 | 각주로 "이상값 1건이 전환 케이스였음" 명시 |
| 문제정의 / 목표 표 | "단순 확인 구간 이탈률 +11%p" — 산출 근거 불명확 | 83.3% (전체 평균 64.7% 대비 +18.6%p)로 직접 계산해 명시 |
| A/B 테스트 계획 | "우선 검증 대장" 오타 | "우선 검증 대상"으로 수정 |
| 문서 최하단 푸터 | "...4건 제외외부 출처..." 공백 누락 | "...4건 제외 / 외부 출처..."로 구분 |
| 할인 노출 차이 | 33.8%-35.9%=-2.1%p로 표기했지만 원본 비율 기준으로는 -2.2%p | 반올림 누적 오차로 확인, 정밀 표기로 보완 |
| 기능 요구사항 F-01 | 리뷰 1~9개 구간 처리 기준이 빠져 있음 (별점만 숨기는지, 전체를 숨기는지 불명확) | "1~9개: 별점만 미표시, 수·만족도는 노출"로 명시 |
| 목표(KPI) — 리뷰 섹션 클릭률 | 현재 기준값이 "미수집"인데 목표는 "현재 대비 +10% 이상" → 비교 기준이 없는 상태에서 상대값 목표를 세운 모순 | "사전 측정 기준값 대비 +10% 이상"으로 수정해, 바로 아래 있던 사전측정계획과 문장을 일치시킴 |
7️⃣ 6단계 — 글의 순서 자체에도 문제가 있었다
내용을 다 고치고 나서 마지막으로 "이 순서로 읽었을 때 자연스러운가"를 다시 봤다. 그랬더니 구조적인 문제가 하나 보였다.
원래 순서는 해결방안 → 예상효과(보수적 +3~4%p) → 목표(38%, +2.9%p) 였다. 그런데 35.1%+3%p=38.1%로, 목표값이 사실상 예상효과 시나리오의 가장 낮은 기대치와 거의 같은 숫자였다. 목표를 먼저 세우고 해결방안을 검증하는 게 아니라, 해결방안의 예상 결과를 그대로 목표로 가져다 쓴 것처럼 보이는 구조였다.
| 수정 전 순서 | 수정 후 순서 |
|---|---|
| ① 페르소나 ② 현황분석(RICE 포함) ③ 문제정의 ④ 가설 ⑤ 해결방안 ⑥ 예상효과(번호 없음) ⑦ 목표 ⑧ 기능요구사항 ⑨ A/B테스트 ⑩ 로드맵 | ① 페르소나 ② 현황분석 ③ RICE(분리) ④ 문제정의 ⑤ 목표(이동) ⑥ 가설 ⑦ 해결방안 ⑧ 예상효과(번호부여) ⑨ 기능요구사항 ⑩ A/B테스트 ⑪ 로드맵 |
목표를 가설보다 앞으로 옮기면서, "현재 35.1%에서 비즈니스적으로 필요한 수준을 먼저 정하고, 그 다음 이 가설/해결방안이 그 목표를 달성할 수 있는지 검증한다"는 문장을 목표 섹션 앞에 새로 추가했다. 그리고 비중이 큰데 번호도 없이 끼어 있던 RICE 우선순위 결정과 예상효과 섹션을 각각 독립된 번호로 분리했다.
8️⃣ 오늘 하루 동안 고친 것 — 총정리
| # | 구분 | 핵심 내용 |
|---|---|---|
| 1 | 용어 통일 | "Search results"를 유입경로/직전페이지로 혼용하던 6곳 모두 "PDP 직전 페이지" 기준으로 통일 |
| 2 | 통계 설계 | MDE +5%p → +3%p(목표와 일치), 표본 1,500명 → 4,000명/그룹 |
| 3 | 기능요구사항 | F-01 리뷰 1~9개 경계조건 명시 |
| 4 | 표기 오류 | 작성일, 오타("대장"→"대상"), 푸터 공백 누락 |
| 5 | 수치 정밀도 | 체류시간 표 71/72명 차이 각주, 할인노출 차이 -2.1%p→-2.2%p |
| 6 | 근거 불명확 | "이탈률 +11%p" → 83.3%/+18.6%p로 직접 계산해 명시 |
| 7 | 외부 인용 검증 | 웹 검색으로 Spiegel·PowerReviews 통계 사실 확인, 검증 안 되는 n=8,153 항목은 검증된 자료로 교체 |
| 8 | 논리 모순 | "미수집"인데 "현재 대비 +10%"라고 쓴 목표 문구 수정 |
| 9 | 구조 재배치 | RICE 분리, 예상효과 번호 부여, 목표를 가설 앞으로 이동 → 순환논리 해소 |
✍️ 오늘 느낀 점
오늘 하루는 PRD를 보고 또 보고, 고치고 또 고친 하루였다. 그런데도 마지막에 또 새로운 문제가 나왔다. 해도 해도, 보고 또 봐도 부족한 느낌을 많이 받았다. 기획서를 "완성"하는 것과 "검증"하는 것은 완전히 다른 작업이라는 걸 오늘 제대로 느꼈다. 마지막으로 제출하는 순간까지 이런것을 하였는가 다시 고민해보면 안해본 것이 많았고 사실 과제를 진행하는중에는 그런 문제까지 필요할까? 라는 의심 조차 못해본것 같았다. 끝 났다 생각하고 제출하는 부분에서 까지 나는 부족 했던것 같고 완벽 하지 못했던것 같다...