백테스트 결과에 작은 p값이 붙으면 전략에 근거가 생긴 것처럼 느껴진다. 그러나 어떤 가정과 비교 기준으로 계산했는지에 따라 그 숫자가 답하는 질문은 달라진다.
전략을 평가할 때는 통계적 비교, 탐색 과정, 실제 수익의 크기를 함께 기록해야 한다. 어느 한 숫자로 나머지 질문까지 해결했다고 판단하지 않는다.
p값은 정해진 모형 아래에서 관측 결과를 평가하는 숫자다. 전략의 미래 성공 확률과 비용을 뺀 수익은 따로 확인한다.
1. 무엇을 가정하고 어느 방향을 비교했는지 적는다
p값은 지정한 영가설 모형 아래에서, 정한 검정 통계량이 관측값만큼 또는 그보다 극단적인 값을 가질 확률이다. 무엇을 극단적이라고 볼지는 검정 방향과 통계량에 달려 있다.
미국통계학회 ASA의 p값 설명은 이를 가설이 참일 확률이나 효과의 크기로 해석하지 않도록 설명한다. p값 0.01을 전략이 틀릴 확률 1%, 성공 확률 99%로 바꾸지 않는다.
거래에서는 영가설, 수익 지표, 비용 포함 여부, 관측 단위와 의존성을 적는다. 거래별 손익이 같은 시장 움직임을 공유한다면 독립된 동전 던지기와 같은 조건인지부터 검토해야 한다.
2. 간단한 예시에도 사전에 정한 조건이 있다
공정하고 서로 독립인 동전을 정확히 10번 던진다고 하자. 던지기 전에 ‘앞면이 많이 나오는 방향’을 검사하기로 정했고, 결과가 앞면 8번이었다.
이 모형에서 앞면이 8번 이상 나올 확률은 (45 + 10 + 1) / 1,024, 약 5.47%다. 8번·9번·10번 앞면인 경우를 모두 포함한다. SciPy의 이항 검정 설명도 가정한 성공 확률과 검정 방향을 별도로 지정한다.
이는 공정한 동전일 확률이 5.47%라는 말도, 다음 던지기의 성공 확률이 80%라는 말도 아니다. 결과를 본 뒤 유리한 방향을 고르거나 원하는 결과가 나올 때까지 계속 던지는 절차는 이 계산과 조건이 다르다.
거래 손익에는 크기·비용·시간 의존성이 있다. 이 예시는 조건부 확률을 설명한 계산이며 실제 전략의 검정 결과는 아니다.
3. 많이 골라 본 뒤 선택한 결과는 탐색 전체와 함께 읽는다
가상의 연구에서 유효하게 계산한 p값이 20개이고, 그중 하나가 0.01이라고 하자. 20개를 하나의 검정 묶음으로 삼는 Bonferroni 보정에서는 그 값이 min(20 × 0.01, 1) = 0.20이 된다. 묶음의 유의수준을 0.05로 정했다면 개별 기준은 0.05 / 20 = 0.0025다.
statsmodels의 공식 구현은 이 배수와 상한을 적용한다. 다른 보정은 관리하려는 오류와 가정이 다르므로 이름만 바꿔 같은 의미로 읽지 않는다.
보정은 잘못 계산한 개별 p값, 미래 정보 사용, 빠뜨린 탐색 기록을 고쳐 주지 않는다. 기간·시장·필터를 바꾸며 시도한 후보까지 어떤 묶음으로 평가할지 설명해야 한다.
4. 통계적으로 구분되는 차이가 투자할 만한 차이인지 본다
자료가 많으면 작은 차이도 드러날 수 있다. 반대로 자료가 부족하거나 변동이 크면 의미 있는 차이를 충분히 구분하지 못할 수 있다. 큰 p값을 효과가 없다는 확정으로 읽지 않는다.
평균 손익·손실 분포·추정의 불확실성을 함께 보고, 수수료·슬리피지·조달 비용을 빼면 어느 크기가 남는지 계산한다. 추정 구간에도 표본과 의존성에 관한 가정이 필요하다.
통계적 구분과 운용할 가치가 있는 규모는 별개의 질문이다. 거래량이 늘 때 체결 조건이 달라지는지, 결과를 얻기 위해 얼마나 오래 자금과 위험을 부담하는지도 본다.
5. 검정 숫자와 실행 근거를 한 기록에 남긴다
사전에 정한 가설·방향·지표, 사용한 관측과 추정 방법, 전체 탐색 목록, 비용 가정, 정보가 사용 가능했던 시점, 선택에 쓰지 않은 평가 구간을 기록한다.
미사용 구간도 결과를 본 뒤 계속 설정을 바꾸면 새 탐색에 포함된다. p값의 문턱 통과만으로 운용 결정을 대신하지 않고, 자료의 품질과 손실을 감당할 조건을 연결한다.
적용할 때는 ‘이 숫자는 어떤 모형 아래의 확률인가?’, ‘얼마나 많이 살펴본 결과인가?’, ‘남는 효과는 실제 비용과 위험을 감당할 만큼 큰가?’를 확인한다.