한때 좋은 결과를 냈던 규칙이 이후에는 약해질 수 있다. 전략이 공개되어 경쟁이 늘었을 수도 있지만, 처음 결과가 표본 선택의 효과였거나 시장과 비용이 바뀌었을 수도 있다.
공개되었으니 우위가 사라졌다는 설명 하나로 모든 변화를 처리하면 정작 필요한 수정을 놓칠 수 있다. 성과가 달라진 원인을 서로 다른 질문으로 확인해야 한다.
전략의 우위는 고정된 성질로 두기보다, 어떤 조건에서 남아 있는지 계속 측정해야 한다.
1. 처음 성과가 어떻게 선택되었는지 돌아본다
많은 조건을 시험해 가장 좋은 결과를 골랐다면 이후 성과가 낮아지는 데 선택의 영향이 들어 있을 수 있다. 탐색 기록과 선택에 쓰지 않은 자료를 다시 확인한다.
전략을 공개한 날짜와 시장에서 실제로 사용자가 늘어난 시점도 다를 수 있다. 성과 하락의 시점만으로 특정 원인을 확정하지 않는다.
2. 공개 이후의 변화는 연구에서도 다뤄진다
McLean과 Pontiff의 연구(2013년 작업논문)는 주식 수익 예측 변수의 표본 밖·논문 발표 이후 성과를 분석한다. 공개된 정보가 거래에 반영될 가능성과 표본 선택의 영향을 함께 생각할 근거다.
이 연구가 모든 공개 전략이 즉시 사라진다는 뜻은 아니다. 시장·기간·자료와 실제 거래 구조가 다른 개별 전략에는 별도의 검증이 필요하다.
3. 같은 신호를 함께 거래하면 실행 조건이 달라질 수 있다
동시에 주문이 몰리면 표시 가격에서 원하는 수량을 거래하기 어려울 수 있다. 진입의 기대 이익뿐 아니라 청산 때 같은 출구로 몰리는 위험도 살핀다.
과거 신호의 수익과 현재 규모에서 실제로 체결할 순수익을 구분해야 한다. 신호가 유지되어도 비용과 거래 가능 수량이 달라지면 계좌 결과는 달라질 수 있다.
4. 전략을 바꾸기 전에 차이를 분해한다
입력 자료와 계산 버전, 신호, 실제 체결, 비용과 노출을 각각 비교한다. 데이터 누락이나 실행 오류를 시장의 우위 소모로 설명하지 않는다.
가상 예시로 같은 거래금액의 비용 전 평균 이익이 10으로 유지되었는데 평균 비용이 2에서 8로 늘었다면, 비용 후 이익은 8에서 2로 줄어든다. 이때 먼저 확인할 것은 신호의 소멸보다 체결과 비용의 변화다. 반대로 비용은 그대로인데 비용 전 이익이 약해졌다면 다른 원인을 조사해야 한다.
실행이 정상이라는 이유만으로 우위도 유지된다고 가정하지 않는다. 관찰 기간과 표본의 불확실성을 표시하고, 사전에 정한 재평가 조건으로 검토한다.
5. 변경을 새로운 연구로 남긴다
현재 약해진 부분을 보고 만든 수정은 새 가설이다. 같은 기간에서 좋아졌다는 결과만으로 기존 전략을 대체하지 않고 별도의 평가 자료와 변경 시점을 남긴다.
우위의 변화에 대응하는 일은 매번 새로운 최적 설정을 고르는 일과 다르다. 원인을 나누어 측정해야 유지할 부분과 버릴 부분, 아직 모르는 부분을 구분할 수 있다.