5종목으로는 속았다 — 백테스트 생존편향에 속은 이야기

첫 백테스트, 숫자가 꽤 그럴듯했다

원칙을 세웠으니 이제 백테스트로 확인할 차례였다. 판단을 전부 코드로 짰으면, 그 코드가 진짜 돈을 버는지 봐야 한다. 익숙한 대형주 5개 — 삼성전자, SK하이닉스, NAVER, 현대차, 카카오 — 로 8년치 데이터를 돌렸다.

결과는 나쁘지 않아 보였다. 5종목 평균 수익률 +336.8%. 특히 카카오는 전략이 +376.4%를 냈는데, 그냥 사서 들고 있었으면 +74.4%에 그쳤을 거였다. 다섯 배 차이. "이 전략, 폭락장에서 방어력이 있구나" 싶었다.

그런데 자세히 보니 이상한 게 있었다

같은 표 안에 불편한 숫자도 있었다. SK하이닉스를 그냥 사서 들고 있었다면 +2,919%였다. 전략은 +589.6%. 무려 2,300%포인트 차이로 전략이 졌다. NAVER는 더 심했다 — 보유는 +64.9%인데 전략은 -39.0%, 마이너스였다.

5종목 평균을 내면 +336.8%로 그럴듯해 보이지만, 그 안을 뜯어보면 "크게 이긴 종목 하나(카카오)"와 "크게 진 종목 둘(SK하이닉스, NAVER)"이 섞여 있었을 뿐이었다. 평균이라는 숫자 하나에 가려져 있었다.

5개로 결론 내리는 게 맞나 — 생존편향 문제

멈춰서 생각해봤다. 삼성전자, SK하이닉스, NAVER, 현대차, 카카오 — 이 다섯은 전부 "지금 봐도 여전히 잘나가는" 종목이다. 2018년에 이 다섯 개를 미리 알고 골랐다면, 사실 어떤 전략을 썼어도 크게 손해 보기 어려웠을 거다. 이게 바로 생존 편향이다. 지금 살아남아서 유명한 종목들로만 테스트하면, 무슨 전략이든 그럴듯해 보인다.

그래서 기준을 다시 잡았다. 2018년 1월 시점의 시가총액 상위 40개 종목으로 유니버스를 고정했다. 지금 좋은 종목이 아니라, "그때 시점에 컸던" 종목들이다. 이 안에는 이후 반토막 난 종목도, 상장폐지 위기를 겪은 종목도 그대로 들어간다. 미래를 모르는 채로 그 시점에 실제로 골랐을 법한 40개였다.

40개로 늘리자 완전히 다른 그림이 나왔다

같은 전략, 같은 기간, 종목 수만 5개에서 40개로 늘려서 다시 돌렸다.

구간전략그냥 보유

전체 (2018~2026)	+83.4%	+167.9%
상승장 (2018~2020)	+6.9%	+16.1%
하락횡보장 (2021~2023)	-10.8%	-8.0%
최근 (2024~2026)	+70.3%	+125.4%

네 구간 전부 그냥 사서 보유하는 쪽이 이겼다. 심지어 방어력이 있다고 믿었던 하락장에서도, 전략이 오히려 보유보다 더 많이 잃었다(-10.8% vs -8.0%). 40개 종목 중 전략이 보유를 이긴 건 40%뿐이었다.

카카오에서 봤던 "다섯 배 방어" 이야기는 어디로 갔나. 그건 그냥 카카오라는 종목 하나가 만든 착시였다. 40개로 늘리자 그 효과는 평균 속으로 사라졌다.

 

운이 좋았던 거였다

5종목 백테스트 결과를 처음 봤을 때 들었던 "방어력이 있다"는 생각은, 데이터가 아니라 표본이 작아서 생긴 착각이었다. 다섯 개 중 하나가 우연히 잘 맞았을 뿐인데, 그걸 전략의 실력이라고 착각했던 거다.

이 실패가 알려준 건 명확했다. 검증은 익숙하고 편한 종목 몇 개로 하면 안 된다는 것. 그리고 "그때 그 시점에 몰랐을 것"을 아는 척하면서 유니버스를 고르면 안 된다는 것. 이후 모든 백테스트는 이 원칙 위에서 다시 짰다.

다음 편 예고

40종목 기준을 잡고 나니 이제 제대로 실험할 준비가 됐다. 그런데 문제는 여기서부터였다. "이건 당연히 도움될 것"이라고 생각했던 안전장치들을 하나씩 넣어봤는데, 세 번 연속으로 직감이 틀렸다. 하락 예상되면 매수를 막는 필터도, 손절 규칙도 — 다음 편에서 이어간다.

---

이 글은 투자 권유가 아니며, 개인적인 AI·자동매매 시스템 개발 과정의 기록입니다.