Agentic RL Backtest & Bias Resolution Report

본 보고서는 외부 MCP 에이전트 풀 연동, PyTorch 기반 강화학습(TD3) 모델 학습, 그리고 LLM을 이용한 에이전틱 프롬프트 최적화 피드백 루프를 결합한 통합 백테스트 시스템(FinAgent)의 구축 내역과, 백테스트의 신뢰성을 무너뜨리는 정보 편향(Look-ahead Bias / 생존 편향)을 해결한 결과에 대한 기술적 성과 분석 보고서입니다.

1. 프로젝트 개요 및 목적

• 목적: 데이터, 알파, 포트폴리오, 리스크 등 파편화된 금융 에이전트 풀들을 MCP(Model Context Protocol) 네트워크로 융합하고, 포트폴리오 비중 결정 문제를 PyTorch 강화학습(TD3)으로 모델링하여 최적의 투자 의사결정을 자동화합니다.
• 핵심 기능:
  • MCP SSE 클라이언트 통신: 백그라운드의 데이터 풀(Port 8011) 등 외부 에이전트와 직접 통신하여 리얼타임 KOSPI 종가 데이터 취득.
  • 에이전틱 피드백 루프 (Agentic Loop): 매 에피소드 종료 후 훈련 성과가 기준치 미달일 때 OpenAI gpt-4o 메타 에이전트가 개입하여 알파 에이전트의 프롬프트(지침)를 자동으로 튜닝 및 Overriding하는 자동화 루프 구축.

2. 강화학습(RL) 기술 아키텍처

• 알고리즘: TD3 (Twin Delayed Deep Deterministic Policy Gradient)
• 신경망 차원 및 레이어 구조:
  • Actor Network (정책 결정망):
    • 80차원 입력(10개 종목 * 8개 기술적 특징량) ➡️ 은닉층 1(256) ➡️ 은닉층 2(256) ➡️ 은닉층 3(256) ➡️ 10차원 출력(각 종목의 목표 비중 실수 [-1, 1])
  • Critic Network (가치 평가망 - Twin Q-net):
    • 과대평가 방지를 위해 동일한 구조를 갖는 2개의 네트워크(q1, q2) 운용.
    • 90차원 입력(80차원 상태 + 10차원 행동) ➡️ 은닉층 1(256) ➡️ 은닉층 2(256) ➡️ 은닉층 3(256) ➡️ 1차원 출력(Q-value 가치 점수)

3. 핵심 개선 사항: 정보 편향(Bias) 해결

기존의 고정 종목 기반 백테스트는 미래 시점(2024~2025년)의 대형주 정보를 2023년 시점에 이미 알고 매매하는 미래 정보 참조 편향(Look-ahead bias) 및 생존 편향(Survival bias)이 내재되어 성과가 과장되었습니다. 이를 해결하기 위해 다음 시스템을 추가했습니다.

A. 슬롯 기반 동적 바인딩 (Slot-based Dimension Binding)

• PyTorch 모델의 가중치 입력(State) 및 출력(Action) 차원은 고정되어야 학습이 가능합니다.
• 이를 위해 모델 차원은 상위 7개(Top 7) 슬롯으로 고정하되, 각 슬롯에 대응되는 실제 주식 종목은 매 분기 랭킹에 의거해 동적으로 교체되도록 어댑터 디자인을 적용했습니다.

B. 분기별 동적 유니버스 선정 및 리밸런싱

• 시가총액 랭킹: 매일의 주가와 종목별 주식 수(Shares)를 곱해 매 분기 시작일에 당시 시점 기준 KOSPI 상위 7개 종목을 실시간 재선별합니다.
• 탈락 종목 청산: 리밸런싱 평가 결과 상위 7위 밖으로 제외된 종목은 보유 지분 전량을 즉시 시장가로 매도(Clean Liquidation)하여 현금화하며, 신규 진입 종목은 다음 거래일부터 슬롯에 바인딩하여 새로 의사결정을 수행합니다.

4. 백테스트 성과 분석 비교

동적 리밸런싱 및 정보 편향을 제거하기 전과 후의 정량적 투자 성과를 동일한 2개년(2023-01-01 ~ 2024-12-31) 데이터셋 상에서 비교한 결과입니다.

📊 분석 시사점

• 미래 정보를 참조하던 왜곡 버전은 연 70% 이상의 비현실적인 고수익(+156.75%)을 나타냈으나, 편향을 완전히 제거하고 동적으로 종목을 변경하며 역사적 규칙을 지킨 리얼 버전은 하락장 리스크와 잦은 리밸런싱 비용이 반영되어 -14.15%의 지극히 현실적인 마이너스 성과를 보였습니다.
• 이는 편향 없는 시뮬레이터 설계가 실제 라이브 자금 운용 시의 대규모 참사를 막기 위해 얼마나 중요한지를 증명하는 대조 사례입니다.

5. 결론 및 향후 고도화 가이드라인

• 거래 빈도 통제: 리밸런싱 및 일일 매매 시 발생하는 거래 수수료와 슬리피지(Slippage) 누적을 줄이기 위해, 액터 모델의 최소 매매 임계치를 높이거나 재조정(Rebalancing) 비중 최소 변동폭 규칙을 프롬프트상에 더 강하게 제어해야 합니다.
• 리워드 함수 튜닝: drawdown 페널티 배율(현재 10배)을 강화하여, 하락 모멘텀 진입 시 한층 민첩한 손절 및 포지션 회피 행동을 보이도록 RL Reward Function을 고도화할 것을 제안합니다.