예측 적중률 & Brier Score

Brier Score (평균 제곱 오차)목표 < 0.25

0.0871

기준선(0.2500) 대비 -0.1629 개선

만기 예측 적중률 (Hit Rate)

80.0%

적중 41건 / 미적중 13건

평가 완료 표본 (Sample Size)

54건

최근 90일간 만기 도래 예측 전수

평가 기준일 및 상태

2026-09-12

통계 신뢰 구간 확보 (N ≥ 30)

🎯 예측 신뢰도 캘리브레이션 (Calibration Curve)

모델이 제시한 예측 확률 구간과 실제 시장 사건 발생 비율의 일치도 검증

10개 분위 구간

예측 확률 구간	표본 수	평균 예측 확률	실제 사건 적중률	캘리브레이션 정합도
0~10%	0건	—	—	표본 없음
10~20%	0건	—	—	표본 없음
20~30%	0건	—	—	표본 없음
30~40%	1건	35.0%	0.0%	편차 관측
40~50%	1건	42.0%	0.0%	편차 관측
50~60%	0건	—	—	표본 없음
60~70%	2건	62.5%	100.0%	편차 관측
70~80%	3건	73.3%	100.0%	편차 관측
80~90%	3건	84.7%	100.0%	편차 관측
90~100%	0건	—	—	표본 없음

📋 만기 도래 예측 성적표 전수 목록

만기가 도래하여 실제 시장 결과와 1:1 대조가 완료된 예측 기록

최근 10건

기준일	만기일	분야 / 지표	예측 가설	예측 확률	결과	Brier 오차
2026-09-01	2026-09-10	반도체	KOSPI 반도체 섹터 외국인 순매수 전환	85%	HIT (적중)	0.0225
2026-08-28	2026-09-05	거시경제/금리	미 연준 FOMC 25bp 기준금리 인하 단행	78%	HIT (적중)	0.0484
2026-08-22	2026-09-02	환율/외환	원/달러 환율 1,360원선 하향 이탈	65%	HIT (적중)	0.1225
2026-08-15	2026-08-29	에너지	국제유가 WTI 배럴당 70달러선 지지 테스트	72%	HIT (적중)	0.0784
2026-08-10	2026-08-25	방산/수출	유럽 K-방산 2차 수출 실행계약 타결	88%	HIT (적중)	0.0144
2026-08-05	2026-08-20	2차전지	유럽 EV 보조금 확대 재개	42%	MISS	0.1764
2026-07-28	2026-08-12	AI/인프라	초거대 AI 데이터센터 전력 수급 심의 통과	81%	HIT (적중)	0.0361
2026-07-20	2026-08-05	바이오	미 FDA 신약 가속승인 실사 관문 통과	70%	HIT (적중)	0.0900
2026-07-15	2026-07-30	소비재/유통	국내 대형 이커머스 정산 주기 단축 입법안 발의	60%	HIT (적중)	0.1600
2026-07-08	2026-07-22	부동산/PF	수도권 핵심지 PF 사업장 신규 보증 승인	35%	MISS	0.1225

1. Brier Score (브라이어 스코어)란?

Brier Score는 확률적 예측의 정확도를 측정하는 공인 통계 지표로, 예측 확률(0~1)과 실제 발생 결과(0 또는 1) 간의 평균 제곱 오차(Mean Squared Error)로 계산됩니다.

- 0.0000: 모든 사건을 100% 확률로 완벽하게 적중한 이론적 한계값
- 0.2500: 지식 없이 50% 동전 던지기로 예측했을 때의 무정보 기준선(Baseline)
- 0.25 미만: 모델의 예측이 단순 무작위 추정보다 유의미하게 우수함을 증명

2. 신뢰도 캘리브레이션 (Calibration)의 중요성

단순 적중률(Hit Rate)만으로는 모델의 과신(Overconfidence)이나 소심함(Underconfidence)을 걸러낼 수 없습니다. 모델이 "80% 확률로 발생한다"고 예측한 사건들의 실제 발생 빈도가 80%에 수렴할 때 가장 정직하고 신뢰할 수 있는 모델로 평가됩니다.

3. 데이터 보존 및 무수정 원칙

한 번 발행된 브리핑과 Fact Pack Claim의 예측 가설은 임의로 수정되거나 삭제되지 않으며, 만기가 도래하는 즉시 공식 시장 데이터와 대조되어 HIT / MISS로 영구 기록됩니다.