Paperis 아티클
"아무도 시장을 못 이긴다"는 통념은 어떻게 균열을 보였고, 왜 그래도 이기는 건 지독히 어려운가
이 글은 AI가 연구 논문을 바탕으로 작성한 교육·정보 제공용 콘텐츠이며, 전문가의 조언을 대체하지 않습니다. 오류를 발견하셨나요? 알려주세요
© 2026 네오쿤스(Paperis) · 링크 공유는 환영합니다. 전문 전재·재배포는 사전 허가가 필요합니다.
한때 투자의 세계에는 거의 신앙에 가까운 명제가 있었다. 아무도 시장을 꾸준히 이길 수 없다. 주가는 알려진 모든 정보를 이미 반영하고 있어서, 내일의 가격은 동전 던지기처럼 예측 불가능하다는 것이다. 이것이 효율적 시장 가설(EMH)과 랜덤워크 이론이다. 펀드매니저의 화려한 수익률도 결국 운이고, 가장 합리적인 선택은 그냥 시장 전체를 사서 가만히 두는 것이라고, 교과서는 가르쳐 왔다.
그런데 데이터를 들여다본 학자들은 묘한 균열들을 발견하기 시작했다. 어떤 종목군은 통계적으로 설명되지 않는 초과수익을 꾸준히 냈고, 사람들은 합리적 계산기와 거리가 먼 방식으로 사고팔았다. "시장은 효율적"이라는 명제가 데이터 앞에서 흔들린 것이다.
이 글은 그 긴장을 따라간다. 통념(시장은 못 이긴다)에서 균열(이상현상과 행동편향)로, 다시 더 정교한 절충(효율성은 변한다)으로, 그리고 — 솔직하게 — 이긴다는 증거를 깎아내는 또 다른 반전까지. 한 가지 미리 밝혀 둘 것이 있다. 여기 인용하는 거의 모든 논문은 동료심사 전 프리프린트(arXiv)다. 그러니 어느 한 줄도 최종 결론으로 읽어선 안 된다. 이 신중함 자체가 이 이야기의 일부다.
효율적 시장 가설의 핵심은 단순하다. 가격이 모든 정보를 "완전히 반영"한다면, 거래 전략으로 그 정보를 이용해 이익을 내는 일은 불가능에 가까워진다. 한 이론 연구는 EMH를 "가격이 트레이더가 가진 정보를 완전히 반영한다"는 명제로 정리하면서, 그 핵심이 거래 전략을 통해 정보가 가격으로 흘러드는 과정에 달려 있다고 보았다 (arXiv:2501.07489). 정보가 충분히 빠르고 정확하게 가격에 녹아들수록, 남은 비효율로 돈을 벌 여지는 사라진다.
효율의 정의를 더 엄밀하게 벼린 시도도 있다. 한 연구는 시장 효율이 "약한 차익거래 기회의 부재"만으로는 부족하다고 지적하며, 가격이 정보 흐름에 민감하게(즉 정보를 '완전히 반영'하거나 '빠르게 조정') 반응해야 비로소 정보 효율적이라고 정식화했다 (arXiv:1302.3001). 또 다른 연구들은 효율성을 정보이론의 언어로 측정하려 했다. 엔트로피 기반 척도를 도입해 그것이 파마(Fama)와 젠슨(Jensen)의 고전적 정의와 동등함을 보인 연구가 있었고 (arXiv:1812.02371), 41개 주가지수에 상관구조와 군집행동까지 반영한 효율 척도를 적용해 "이상적 효율 시장에서 얼마나 떨어져 있는가"를 거리로 잰 연구도 있었다 (arXiv:1208.1298).
이 통념이 얼마나 강한지는 한 도발적인 정리가 잘 보여준다. 어떤 연구는 "시장이 약형(weak-form) 효율적이라면 P=NP가 성립한다"는 것을 증명했다. P≠NP일 가능성이 높으니, 거꾸로 시장은 아마 완벽히 효율적이지 않다는 결론으로 이어진다 — 게다가 시계열이 길어지고 빈도가 높아질수록 비효율은 더 커진다고 보았다 (arXiv:1002.2284). 비슷하게, GARCH 같은 변동성 구조를 가진 수익률 과정은 정보이론적으로 완전한 효율과 양립할 수 없다는 분석도 있었다 (arXiv:0903.2243). 즉 가장 엄밀한 형태의 EMH는 이론적으로조차 완전히 성립하긴 어렵다. 통념은 "절대적 진리"라기보다 에 가까웠다.
진짜 균열은 데이터에서 왔다. EMH가 맞다면 어떤 단순한 규칙으로도 꾸준한 초과수익을 못 내야 하는데, 실증 연구들은 반복해서 그런 규칙들을 찾아냈다. 이를 이상현상(anomaly)이라 부른다.
모멘텀이 대표적이다. 최근 오른 종목이 한동안 더 오르는 경향인데, 72개 팩터를 분석한 연구는 팩터 수준에서도 모멘텀이 방향성으로나 횡단면으로나 작동함을 재확인했다. 다만 통계적으로 유의한 샤프지수는 가장 최근 한 달 수익을 포함할 때만 나타나, 그 효과가 짧은 시차에 몰려 있음을 함께 보였다 (arXiv:2009.04824). 모멘텀 전략에 일종의 '대칭성 깨짐' 물리 모형을 입힌 연구는 미국과 한국 시장 데이터에서 단순 모멘텀보다 강한 성과와 더 나은 위험 지표를 보고하기도 했다 (arXiv:1107.5122).
가치(value)도 끈질긴 신호다. 로버트 실러의 경기조정 주가수익비율(CAPE)이 장기 수익을 예측한다는 점에 기댄 모형은, 초기 CAPE가 낮을수록(즉 쌀수록) 이후 장기 기대수익이 높아지는 선형 관계를 이론적으로 도출했다 — 단기에는 모멘텀이 거품과 폭락을 만들지만, 장기 기준점은 결국 밸류에이션이라는 것이다 (arXiv:1204.5055). 배당수익률·이익가격비율·장부가시장가비율에 소비-부 비율을 더한 다변량 모형이 향후 수익을 예측한다는 실증도 더해졌다 (arXiv:2110.01873).
소형주·저가주 신호도 있다. 인도 국가증권거래소의 페니주 167개를 분석한 연구는 시가총액이 더 낮은 종목, P/E가 더 낮은 종목, P/B가 더 낮은 종목, 가격이 더 낮은 종목의 포트폴리오 수익이 유의하게 더 높았다고 보고했다 (arXiv:1610.01338). 이런 결과는 고전적인 소형주·가치 효과의 연장선에 있다.
이상현상은 시간 축에도 숨어 있었다. 횡단면 수익의 장중 패턴을 본 연구는 거래일의 정확한 배수가 되는 30분 간격마다 수익이 이어지는(continuation) 뚜렷한 패턴을 찾아냈고, 그것이 최소 40거래일 지속됐다고 보고했다 — 거래량·호가스프레드로는 설명되지 않는 패턴이었다 (arXiv:1005.3535). 미국·터키 지수의 월별 수익을 본 연구는 달력 효과를 약하게나마 발견했는데, 특히 터키 주식에서 4월의 양(+)의 수익 뒤 5월에 두드러진 음(-)의 효과가 나타났다 (arXiv:2003.05750).
새로운 종류의 팩터도 계속 발굴됐다. 기업 공시에서 머신러닝으로 추출한 무형투자 강도 팩터가 1993~2022년 구간에서 수익 예측력이 강해졌다는 연구 (arXiv:2505.16336), 공시문에서 측정한 사이버 위험이 연 6.93%의 유의한 위험 프리미엄을 만든다는 연구 (arXiv:2402.04775), 100만 건 넘는 뉴스로 종목 간 네트워크를 만들어 그 '네트워크 주목도'가 월별 수익을 횡단면에서 예측한다는 연구 (arXiv:2108.05721)까지 — EMH가 예측한 "초과수익 0"의 세계와는 거리가 있었다.
이상현상이 "시장에 패턴이 있다"는 증거라면, 행동재무학은 "그 패턴의 원인이 사람의 비합리성"이라고 말한다. 합리적 계산기라면 하지 않을 행동을, 실제 투자자들은 반복한다.
가장 유명한 것이 처분효과(disposition effect)다. 오른 종목은 서둘러 팔아 이익을 확정하고, 떨어진 종목은 손실을 인정하기 싫어 끌어안는 비합리적 경향이다. 한 연구는 비트코인 거래소로 향하는 거래를 '매도'의 대리지표로 삼아, 암호자산 같은 비전형 시장에서도 처분효과가 존재했음을 보였다 — 특히 2017년 급등·급락 이후 뚜렷해졌다 (arXiv:2010.12415).
과잉반응과 과소반응도 핵심이다. 한 연구는 사건·정보가 가격에 주는 충격이 정규분포를 따른다고 가정했을 때, 실제 수익률 분포가 보이는 높은 첨도와 두꺼운 꼬리를 설명하려면 시장이 작은 정보엔 과소반응, 큰 정보엔 과잉반응한다고 봐야 한다고 분석했다. 중국·미국·일본 지수에서 이 비대칭 반응 함수가 관찰됐다 (arXiv:2312.02472). 투자자 심리(sentiment)의 예측력은 종목 특성에 따라 시차가 달라졌는데, 소형주·저(低)장부가비율주에서 단기·장기 모두 강한 예측력이 나타났다 (arXiv:1803.02962). 흥미롭게도 대규모 언어모델(LLM)조차 과거 수익을 해석할 때 사람처럼 최근 성과에 과도한 가중치를 두는 과잉외삽과 낙관 편향을 보였다 (arXiv:2409.11540).
이 비합리성이 누적되면 거품과 폭락이 된다. 한 동역학 모형은 개별 투자자가 사적 정보와 주변의 행동(군집)을 조합해 의견을 조정하는 과정에서, 낙관적 믿음이 우세해지면 다수가 비관적 정보를 가졌더라도 강세장이 만들어지고 결국 거품과 급락으로 이어짐을 보였다 (arXiv:1106.1577). 더 놀라운 것은, 완전한 정보·원자적 행위자·불확실성 부재라는 교과서적 효율 조건을 갖춘 시장에서도 거품 패턴이 빠르게 생겨났다는 사회학적 분석이다 (arXiv:1609.04629). 비합리성을 정면으로 모델링하려는 시도도 있다. 한 딥러닝 연구는 시장 심리·투기·조작·심리적 편향 같은 '비이성 팩터'를 개별 종목과 시장 전체 수준에서 학습해 수익 예측을 개선했다고 보고했다 (arXiv:2502.04737).
그렇다면 시장은 효율적인가, 비효율적인가? 가장 설득력 있는 답은 "때에 따라 다르다"였다. 효율성을 고정된 성질이 아니라 시간·시장에 따라 변하는 동적 속성으로 보는 적응적 시장가설(AMH, Adaptive Markets Hypothesis)이다.
증거는 여러 시장에서 쌓였다. 전전(戰前)·전시 일본 주식시장을 새 지수로 분석한 연구는 효율의 정도가 시간에 따라, 그리고 주요 역사적 사건에 따라 변동했음을 보이며 AMH를 지지했다 — 1930년대 전쟁 위험이 커질수록 효율이 떨어졌다 (arXiv:1911.04059). 시변(時變) AR 모형으로 일본 TOPIX·TSE2를 본 연구도 효율의 정도가 시간에 따라 변하고, 두 시장이 서로 다른 속도로 효율을 향해 진화했음을 보고했다 (arXiv:1207.1842). 암호화폐 시장(비트코인·이더리움)에서도 효율은 시간에 따라 변했고, 유동성이 높은 시장이 더 빠르게 효율을 향해 진화했다 (arXiv:1904.09403). 중국 시장의 수익 예측력이 시장 격변기 주변에서 강해졌다는 연구 (arXiv:1611.04090), 순열 엔트로피로 본 세계 주요 시장의 효율이 몇 달 단위로만 안정적인 '집합적 현상'이라는 연구 (arXiv:2011.14809)도 같은 그림을 그렸다.
미국 시장도 예외가 아니다. NYSE 지수를 1950~2013년 분석한 연구는 동일가중 지수에서는 랜덤워크 가설이 전 기간 기각됐지만, 시가총액 가중 지수에서는 1990년대부터 랜덤워크가 받아들여지기 시작했다고 보고했다 (arXiv:1510.03926). 효율이 시기에 따라 켜지고 꺼진다는 AMH의 직관과 맞닿는다.
왜 효율이 변할까. 한 연구는 효율성을 경제 규모·제도적 집행력·지정학적 위치의 상호작용에서 나오는 국지적이고 상태 의존적인 성질로 개념화했다 (arXiv:2601.05924). 효율은 시장 어디에나 균일하게 깔린 것이 아니라, 제도와 정보 환경이 단단한 곳에서 더 잘 성립한다는 것이다. 이런 시각에서 보면, 비효율이 남은 시기·시장에서는 기술적 분석이나 다중프랙탈 같은 신호가 약하게나마 작동할 수 있다 — 실제로 브라질 시장에서 차트 패턴과 이후 추세의 통계적 관련성을 보고한 연구 (arXiv:1302.1228), 중국 시장에서 다중프랙탈 스펙트럼 폭이 미래 수익의 유의한 예측변수였다는 연구 (arXiv:1806.07604)가 있었다.
여기까지 보면 "패턴이 있으니 이길 수 있겠다"고 결론짓고 싶어진다. 그러나 정직한 그림에는 결정적인 그늘이 있다. 거래비용·시장 마찰·전략의 자기소멸을 넣으면, 알려진 비효율로 꾸준히 돈을 버는 일은 지독히 어렵다.
첫 번째 그늘은 예측 가능성과 수익 가능성은 다르다는 점이다. 한 진화적 시장 모형 연구는 "예측 가능성만으로는 시장 효율의 충분한 척도가 아니다"라며, 이상적 트레이더가 실제로 빼낼 수 있는 최대 이익으로 비효율을 재측정했다. 그 결과 실현 가능한 이익의 양은 매우 제한적이었고, 게다가 시장 참여자가 늘수록 그 이익은 줄었다 (arXiv:cond-mat/0403621). 즉 패턴이 있어도, 그것을 돈으로 바꿀 수 있는 양은 작고 빠르게 마른다.
두 번째 그늘은 전략의 자기소멸이다. 뉴스 헤드라인으로 시장 반응을 예측하는 ChatGPT 연구는 GPT-4가 후속 가격 표류를 유의하게 예측함을 보였지만, 동시에 LLM 채택이 늘수록 전략의 수익이 감소했다고 보고했다 — 가격 효율이 개선되면서 그 기회가 닫힌 것이다 (arXiv:2304.07619). 알려진 비효율은 발표되고 활용되는 순간 스스로를 갉아먹는다는, EMH의 자기교정 메커니즘을 그대로 보여준다.
세 번째 그늘은 거래비용이다. 모스크바 거래소가 2012~2021년 대부분의 기간 비효율적이었다고 보고한 연구조차, 그 비효율이 수익으로 이어지려면 "거래비용을 차감하고도" 남아야 한다는 단서를 분명히 달았다 (arXiv:2207.10476). 비효율의 존재와 차익거래의 성공은 다른 문제다. 비트코인을 신경망으로 분석한 연구는 입력 자산을 늘려도 검증셋에서 매수보유(buy-and-hold) 전략을 일관되게 이기지 못해, 표본 기간 동안 비트코인 시장이 EMH 의미에서 효율적이라는 증거를 찾았다 (arXiv:2208.07254). 인도·중국 시장이 약형 비효율적이라는 연구들 (arXiv:1709.04059, arXiv:2012.01160)도 마찬가지로, 비효율의 통계적 검출이 곧 실현 가능한 초과수익을 뜻하지는 않는다.
네 번째 그늘은 비효율이 잡히는 시간 척도가 너무 짧다는 점이다. EMH를 위반하는 바스켓을 구성할 수 있음을 보인 연구는, 그 비자명한 자기상관 구조가 수십 초 단위에서만 나타난다고 했다 (arXiv:1006.5230). 차익거래를 기하학적으로 측정한 연구도 시장이 하루 이상의 시간 척도에서는 효율적이었고, 비효율은 1분 미만의 초고빈도 데이터에서만, 그것도 1분 안팎의 짧은 수명으로 나타났다고 보고했다 (arXiv:0908.3043). 이런 기회를 잡으려면 막대한 인프라가 필요하고, 그 자체가 거대한 비용이다. 블록체인 자산에서는 합의 지연이라는 물리적 마찰이 차익거래를 제약한다는 '차익거래의 한계' 연구도 같은 교훈을 준다 (arXiv:1812.00595).
다섯 번째 그늘은 효율은 조건부라는 점이다. 상하이-홍콩 증시 연결(스톡커넥트)을 분석한 2026년 연구는 금융 자유화의 효과가 사전 효율성에 따라 달라져, 덜 효율적인 시장에서 정책 효과가 더 크게 나타났다고 보고했다 (arXiv:2602.14754). 또 어떤 연구는 레버리지의 최적값이 1로 수렴해 시장 포트폴리오에 레버리지를 걸어도 장기 초과성과를 낼 수 없다는 '레버리지 효율' 가설을 제시했는데, 흥미롭게도 이 가설을 S&P500과 매도프 사기 펀드를 비교해 사기를 탐지하는 도구로 쓸 수 있음을 보였다 — 합법적 시장의 가격은 이 효율 조건을 따르기 때문이다 (arXiv:1101.4548).
행동재무학이 '이상현상'으로 부른 것들조차 다른 해석의 여지가 있다. 자산수익 예측 가능성·주식 프리미엄 퍼즐·변동성 퍼즐을 행동재무 가정 없이 합리적 재무이론 안에서 설명할 수 있다는 연구 (arXiv:1710.03211), 주식 예측 가능성 퍼즐을 역인과나 심리 대신 통계 모형으로 재구성한 연구 (arXiv:1911.02194)가 있다. 같은 데이터를 두고 "비합리성의 증거"와 "위험 프리미엄의 합리적 보상"이 맞서는 셈이다.
최근에는 AI가 이 오랜 질문에 새 장을 열고 있다. 한 2026년 연구는 LLM이 매일 러셀 1000 종목을 스스로 평가하게 하는, 미래 정보 누출이 구조적으로 불가능한 완전 실시간(out-of-sample) 실험을 설계했다. 결과는 미묘했다. AI는 진짜 종목 선별 능력을 보였지만, 그것은 오직 '최상위 승자'를 골라낼 때뿐이었다. 상위 20종목 매수는 유의한 알파를 냈고 거래비용이 총알파의 10% 미만이라 실현 가능했지만, 그 너머로 넓히면 알파가 빠르게 희석됐고 하위 종목은 시장과 구분되지 않았다 (arXiv:2601.11958). "이길 수 있다"와 "없다"가 한 연구 안에 공존한다.
동시에, 비범한 주장일수록 비범한 신중함이 필요하다. 어떤 프리프린트는 가치·단기반전 신호를 특정 '표류 국면'에서만 활성화해 표본외 샤프지수 13 이상, 연 158.6% 수익을 달성했다고 보고했다 (arXiv:2511.12490). 1,000회 무작위 검정과 파라미터 교란까지 통과했다지만, 이 정도 수치는 그 자체로 의심의 대상이다 — 데이터마이닝, 생존편향, 미래정보 누출, 용량 한계 같은 함정을 모두 걸러냈는지는 동료심사와 독립 재현이 말해줄 일이다. 프리프린트 한 줄을 결론으로 읽지 말라는 이 글의 첫 경고가, 가장 화려한 수익률 앞에서 가장 크게 울린다.
시장 효율성 이야기가 흥미로운 건, 어느 쪽도 완승하지 못했기 때문이다. "아무도 못 이긴다"는 통념은 모멘텀·가치·소형주 같은 이상현상과 처분효과·과잉반응 같은 행동편향 앞에서 균열을 보였다. 그러나 "이길 수 있다"는 반대편도, 거래비용·짧은 시간 척도·전략의 자기소멸·생존편향이라는 그늘 앞에서 쉽게 의기양양해질 수 없었다. 가장 정직한 절충은 적응적 시장가설이었다 — 효율성은 켜지고 꺼지며, 시장·시기·제도에 따라 다르다.
그래서 결론은 단정이 아니라 균형이다. 알려진 비효율은 분명 존재하지만, 발표되는 순간 약해지는 경향이 있고, 비용을 빼면 꾸준한 초과수익은 극소수에게만, 그것도 잠시 허락된다. 시장은 완벽히 효율적이지도, 마음껏 이길 수 있을 만큼 비효율적이지도 않다. 그 사이 어딘가에서, 효율은 끊임없이 자신을 재조정하고 있다.
이 글은 금융·경제 정보 제공을 위한 것이며, 투자 자문이나 권유가 아닙니다. 인용한 근거의 대부분은 동료심사 전 프리프린트(arXiv)로, 후속 연구로 세부 내용이 갱신될 수 있습니다.
통념 — 효율적 시장 가설·랜덤워크
균열 ① 이상현상 — 모멘텀·가치·소형주·달력·새 팩터
균열 ② 행동편향 — 처분효과·과잉반응·거품
절충 — 적응적 시장가설(AMH)
정직한 반전 — 비용·시간척도·자기소멸·조건부 효율
AI 시대의 새 균열 — 그리고 신중함