큰 주문은 왜 한 번에 안 넣을까 — 자동매매 '집행 알고리즘' 완전 정리

자동매매를 알아보는 분들과 이야기하면, 대화의 90%는 "무엇을 언제 살까"에 쏠립니다. 어떤 신호에서 사고, 어떤 조건에서 팔고, 손절은 어디에 두는지 — 즉 전략 이야기입니다. 그런데 프로의 세계에는 그와 완전히 다른, 그러나 성과를 조용히 갉아먹거나 지켜주는 또 하나의 알고리즘이 있습니다. 정해진 그 주문을 '어떻게 잘 실행하느냐' — 바로 집행(execution) 알고리즘입니다. 사는 종목이 같고 방향이 같아도, 큰 주문을 한 번에 툭 던지느냐 잘게 나눠 살살 넣느냐에 따라 실제로 사지는 평균 가격이 달라집니다. 기관 트레이더가 TWAP·VWAP·아이스버그 같은 낯선 이름을 입에 달고 사는 이유가 여기에 있습니다. 이 글은 그 '집행'의 세계를 코딩 한 줄 없이 풀어냅니다. 큰 주문이 왜 스스로 값을 밀어 올리는지, '결정한 가격'과 '실제 체결가'는 왜 벌어지는지, 대표적인 집행 알고 네 가지의 원리와 차이, 그리고 개인에게 이게 정말 필요한지의 정직한 답까지 다룹니다. 미리 밝혀두면, 이 글은 어떤 자산의 방향이나 수익을 예측하지 않습니다. 정량적인 집행 방법론을 설명하는 교육 자료이며, 집행이 아무리 좋아도 그 자체가 이익을 만들어 주지는 않습니다.

1. 두 개의 다른 알고리즘 — '무엇을 살까'와 '어떻게 잘 살까'

자동매매 이야기를 할 때 우리는 보통 하나의 알고리즘만 상상합니다. "이동평균이 교차하면 사고, 목표가에 닿으면 판다" 같은 판단의 규칙 말입니다. 그런데 실제 매매는 그 판단이 끝난 뒤에 한 단계가 더 남습니다. "좋아, 비트코인 1개를 지금 사기로 결정했어" — 그다음 질문은 "그걸 대체 어떻게 살 건데?"입니다. 지금 이 순간 시장가로 한 방에? 아니면 지정가를 걸어두고 기다려? 나눠서? 10분에 걸쳐? 이 두 번째 질문에 답하는 것이 바로 집행 알고리즘입니다.

비유하자면 이렇습니다. 전략은 "오늘 저녁은 삼겹살을 먹겠다"는 결정이고, 집행은 "그 삼겹살을 어느 정육점에서, 한 번에 5근을 살지 하루 세 번 나눠 살지, 붐비는 시간을 피할지"라는 실행 방법입니다. 메뉴를 아무리 잘 골라도 장을 어설프게 보면 더 비싸게 사거나 품절을 만나는 것처럼, 매매도 판단이 옳았어도 집행이 서투르면 예상보다 나쁜 가격에 체결됩니다.

이 구분은 사실 트레이딩 용어를 정리할 때 이미 등장했습니다. '자동매매·시스템·알고리즘·퀀트'가 어떻게 다른지를 다룬 글에서, 알고리즘 트레이딩에는 '무엇을 살지 정하는 전략 알고'와 '정해진 걸 잘 집행하는 집행 알고'가 있다고 잠깐 짚었는데, 이번 글은 바로 그 집행 알고만을 파고듭니다.

2. 가격은 하나가 아니다 — 호가창과 시장충격

집행이 왜 문제가 되는지 이해하려면, 먼저 "시장 가격은 하나의 숫자가 아니다"라는 사실을 받아들여야 합니다. 우리가 시세판에서 보는 '현재가'는 방금 체결된 한 건의 가격일 뿐입니다. 실제로 사고팔 수 있는 가격은 호가창(order book)에 계단처럼 쌓여 있습니다. 가장 싸게 팔겠다는 물량이 맨 아래, 그다음 조금 비싼 물량, 또 그다음… 이렇게 여러 가격에 물량이 분산되어 있습니다.

이 구조에서 시장가로 큰 수량을 한 번에 사면 무슨 일이 일어날까요? 가장 싼 매도 물량부터 차례로 먹어치우며 위로 올라갑니다. 처음 몇 개는 싸게 사지만, 물량이 소진될수록 점점 비싼 가격에 사지고, 결국 내 주문 자체가 값을 밀어 올립니다. 이것을 시장충격(market impact)이라고 부릅니다. 내가 큰 걸 사려 한다는 사실이 그대로 가격을 불리하게 만드는 것이죠. 팔 때는 반대로, 큰 매도가 값을 아래로 눌러 내립니다.

시장충격의 크기는 내 주문이 그 순간의 호가 물량에 비해 얼마나 큰가에 달려 있습니다. 물량이 두껍게 쌓인 대형 종목·메이저 코인에서 소액을 사면 충격이 거의 없습니다. 반대로 유동성이 얇은 소형주, 상장 초기 코인, 거래가 뜸한 새벽 시간대에서는 조금만 사도 값이 훌쩍 뜁니다. 그래서 집행의 첫 번째 원리는 "큰 주문을 시장이 소화할 수 있게 잘게 나눠, 시간을 두고 흘려보낸다"가 됩니다. 이 시장충격과 슬리피지가 실제 체결에서 어떻게 나타나는지는 주문 체결의 진짜 원리(슬리피지·미체결·부분체결)에서 더 기초부터 다뤘습니다. 이번 글은 그 위에서, '큰 주문을 어떻게 쪼갤 것인가'라는 집행 알고리즘으로 한 걸음 더 들어갑니다.

3. 집행의 진짜 비용 — '결정가'와 '체결가'의 괴리

집행을 이야기할 때 프로들이 가장 중요하게 여기는 개념이 하나 있습니다. 구현 손실(implementation shortfall)입니다. 이름은 거창하지만 뜻은 단순합니다 — "사기로 마음먹은 순간의 가격"과 "실제로 다 사고 난 뒤의 평균 가격"의 차이입니다.

예를 들어 봅시다. 어떤 신호가 떠서 "지금 이 가격(결정가)에 사자"고 봇이 판단했습니다. 그런데 주문을 실제로 실행해 다 채우는 데는 시간이 걸립니다. 그사이 ① 내 주문이 값을 밀어 올린 시장충격, ② 수수료, ③ 주문을 다 못 채워 놓친 부분, ④ 시간이 흐르는 동안 시장 자체가 움직인 변화 — 이 모든 것이 쌓여 결정가와 실제 체결가가 벌어집니다. 이 벌어진 폭이 바로 구현 손실이고, 집행이 새어 나가게 만든 진짜 비용입니다.

구현 손실을 이해하면 집행의 본질이 보입니다. 집행 알고리즘은 결국 이 네 가지 비용을 어떻게 배분하고 최소화할 것인가의 문제입니다. 그리고 여기엔 피할 수 없는 딜레마가 있습니다. 빨리 사면 시장충격이 크고, 천천히 나눠 사면 충격은 줄지만 그동안 시장이 반대로 움직일 시간 위험이 커집니다. '빨리 vs 천천히'는 집행의 영원한 트레이드오프이며, 어느 쪽이 정답인지는 상황마다 다릅니다.

4. 집행 알고 4대장 — TWAP·VWAP·참여율·구현손실 최소화

그럼 실제로 '큰 주문을 어떻게 나눠 낼 것인가'를 규칙으로 만든 것이 집행 알고리즘입니다. 대표적인 네 가지를 비개발자 눈높이로 정리하겠습니다. 이름은 낯설어도 발상은 직관적입니다.

① TWAP — 시간을 균등하게 쪼갠다

TWAP(Time-Weighted Average Price, 시간가중평균가)는 가장 단순합니다. 정해진 시간 동안 주문을 대체로 균등하게 나눠 냅니다. "한 시간에 걸쳐 5분마다 조금씩 사라" 같은 식이죠. 시계처럼 규칙적이라 예측 가능하고 구현이 쉽습니다. 대신 시장의 거래량 흐름을 고려하지 않아서, 마침 거래가 한산한 시간에 기계적으로 주문을 내면 그 조각이 오히려 값을 밀 수도 있습니다.

② VWAP — 거래량이 많은 때 더 많이

VWAP(Volume-Weighted Average Price, 거래량가중평균가)는 한 걸음 더 나아갑니다. 하루 중 거래가 활발한 시간대에 더 많이, 한산한 시간대에 더 적게 주문을 배분합니다. 사람이 붐빌 때 슬쩍 섞여 들어가면 내 주문이 티가 덜 나고 충격도 덜하다는 발상입니다. 시장이 원래 거래하던 리듬을 따라가므로 대량 주문을 자연스럽게 녹이는 데 유리합니다. 대신 과거 거래량 패턴을 참고해 배분하는데, 그날따라 패턴이 어긋나면 예상과 다르게 집행될 수 있습니다.

③ 참여율(POV) — 시장의 몇 %만 따라간다

참여율 알고리즘(POV, Percent of Volume)은 시간이 아니라 시장의 실제 거래량에 내 주문을 연동합니다. "이 순간 시장에서 거래되는 양의 10%만큼만 나도 사겠다"는 식입니다. 시장이 활발하면 나도 빨리, 시장이 조용하면 나도 천천히 — 시장의 숨결에 맞춰 따라갑니다. 내 주문이 항상 시장의 일정 비율을 넘지 않으니 티가 덜 난다는 장점이 있지만, 시장이 하루 종일 한산하면 주문을 다 못 채울 위험도 있습니다.

④ 구현손실 최소화(IS) — 급함과 충격 사이의 저울질

구현손실 최소화(Implementation Shortfall) 방식은 가장 '똑똑하게' 저울질하는 접근입니다. 3절에서 말한 그 결정가 대비 괴리를 최소화하도록, "빨리 채워서 시간 위험을 줄일지 vs 천천히 채워서 충격을 줄일지"를 상황에 맞춰 조절합니다. 급하게 잡아야 할 기회면 앞부분에 더 많이 실행하고, 시간이 여유로우면 살살 흘립니다. 발상은 우아하지만 그만큼 가정과 설정이 많아 구현·검증 난도가 높습니다.

5. 숨기는 기술 — 아이스버그(빙산) 주문

지금까지가 "시간에 걸쳐 나눠 내는" 이야기였다면, 아이스버그는 결이 조금 다른 '숨기는' 기술입니다. 아이스버그(iceberg, 빙산) 주문은 큰 주문을 낼 때 전체 수량을 호가창에 다 드러내지 않고, 작은 일부만 겉으로 보이고 나머지는 감춰 둡니다. 빙산이 물 위로는 일각만 보이고 대부분 물밑에 잠겨 있는 것과 같습니다. 겉에 보이는 조각이 체결되면, 숨겨 둔 다음 조각이 자동으로 다시 호가에 올라옵니다.

왜 숨길까요? 호가창에 큰 매수 물량이 통째로 뜨면, 그걸 본 다른 참여자가 "누가 크게 사려나 보다" 하고 미리 값을 올려 버리거나 물량을 거둬들일 수 있기 때문입니다. 내 의도가 노출되는 것 자체가 비용이 되는 것이죠. 아이스버그는 그 노출을 줄여 조용히 큰 주문을 소화하려는 시도입니다.

6. 잘 샀는지 어떻게 아나 — 벤치마크로 채점하기

집행을 잘했는지 어떻게 채점할까요? "싸게 샀으면 잘한 것" 같은 막연한 감이 아니라, 프로들은 기준가(벤치마크)를 정해 놓고 내 평균 체결가를 그것과 비교합니다. 대표적인 두 가지 채점법이 있습니다.

두 잣대의 핵심은 똑같습니다 — 집행 평가는 '수익이 났는가'가 아니라 '정해진 거래를 비용 낮게 실행했는가'를 본다는 것입니다. 전략이 옳았는지와는 별개로, 집행이라는 실행 단계만 떼어 채점하는 것이죠. 이 기록을 꾸준히 남기면, 봇이 "어느 시장·어느 시간대에 집행이 특히 나빴는가"를 데이터로 알 수 있고, 그것이 다음 개선의 실마리가 됩니다. 이런 사후 점검은 백테스트 리포트 읽는 법이나 실전 투입 전 검증 3단계와도 자연스럽게 이어집니다 — 백테스트가 집행 비용을 얼마나 낙관했는지, 소액 실계좌에서 결정가와 실제 체결가가 얼마나 벌어지는지를 함께 봐야 하니까요.

7. 개인에게도 필요할까 — 정직한 스케일 이야기

여기까지 읽고 "그럼 나도 VWAP 알고를 넣어야 하나?" 싶다면, 잠깐 멈추시길 권합니다. 정직하게 말하면, 대부분의 개인에게 정교한 집행 알고리즘의 효용은 생각보다 작습니다. 집행 알고는 원래 수백억을 한 종목에 넣어야 하는 기관이, 그 큰 주문이 시장을 흔드는 걸 막으려고 발전시킨 기술이기 때문입니다.

그렇다면 개인은 언제 집행에 신경 써야 할까요? 판단 기준은 딱 하나, "내 주문이 그 시장에 비해 큰가"입니다.

실제로 개인이 얻는 집행 개선의 대부분은 가장 단순한 '분할 주문'에서 나옵니다. 한 번에 툭 던지지 않고 서너 조각으로 나눠 몇 분 간격으로 내는 것만으로도 얇은 시장에서의 충격을 크게 줄일 수 있습니다. 이는 그리드 매매가 매수를 여러 가격에 분산하는 발상과도 통하고, 얼마의 자본으로 어떤 비용 구조에서 매매하는지를 따지는 최소 자본금·수수료·손익분기 문제와도 맞닿아 있습니다. 반대로, 필요도 없는데 복잡한 집행 알고를 넣으면 구현·유지보수 비용과 버그 위험만 키우는 과잉 설계가 됩니다.

8. 봇은 집행을 어떻게 하나 — 거래소 제공 vs 직접 구현

자동매매 봇이 집행 알고리즘을 실제로 실행하는 방법은 크게 두 갈래입니다.

A. 거래소·증권사가 제공하는 주문 유형을 쓴다

일부 거래소·증권사는 TWAP나 아이스버그 같은 고급 주문 유형을 아예 기본 기능으로 제공합니다. 이 경우 봇은 "TWAP로 한 시간에 걸쳐 사줘"라고 주문 한 번만 내면, 나눠 넣는 실행은 거래소가 알아서 합니다. 구현이 간단하고 안정적입니다. 단, 어떤 알고를 제공하는지, 파라미터를 어디까지 조절할 수 있는지는 거래소마다 천차만별입니다.

B. 봇이 직접 잘게 쪼개 실행한다

제공되는 알고가 없거나 세밀하게 제어하고 싶으면, 봇이 스스로 큰 주문을 여러 개의 작은 주문으로 나눠 시간 간격을 두고 내보냅니다. 유연하지만, 그만큼 미체결·부분체결 처리, 남은 수량 관리, 중간에 시장이 급변했을 때의 대응 같은 까다로운 로직을 직접 짜야 합니다. 여기서 부분체결과 미체결을 봇이 제대로 인식하는지가 결정적으로 중요해집니다 — "주문을 냈다"와 "체결됐다"를 혼동하면 같은 걸 두 번 사는 사고가 납니다.

어느 쪽이든, 집행은 리스크 관리의 일부로 봐야 합니다. 잘 사고파는 것(집행)과 얼마나 사는가(포지션 사이징), 위험할 때 멈추는 것(안전장치)은 같은 '실행 인프라'의 세 기둥입니다.

9. 집행이 좋아도 전략이 나쁘면 소용없다

이 글을 읽고 집행에 마음이 뺏겼다면, 마지막으로 가장 중요한 균형추를 놓아 드리겠습니다. 집행은 비용을 줄이는 기술이지, 수익을 만드는 기술이 아닙니다.

아무리 우아한 VWAP 알고로 완벽하게 체결해도, 애초에 그 매매 판단이 틀렸다면 손실은 손실입니다. 집행이 하는 일은 그 손실을 조금 덜 나쁘게 만드는 것뿐입니다. 반대로 전략이 훌륭한데 집행이 엉망이면, 새어 나가는 비용이 수익을 갉아먹습니다. 즉 집행은 전략의 성과를 지켜 주는 '방패'이지, 없던 성과를 만들어 내는 '창'이 아닙니다.

10. 직접 vs 맡기기 · 명세서 '집행 사양 6줄'

집행을 스스로 설계하려면 시장 미시구조·주문 상태 관리·거래소별 사양이라는 세 가지 난관을 넘어야 합니다. 부담스럽다면 제작을 맡기는 선택도 합리적입니다. 다만 맡기든 직접 하든, 아래 여섯 줄만 명확히 정하면 집행 설계의 8할은 잡힙니다. 제작 의뢰 시 명세서에 그대로 옮겨 적을 수 있는 항목들입니다.

11. 흔한 집행 실수 6가지 · 실전 시나리오 3가지

흔한 집행 실수 6가지

1. 백테스트에서 집행 비용을 0으로 가정 — 결정가에 딱 체결됐다고 계산해 실전 괴리에 놀란다.
2. 얇은 시장에 큰 시장가 한 방 — 호가를 훑어 올려 스스로 최악의 평균가를 만든다.
3. 주문 상태를 잘못 추적 — 체결 확인 누락으로 같은 걸 또 사는 중복·폭주 사고.
4. 필요도 없는데 과한 집행 알고 — 소액·대형주에 복잡한 로직을 얹어 비용·버그만 키운다.
5. '천천히'만 좋다고 믿음 — 너무 오래 나눠 내다 시장이 반대로 가는 시간 위험을 무시.
6. 거래소 사양을 확인 안 함 — 지원하지 않는 주문 유형을 전제하거나, 명칭·동작 차이를 놓친다.

12. 흔한 오해 5가지 · 자주 묻는 질문