긴 PDF를 GPT-4나 클로드에 통째로 밀어넣어 본 적 있으면 알 거다. 체감상 확연히 느리다. 짧은 질문과 비교하면 응답이 나오기까지 한참을 기다려야 한다. 이게 서버 과부하 탓만은 아니다. 문서 길이가 두 배 늘어나면 처리에 필요한 연산량이 두 배가 아니라 네 배로 뛰는, 구조 자체의 문제다. 현재 LLM(대형 언어 모델)이 가진 가장 근본적인 한계인 이차 복잡도(Quadratic Complexity)가 여기서 비롯된다.
트랜스포머가 하는 일, 딱 한 줄만
ChatGPT, 클로드, 제미나이. 지금 쓸 수 있는 거의 모든 LLM은 트랜스포머(Transformer) 아키텍처 위에서 돌아간다. 2017년 구글이 내놓은 이 구조의 핵심은 ‘어텐션(Attention)’ 메커니즘이다.
어텐션이 하는 일은 단순하다. 모든 단어가 서로를 얼마나 주목해야 하는지를 계산한다. 예를 들어 “나는 사과를 먹었다. 그것은 맛있었다”에서 ‘그것’이 ‘사과’를 가리킨다는 걸 이해하려면, 문장 안의 모든 단어 조합을 하나하나 대조해야 한다. 이 과정이 어텐션이다.
문제는 이 계산이 단어 수의 제곱에 비례한다는 거다. 100단어짜리 글이라면 100×100=10,000번. 1,000단어짜리라면 1,000×1,000=100만 번. 10배 길어지면 연산은 100배 늘어난다. 입력이 커질수록 비용이 폭발적으로 커지는 구조, 이게 현재 트랜스포머의 숙명이다.
이차 복잡도가 만들어내는 세 가지 현실 문제
- 컨텍스트 창 제한: 처리 가능한 텍스트 길이에 상한선이 생긴다. 100만 토큰을 넘는 모델이 나오긴 했지만, 이 역시 어마어마한 연산 비용을 전제로 한다.
- 속도와 비용: 입력이 길어질수록 추론 속도가 급격히 떨어지고 API 비용도 비선형적으로 증가한다. 장문 처리를 많이 하는 기업 입장에서는 GPU 비용이 그냥 쌓인다.
- 메모리 포화: 어텐션 계산 결과를 메모리에 올려야 해서, 긴 컨텍스트를 처리할 때 GPU VRAM을 엄청나게 잡아먹는다. 로컬에서 돌리는 소형 모델이 긴 문서에서 맥을 못 추는 이유도 여기에 있다.
병목을 깨려는 두 가지 방향: 선형 어텐션과 SSM
이 문제를 푸는 연구는 크게 두 갈래로 나뉜다.
첫 번째는 선형 어텐션(Linear Attention)이다. 기존 어텐션의 수학 구조를 뜯어고쳐서 O(n²) 복잡도를 O(n)으로 줄이려는 접근이다. 계산량이 단어 수에 정비례하게 되면 100만 단어 문서도 이론상 훨씬 빠르게 처리된다. 다만 정확도 손실 없이 이걸 구현하는 게 핵심 과제인데, 아직 완벽하게 풀린 건 아니다.
두 번째는 SSM(State Space Model)이다. 대표 사례인 Mamba는 트랜스포머와 수학적 기반 자체가 다르다. 긴 시퀀스 처리에 효율적이고, 일부 벤치마크에서는 트랜스포머와 비슷하거나 더 나은 성능을 보인다. 요즘 흐름을 보면 트랜스포머를 완전히 대체하기보다, 두 방식을 섞은 하이브리드 구조가 조용히 늘어나는 추세다.
스타트업들이 공략하는 지점
대형 연구소들이 기존 트랜스포머를 점진적으로 개선하는 쪽을 택하는 동안, 일부 스타트업들은 아예 새 아키텍처로 판을 흔들려고 한다. 어텐션 연산을 수학적으로 재구성해서 이차 복잡도 자체를 없애버리겠다는 발상이다.
근사(approximation) 기법이나 필요한 부분만 계산하는 희소 어텐션(Sparse Attention)도 연구 중이다. 결국 핵심 질문은 하나다. “더 빠른데 성능도 동일한가?” 속도를 얻는 대신 정확도를 잃으면 상업적으로 의미가 없다. 이 트레이드오프를 어떻게 풀어내느냐가 경쟁의 본질이고, 솔직히 여기서 갈린다.
엔비디아 GPU 시장과의 연결고리
LLM 병목 문제는 반도체 시장과 직결된다. H100, B200 같은 엔비디아 데이터센터 GPU가 AI 학습·추론에 필수인 이유 중 하나가 바로 어텐션 연산을 빠르게 처리하는 데 특화됐기 때문이다.
선형 복잡도 아키텍처가 상용화되면, GPU 수요 구조가 달라질 여지가 있다. 지금처럼 고성능 GPU를 수백 장씩 병렬로 쌓지 않아도 더 적은 자원으로 긴 컨텍스트 처리가 가능해지는 것이다. AI 추론 비용이 대폭 내려가는 시나리오다.
단기적으로는 GPU 수요가 줄어들기보다, 더 많은 기업이 AI를 도입하면서 전체 파이 자체가 커지는 방향이 현실적이다. 엔비디아가 단기에 흔들릴 구조는 아니지만, 아키텍처 전환이 가속되면 중장기적으로는 변수가 된다. 이건 좀 두고 봐야 한다.
컨텍스트 창이 크다고 다 좋은 건 아니다
트랜스포머 기반을 유지하면서 컨텍스트 창을 극단적으로 늘리려는 시도도 계속되고 있다. 구글 제미나이 1.5 Pro가 100만 토큰을 지원하고, 일부 연구 모델은 그 이상을 목표로 한다.
그런데 컨텍스트 창이 길다고 해서 그 안의 모든 내용을 동등하게 잘 처리하는 건 아니다. ‘중간 소실(Lost in the Middle)’이라는 현상이 실험으로 확인됐는데, 긴 문서의 앞뒤는 잘 참조하지만 중간 부분은 흘려버리는 경향이 있는 거다. 컨텍스트 창을 넓히는 것과 그 안의 정보를 실제로 잘 활용하는 것은 별개 문제다. 창이 크다고 만능은 아니다.
병목이 풀리면 뭐가 달라지나
이 방향으로 기술이 발전하면 실제 사용 경험에서 달라지는 건 꽤 구체적이다.
- 책 한 권 통째로 분석: 긴 법률 문서, 논문 수십 편, 코드베이스 전체를 한 번에 컨텍스트에 올리는 게 현실화된다.
- 첫 토큰 지연 감소: 현재는 긴 프롬프트일수록 첫 응답이 나오기까지 지연이 생긴다. 선형 복잡도 모델에서는 이 지연이 크게 줄어든다.
- API 비용 하락: 기업 입장에서 AI 도입 비용의 가장 큰 장벽 중 하나가 낮아진다.
- 엣지 AI 확대: 스마트폰, 노트북에서 더 강력한 모델을 구동할 수 있는 토대가 마련된다.
트랜스포머가 처음 나왔을 때처럼, 아키텍처 혁신 하나가 AI 생태계 전체를 뒤바꾸는 시나리오가 다시 반복될 수 있다. 아직은 검증 단계지만, 이 분야의 연구 속도를 보면 수년 내에 상용 모델에 반영될 가능성은 충분하다. 지금 LLM의 한계가 답답하게 느껴진다면, 그 답은 아키텍처 수준에서 나오고 있는 중이다.
AI리서치팀
Home-In-One AI리서치팀은 인공지능, 머신러닝, 생성형 AI의 최신 동향과 실용적 활용법을 연구합니다. ChatGPT, 클로드, 미드저니 등 AI 도구 비교 분석과 활용 가이드를 제공합니다.