2017년, 구글 연구진이 트랜스포머 구조를 세상에 내놨다. 벌써 9년 전 일이다. 그런데 지금 나오는 AI 모델을 보면, 거의 다 이 뼈대를 그대로 쓴다. GPT 계열도, 제미나이도, 클로드도 예외는 없다. 근데 최근 분위기가 좀 달라졌다. 이 표준에 도전장을 내미는 스타트업들이 하나둘 늘고 있어서다. 트랜스포머 다음은 뭐가 될지, 학계 연구 흐름은 어디로 튀고 있는지 한번 정리해봤다.
왜 다들 트랜스포머를 쓰나
핵심은 셀프 어텐션(self-attention)이다. 문장 안의 모든 단어가 서로 얼마나 관련 있는지, 한 번에 계산해버리는 방식. 이 덕분에 GPU로 병렬 학습이 가능해졌고, 학습 속도가 확 빨라졌다. 데이터랑 연산량을 늘리면 성능이 예측 가능한 곡선을 그리며 좋아진다는 ‘스케일링 법칙’도 여기서 나왔다. 오픈AI, 구글, 앤스로픽… 다 이 위에 모델을 쌓아 올린 이유다.
근데 약점도 뚜렷하다
문제는 셀프 어텐션의 연산량이 입력 길이의 제곱에 비례한다는 것. 문장이 두 배 길어지면 연산량은 네 배로 뛴다. 긴 문서, 긴 대화를 다룰수록 메모리와 비용이 기하급수적으로 불어난다. 긴 문맥 창 지원한다고 광고하는 모델일수록, 뒤에서는 추론 비용이 만만치 않게 들어간다. 이건 좀 아이러니한 부분이다. 실시간 응답이 필요한 서비스나 스마트폰 같은 온디바이스 환경에서는, 이 구조가 부담스러울 수밖에.
그래서 나온 대안들, 뭐가 다를까
- SSM(상태공간모델): 대표주자는 Mamba다. 연산량이 입력 길이에 비례해서 늘어난다. 긴 시퀀스 처리에 유리한 이유다.
- MoE(전문가 혼합): 전체 파라미터 중 일부만 골라 활성화하는 방식. 미스트랄의 Mixtral이 대표적이다. 모델은 크게 키우되, 실제 연산은 아껴 쓰는 셈.
- RWKV: RNN 구조를 현대적으로 재해석했다. 추론 비용 낮추는 데 초점을 맞췄다.
- 하이브리드 구조: 트랜스포머 레이어 사이에 SSM을 섞는다. AI21의 Jamba가 대표 사례.
스타트업들이 새 구조에 뛰어드는 진짜 이유
빅테크만큼 GPU를 쌓아둘 수 없는 스타트업 입장에서, 연산 효율은 곧 생존 문제다. 추론 비용을 낮추면 그만큼 서비스 마진을 확보할 여지가 생긴다. 음성 AI 스타트업 카르테시아(Cartesia)가 SSM 기반 모델을 밀고 있는 것도, AI21이 하이브리드 구조 Jamba를 내놓은 것도 다 이런 배경에서다. 코드 생성, 음성 처리, 로봇 제어처럼 특정 영역에 특화된 모델을 만들 때는, 범용 트랜스포머보다 목적에 맞춘 구조가 훨씬 잘 먹힌다.
학계 연구 흐름도 슬쩍 바뀌는 중
초대형 모델을 처음부터 학습시키려면 수백억 원대 연산 비용이 든다. 대학 연구실이 감당할 규모가 아니다. 그러다 보니 새 아키텍처를 밑바닥부터 설계하는 연구는, 빅테크와 자금력 있는 스타트업 쪽으로 무게중심이 옮겨갔다. 대신 학계는 다른 쪽으로 눈을 돌렸다. 모델 성능을 검증하는 벤치마크 설계, 모델 내부가 어떻게 작동하는지 뜯어보는 해석가능성 연구, 그리고 작은 모델로도 성능을 끌어올리는 경량화·압축 연구. 메타나 미스트랄 같은 곳이 모델 가중치를 오픈소스로 풀면서, 학계도 실험할 발판을 얻은 게 이 흐름을 거들었다.
그래서 실무자는 지금 뭘 챙겨야 하나
특정 API 하나에만 발 담그기보다, 아키텍처별 특성을 알아두는 편이 낫다. 긴 문서나 긴 대화 이력을 다루는 서비스를 만든다면, SSM이나 하이브리드 계열 모델을 한번 벤치마크 해볼 만하다. 비용이 서비스 마진을 좌우하는 구조라면, MoE 기반 모델부터 검토하는 게 맞다. 이 부분은 직접 벤치마크 돌려보면 확실히 체감된다. 허깅페이스 트렌딩 모델이나 오픈소스 리더보드를 주기적으로 훑어보는 것만으로도, 흐름을 놓치지 않을 수 있다.
그럼 트랜스포머는 없어지나
아니다. 당장은. 트랜스포머는 여전히 압도적 다수 모델의 기반이고, 생태계와 도구가 가장 잘 갖춰진 구조다. 다만 모든 상황에 다 맞는 만능 구조는 아니라는 공감대가 커지는 중이다. 앞으로는 상황에 맞춰 SSM, MoE, 하이브리드를 섞어 쓰는 쪽으로 재편될 가능성이 높다. 어떤 구조가 표준이 되든, 그 변화를 먼저 알아채는 쪽이 서비스 설계에서 유리한 고지를 차지하게 될 거다.
AI리서치팀
Daily News Korea AI리서치팀은 인공지능, 머신러닝, 생성형 AI의 최신 동향과 실용적 활용법을 연구합니다. ChatGPT, 클로드, 미드저니 등 AI 도구 비교 분석과 활용 가이드를 제공합니다.