공공기관에서 AI를 쓰는 게 말처럼 쉽지 않다. 보안 검토, 개인정보 규정, 데이터 주권, 투명한 의사결정 요건… 체크리스트가 줄줄이 달려있거든요. 민간 기업이야 챗GPT 하나 연동해서 바로 써도 되지만, 공공 부문은 그게 안 됩니다. 그 틈새를 파고드는 게 바로 소형 언어 모델(SLM)인데요. 공공기관 AI 도입 논의에서 SLM이 빠지지 않는 이유가 있습니다.
거대 언어 모델(LLM)이 공공기관에 잘 안 맞는 이유
챗GPT로 대표되는 거대 언어 모델(LLM)은 확실히 강력합니다. 복잡한 질의응답, 문서 요약, 콘텐츠 초안 작성 — 생산성 면에서는 인정할 수밖에 없죠. 근데 공공기관 입장에서 LLM 도입은 솔직히 부담이 큽니다. 이유는 크게 넷입니다.
- 데이터 보안 및 주권 문제: 행정 문서나 국민 개인정보를 외부 LLM 서비스에 넘기는 순간 통제권을 잃습니다. 데이터 유출 리스크는 물론이고, 해외 서버에 저장되는 순간 법적으로도 문제가 생길 수 있어요.
- 블랙박스 문제: LLM은 “왜 이런 답이 나왔는지” 설명하기가 어렵습니다. 민원 처리나 정책 결정에서 AI 판단의 근거를 대야 하는 공공 부문에서 이건 치명적이에요.
- 운영 비용: 수천억 개의 파라미터를 돌리려면 GPU 인프라가 엄청납니다. 예산이 고정된 공공기관이 감당하기 쉽지 않은 수준이죠.
- 규제 준수: AI 윤리, 데이터 프라이버시 관련 규제는 해마다 강화되고 있습니다. LLM을 그 틀 안에 가두는 게 기술적으로도 꽤 까다롭거든요.
소형 언어 모델(SLM)이란? LLM과 뭐가 다른가
소형 언어 모델(SLM)은 이름 그대로 파라미터 수가 훨씬 작은 언어 모델입니다. LLM이 수백억~수천억 개의 파라미터를 가진다면, SLM은 수천만~수억 개 수준이에요. 크기만 작은 게 아니라, 처음부터 특정 도메인이나 목적에 맞춰 선별된 데이터로 학습되거나 미세 조정(fine-tuning)된다는 게 핵심입니다.
LLM과의 결정적인 차이점 세 가지를 보면 이렇습니다.
- 자원 효율성: SLM은 LLM보다 훨씬 가볍습니다. 온프레미스(On-premise) 환경이나 엣지 디바이스에도 배포가 되죠. 공공기관 전산실 서버에서 돌릴 수 있을 만큼요.
- 도메인 전문성: 범용 지식을 다 담는 대신, 법률·의료·특정 행정 분야처럼 좁은 영역에서 집중 학습합니다. 해당 분야에서는 LLM 못지않은, 오히려 더 정확한 답변이 나오는 경우도 있어요.
- 제어 가능성: 모델이 작고 학습 데이터 범위가 제한적이라 동작을 이해하고 제어하기 쉽습니다. “왜 이 결론이 나왔는지” 추적하기 LLM보다 훨씬 수월하죠.
공공기관이 SLM에 눈길을 주는 3가지 이유
공공 부문 환경에서 SLM이 실질적인 대안으로 부각되는 건 추상적인 장점 때문이 아닙니다. 현실적인 문제를 직접 해결해 주기 때문이에요.
1. 보안과 데이터 주권
SLM은 기관 내부 서버나 클라우드 전용 영역에 직접 구축해서 운영할 수 있습니다. 데이터가 밖으로 나가지 않습니다. 모델 학습부터 추론까지 전체 프로세스를 기관이 직접 통제하죠. 국방, 사법, 외교처럼 보안 등급이 높은 분야라면 이게 결정적입니다. 외부 서비스에 의존하지 않으니 서비스 중단이나 공급사 정책 변경에도 흔들리지 않아요. 데이터 주권을 기관 손에 쥐고 있다는 게 이 방식의 핵심 강점입니다.
2. 설명 가능성과 거버넌스
모델이 작고 특정 목적에 맞춰 학습된 SLM은 결과 도출 과정을 추적하고 설명하기 용이합니다. 공공 서비스는 정책 결정이나 민원 처리 과정에서 “왜 이렇게 됐는지”를 투명하게 설명해야 합니다. LLM보다 이 요구를 충족하기 훨씬 수월하고, AI 윤리·책임성 측면에서 감사나 외부 검토에도 대응하기 편합니다. 설명 못 하면 책임도 못 지는 구조인데, SLM은 그 부담을 덜어줍니다.
3. 운영 비용과 자원 효율
LLM 운영에 드는 인프라 비용은 예산이 고정된 공공기관에 부담이 상당합니다. SLM은 GPU 자원이 적게 들고, 학습·추론 속도도 빠릅니다. 기관의 특정 업무에만 집중하기 때문에 불필요한 기능에 자원을 낭비하지 않는 최적화된 운영이 됩니다. 제한된 예산 안에서 AI 서비스를 안정적으로 구축하고 확장하려는 공공기관에는 이게 매우 현실적인 강점이에요.
실제로 도입하려면 뭘 준비해야 하나
SLM이 공공기관 AI의 해답처럼 보여도, 막상 도입하면 준비할 게 꽤 있습니다. 체크리스트 정도로 생각하면 됩니다.
- 도메인 특화 데이터 확보: SLM의 성능은 학습 데이터 품질에 달려 있습니다. 기관이 보유한 내부 문서, 법령 자료, 민원 이력 데이터를 체계적으로 정제해서 확보하는 작업이 선행돼야 해요. 데이터가 부실하면 모델도 부실합니다.
- 구체적인 유스케이스 설정: “AI 챗봇 만들자”가 아니라 “특정 민원 상담 자동화”, “내부 규정 검색 시스템”, “보고서 초안 작성 지원” 같은 식으로 목표를 좁혀야 합니다. 범용 AI를 만들려다 SLM의 장점을 날려버리는 경우가 많거든요.
- 지속적인 모델 관리: 한 번 만들고 끝이 아닙니다. 새로운 법령이 생기면 재학습이 필요하고, 성능 저하를 모니터링하는 체계도 있어야 합니다. 전담 인력이나 시스템 구축 계획이 처음부터 있어야 하죠.
- 기존 시스템 연동: SLM을 행정 시스템이나 기존 데이터베이스와 어떻게 연결할지도 미리 설계해야 합니다. API 연동, 데이터 파이프라인 구축이 뒤따르는 작업이에요.
결국 SLM이 공공 AI의 현실적인 답인가
거대 언어 모델의 성능을 무작정 따라가기보다, 공공 부문이 가진 보안·규제·예산 제약을 현실로 받아들이고 그에 맞는 기술을 전략적으로 고르는 것이 훨씬 현명한 접근입니다. 보안, 설명 가능성, 비용 효율성 — 이 세 가지를 동시에 잡을 수 있는 선택지가 소형 언어 모델(SLM)입니다. 공공기관 디지털 혁신의 다음 단계는 LLM이 아니라 SLM에서 시작될 가능성이 높습니다.
MIT Tech Review가 전한 바에 따르면, 제약 환경에서 AI를 운영 가능하게 만드는 방법으로 SLM 접근법이 유망하게 평가됩니다.
AI리서치팀
Home-In-One AI리서치팀은 인공지능, 머신러닝, 생성형 AI의 최신 동향과 실용적 활용법을 연구합니다. ChatGPT, 클로드, 미드저니 등 AI 도구 비교 분석과 활용 가이드를 제공합니다.