ChatGPT에 민감한 파일을 붙여넣을 때마다 불안하지 않았나. 그 데이터는 고스란히 인터넷을 타고 어딘가의 서버로 날아간다. 온디바이스 AI는 그 흐름 자체를 끊는다. AI를 클라우드가 아닌 내 PC 안에서 직접 돌리는 기술이다. 프라이버시가 핵심이다. 빠르다. 그리고 쓸수록 돈이 안 든다.
온디바이스 AI란 뭔가
말 그대로, AI 모델을 내 기기에서 직접 실행하는 방식이다. ChatGPT나 미드저니처럼 클라우드 서버를 거치지 않는다. 스마트폰에서, 태블릿에서, PC에서 모델이 바로 돌아간다. 데이터가 기기 밖으로 나가지 않으니 보안 걱정이 사라진다. 비행기 안에서도, 지하 주차장에서도 쓸 수 있다. 인터넷이 없어도 된다는 게 생각보다 강점이다.
물론 클라우드 AI가 더 강력한 건 사실이다. GPT-4급 모델을 내 노트북에서 돌리는 건 아직 현실적이지 않다. 하지만 실무에서 자주 쓰는 텍스트 요약, 코드 보조, 이미지 생성 수준은 충분히 가능하다. 응답 속도는 오히려 더 빠른 경우도 있다.
클라우드 AI vs 온디바이스 AI — 솔직하게 비교하면
어디서 돌리느냐가 나머지를 전부 결정한다. 클라우드 AI는 원격 서버에서 처리하고, 온디바이스 AI는 내 기기에서 처리한다. 차이를 정리하면 이렇다.
- 데이터 처리 위치:
– 클라우드 AI: 데이터가 인터넷을 타고 서버로 전송된다. 결과도 다시 받아온다.
– 온디바이스 AI: 기기 안에서 처리 끝. 외부 전송 없음. - 성능과 확장성:
– 클라우드 AI: 서버 자원이 무제한에 가깝다. 초대형 모델도 거뜬하다.
– 온디바이스 AI: 내 GPU, 내 RAM이 전부다. 경량화 모델 위주로 돌린다. - 보안 및 프라이버시:
– 클라우드 AI: 서비스 정책에 따라 데이터가 학습에 쓰일 수도 있다. 보안은 제공업체 몫.
– 온디바이스 AI: 데이터가 기기 밖으로 나가지 않는다. 이 하나만으로 선택하는 사람도 많다. - 비용:
– 클라우드 AI: 쓴 만큼 낸다. 월정액이든 API 요금이든 꾸준히 나간다.
– 온디바이스 AI: 초기 하드웨어 투자가 전부다. 이후 추가 요금은 없다. - 지연 시간:
– 클라우드 AI: 네트워크 상태에 따라 들쑥날쑥.
– 온디바이스 AI: 네트워크 없이 직접 처리. 응답이 빠르다.
어떤 하드웨어가 필요한가
핵심은 GPU다. 정확히는 VRAM(비디오 램) 용량. AI 모델은 대부분 GPU 메모리에 통째로 올려서 돌린다. VRAM이 부족하면 모델 자체를 로드하지 못한다. 그게 끝이다.
- GPU (그래픽 처리 장치): NVIDIA RTX 시리즈가 사실상 표준이다. RTX 3060(VRAM 12GB), RTX 4070(12GB), RTX 4080(16GB), RTX 4090(24GB) 순으로 올라간다. Stable Diffusion 같은 이미지 생성 모델은 최소 8GB, LLM은 모델 크기에 따라 8~24GB까지 필요하다. AMD의 RX 7000 시리즈도 최근 지원이 늘었지만, NVIDIA 쪽이 소프트웨어 생태계가 아직 더 넓다. 솔직히 여기서 갈린다.
- RAM (메인 메모리): 최소 16GB, 가능하면 32GB. VRAM이 부족할 때 모델 일부를 RAM에 내리는 오프로딩 방식을 쓰기도 하는데, RAM이 적으면 그것도 안 된다.
- CPU (중앙 처리 장치): Intel Core i5 또는 Ryzen 5 이상이면 충분하다. AI 연산의 주력은 GPU가 맡는다.
- SSD (저장 장치): LLM 모델 하나가 7~70GB다. 이미지 생성 체크포인트만 수십 GB를 잡아먹는다. NVMe SSD 기준 최소 256GB 여유 공간, 여러 모델을 쓸 생각이면 1TB 이상은 잡아야 한다.
VRAM이 딸리면 방법이 없는 건 아니다. 양자화(Quantization) 모델을 쓰면 된다. 4-bit, 8-bit로 압축한 버전이다. 원본보다 VRAM을 적게 먹는 대신 정확도가 살짝 떨어지는데, 텍스트 요약이나 코드 보조 수준에서는 체감하기 어렵다.
실제로 설치하려면 — 단계별 흐름
처음 해보면 복잡해 보이는데, 막상 해보면 절반은 설치 대기 시간이다. 흐름은 이렇다.
- 기본 환경 구축:
GPU 드라이버부터 최신으로 올린다. NVIDIA 사이트에서 직접 받아서 설치. 그다음 Python 공식 홈페이지에서 최신 버전을 설치한다. ‘Add Python to PATH’ 체크를 빠뜨리면 나중에 꼭 후회한다. Git도 함께 깔아야 한다. GitHub에서 AI 프로젝트를 클론할 때 필요하다. - 모델 선택 및 다운로드:
Hugging Face에 오픈소스 AI 모델이 몰려 있다. LLaMA 3 같은 대규모 언어 모델, Stable Diffusion 같은 이미지 생성 모델 등을 여기서 찾는다. 모델 페이지의 ‘Files and versions’ 탭에서 .safetensors나 .bin 파일을 받거나, 해당 모델의 GitHub 저장소 안내를 따른다. - AI 프론트엔드 툴 설치:
이미지 생성이 목적이라면 ‘Automatic1111 web UI’ 또는 ‘ComfyUI’를 쓴다. 각 GitHub 저장소의 설치 스크립트를 실행하면 Python 가상 환경과 필요한 라이브러리를 알아서 설치해 준다. LLM을 쓰고 싶다면 Ollama나 LM Studio가 진입장벽이 낮다. 앱 안에서 모델을 검색하고 다운로드하면 끝이다. 터미널 한 줄 없이도 가능하다. - AI 모델 실행:
프론트엔드 툴을 켜고, 모델을 지정하고, 프롬프트 입력 후 생성 버튼. 처음 실행에서 모델 로드에 시간이 좀 걸리는데 정상이다.
성능 끌어올리는 실전 팁
설치 끝났다고 끝난 게 아니다. 조금만 손보면 체감 속도가 달라진다.
- GPU 드라이버 최신 유지: NVIDIA와 AMD 모두 AI 연산 최적화 패치를 주기적으로 낸다. 드라이버 버전 하나 차이로 성능이 꽤 갈린다.
- VRAM 관리: AI 작업 중에는 게임이나 영상 편집 소프트웨어를 같이 켜두지 말 것. VRAM이 분산된다.
--lowvram또는--medvram옵션을 지원하는 툴이라면 적극 활용하자. - 양자화 모델 활용: 앞서 언급한 4-bit, 8-bit 버전이다. VRAM 부족 문제를 가장 현실적으로 해결해 준다. 품질 손실보다 쓸 수 있는 모델 범위가 늘어나는 쪽이 이득인 경우가 많다.
- 쿨링 점검: GPU가 AI 연산을 돌리면 발열이 상당하다. 케이스 환기 상태를 확인하고, GPU 쿨러를 청소하는 것만으로도 안정성이 달라진다. 온도가 올라가면 GPU가 클럭을 스스로 줄인다. 성능이 저절로 떨어지는 셈이다.
- 라이브러리 버전 관리: PyTorch나 TensorFlow 버전도 성능에 영향을 준다. 각 커뮤니티에서 추천하는 조합이 따로 있다. 무조건 최신 버전이 답은 아니다.
이게 앞으로 어떻게 커질까
온디바이스 AI가 가장 빛날 분야는 의료다. 환자 데이터를 외부 서버로 보내는 건 법적으로, 윤리적으로 민감하다. 기기 안에서 분석이 끝난다면 진단 보조 AI의 실용화 속도가 달라진다. 스마트홈 기기도 마찬가지다. 클라우드 서버 없이도 맥락을 이해하는 음성 비서, 오프라인 상태에서도 주변 환경을 실시간으로 분석하는 자율주행 차량. 연결이 끊겨도 작동해야 하는 것들이다.
개인 PC 쪽도 흐름이 보인다. 지금은 ‘내 PC에서 LLM 돌리기’가 일종의 마니아 취미처럼 느껴지지만, 2~3년 내로 많은 사람의 일상 도구가 될 가능성이 높다. 하드웨어는 빠르게 저렴해지는 중이고, Ollama나 LM Studio 같은 툴은 진입장벽을 계속 낮추고 있다. 클라우드 AI 구독료가 부담스럽다면, 지금 시작해볼 이유는 충분하다.
The Verge 보도를 참고했습니다: The Verge
테크가이드팀
Home-In-One 테크가이드팀은 IT 기기 비교, 소프트웨어 추천, 트러블슈팅 가이드 등 실용적인 기술 콘텐츠를 제작합니다. 초보자도 쉽게 따라할 수 있는 단계별 가이드를 지향합니다.