[태그:] 온디바이스AI

  • 스냅드래곤 신형 칩, 300억 파라미터를 폰에서 돌린다

    스냅드래곤 신형 칩, 300억 파라미터를 폰에서 돌린다

    3줄 요약

    • 퀄컴이 스냅드래곤 8 엘리트 6세대와 8 엘리트 익스트림 6세대를 내놓으면서, 스마트폰 칩 스펙에 ‘로컬에서 돌리는 모델 크기’라는 항목이 본격적으로 들어왔다.
    • 익스트림 버전은 300억 파라미터 규모의 MoE 모델을 기기 안에서 구동한다고 밝혔고, 센싱 허브는 2억 파라미터급 소형 모델을 상시로 돌린다.
    • 파라미터 수만 비교하면 판단이 틀어진다. 활성 파라미터, 메모리 용량, 상시 구동용 별도 블록을 같이 봐야 체감 차이를 예측할 수 있다.

    클럭도 코어 수도 아니고, 발표문 앞자리에 파라미터 숫자가 놓였습니다. 퀄컴이 연례 스냅드래곤 서밋에서 공개한 칩은 두 종류. 스냅드래곤 8 엘리트 6세대와 스냅드래곤 8 엘리트 익스트림 6세대이고, 설명의 축은 AI 에이전트의 개인화에 맞춰져 있습니다. 여기 등장한 숫자들이 실제로 무엇을 뜻하는지, 다음에 폰을 고를 때 어떤 순서로 확인하면 되는지 짚어봅니다.

    파라미터 수가 알려주는 것과 알려주지 못하는 것

    파라미터는 모델이 학습으로 확보한 가중치의 개수입니다. 숫자가 크면 표현력이 넓어지는 경향이 있지만, 그 자체로 품질을 보장하지는 않습니다. 같은 파라미터 규모라도 학습 데이터와 양자화 방식에 따라 결과가 크게 갈립니다.

    기기에서 더 중요한 건 파라미터가 차지하는 메모리입니다. 정수 4비트로 눌러 담았다고 가정하면 파라미터 하나당 약 0.5바이트, 300억 파라미터면 단순 계산으로도 십수 GB 단위 공간이 필요합니다. 스마트폰 램은 운영체제와 앱이 함께 나눠 쓰는 자원입니다. 모델을 올렸을 때 다른 앱이 백그라운드에서 얼마나 살아남는지가 실사용 체감을 결정하는데, 이건 칩 스펙만 봐서는 알 수 없습니다. 같은 칩을 쓴 기기라도 램 용량에 따라 동작이 달라질 여지가 큽니다.

    MoE가 큰 모델을 작은 기기에 밀어넣는 방식

    퀄컴이 익스트림 버전에 붙인 설명은 300억 파라미터 MoE(mixture-of-experts) 모델의 로컬 구동입니다. MoE는 전체 파라미터를 여러 전문가 블록으로 쪼개 두고, 특정 작업에는 그중 일부만 활성화하는 구조입니다. 전체 크기는 300억이지만 한 번의 연산에 동원되는 파라미터는 그보다 훨씬 적습니다.

    그래서 MoE 모델은 ‘총 파라미터’와 ‘활성 파라미터’를 구분해서 봐야 합니다. 총 크기는 메모리 요구량을 좌우하고, 활성 크기는 응답 속도와 전력 소모를 좌우합니다. 배터리로 움직이는 기기에서 MoE가 자주 선택되는 이유가 여기 있습니다. 비교 지점을 하나 두자면, 애플은 WWDC에서 3세대 파운데이션 모델 중 가장 앞선 버전으로 200억 파라미터 MoE 모델을 공개한 바 있습니다. 서로 다른 회사가 같은 설계 방향을 잡았다는 신호로 읽힙니다.

    센싱 허브라는 별도 블록이 따로 존재하는 까닭

    새 칩에는 새로운 센싱 허브가 들어갔고, 여기서 최대 2억 파라미터 규모의 소형 모델이 돕니다. 2억은 300억에 비하면 초라한 숫자지만, 역할이 아예 다릅니다. 센싱 허브는 마이크와 센서 입력을 낮은 전력으로 계속 지켜보는 블록입니다. 여기에 모델이 상주하면 기능이 ‘상시’가 됩니다.

    퀄컴이 예로 든 기능은 로컬에서 동작하는 개인 필기 도우미, 화자 구분, 사용 패턴을 축적해 작업 자동화를 제안하는 메모리 기능. 음성으로 들어와 음성으로 나가는 에이전트 전체를 칩 안에서 처리한다는 설명도 붙었습니다. 메인 프로세서를 깨우지 않는다는 점이 배터리 측면에서 의미가 큽니다. 상시 녹음·상시 청취 기능은 서버로 음성을 보내지 않는다는 전제가 붙어야 쓸 만해지는데, 로컬 처리는 그 전제를 기술적으로 뒷받침합니다.

    일반 버전과 익스트림 버전의 갈림길

    퀄컴이 공개한 내용 기준으로 두 칩의 차이를 정리하면 이렇습니다. 표에 없는 항목은 발표에서 구분해 밝히지 않은 부분입니다.

    항목 8 엘리트 6세대 8 엘리트 익스트림 6세대
    로컬 구동 모델 새 가속기 요소로 모델을 더 효율적으로 실행 300억 파라미터 MoE 모델 로컬 구동
    센싱 허브 최대 2억 파라미터 소형 모델 최대 2억 파라미터 소형 모델
    영상 녹화 발표에서 별도 구분 없음 8K 60fps, 4K 240fps 슬로모션
    전문가용 코덱 발표에서 별도 구분 없음 APV(Advanced Professional Video) 지원
    오디오 처리 AI 보컬 강화·노이즈 감소, 보이스 버블 AI 보컬 강화·노이즈 감소, 보이스 버블
    탑재 확인된 기기 발표에서 언급 없음 모토로라 시그니처 27

    카메라 쪽에서는 픽셀 단위 제어, 개선된 손떨림 보정, 움직임 이해가 공통 개선점으로 제시됐습니다. 영상 사양 차이는 익스트림 쪽에만 명시적으로 붙었습니다. 고프레임 촬영이 목적이라면 여기서 갈립니다.

    한국어 화자 구분과 통화 잡음 제거에 걸린 변수

    보이스 버블은 통화 중 사용자 주변 소음을 분리하는 기술입니다. 지하철이나 카페에서 통화가 많다면 체감이 클 기능이죠. 다만 화자 구분과 음성 기록은 언어 모델의 한국어 처리 품질에 직접 묶여 있습니다. 칩이 연산을 감당하는 것과, 그 위에 올라가는 모델이 한국어를 제대로 알아듣는 것은 별개 문제입니다. 제조사가 어떤 모델을 얹는지, 한국어 데이터를 얼마나 학습시켰는지가 실제 사용감을 결정합니다. 칩 발표에서는 확인할 수 없는 영역이라 추측으로 남겨둡니다.

    모토로라 시그니처 27의 일반 판매 시점도 구체적 날짜 없이 안내된 상태입니다.

    확인된 것과 아직 불확실한 것

    확인된 사실

    • 퀄컴이 스냅드래곤 8 엘리트 6세대와 8 엘리트 익스트림 6세대 두 개의 플래그십 프로세서를 공개했다.
    • 익스트림 버전은 300억 파라미터 MoE 모델의 로컬 구동, 8K 60fps 및 4K 240fps 녹화, APV 코덱을 지원한다.
    • 새 센싱 허브는 최대 2억 파라미터 소형 모델을 돌리며, 로컬 음성 기록과 화자 구분, 사용 기반 메모리 축적을 담당한다.
    • AI 보컬 강화와 노이즈 감소, 보이스 버블은 두 칩 모두에 적용된다.
    • 모토로라 시그니처 27이 익스트림 버전을 탑재한 기기로 발표됐다.
    • 퀄컴은 40종을 넘는 AI 기기 작업을 진행해 왔고, 별도 전용 기기보다 스마트폰이 AI 사용의 중심이 될 것이라는 시각이 업계에 존재한다. 낫싱 공동창업자 칼 페이와 애플 최고경영자 존 터너스가 같은 방향의 발언을 남겼다.

    아직 불확실한 것

    • 일반 버전이 로컬에서 감당하는 최대 모델 규모의 구체적 수치.
    • MoE 모델의 활성 파라미터 수와 요구 램 용량.
    • 한국어 화자 구분·음성 기록의 실제 정확도.
    • 국내 출시 일정, 원화 가격, 탑재 기기 라인업.

    램부터 보고 칩 이름은 나중에

    칩 이름부터 확인하는 습관은 이제 우선순위를 내려도 됩니다. 순서를 다시 짜면 이렇습니다. 첫째, 램 용량. 로컬 모델을 상시로 쓸 생각이라면 여유 램이 곧 기능의 안정성입니다. 둘째, 제조사가 어떤 온디바이스 모델을 얹고 한국어를 어떻게 지원하는지. 셋째, 본인이 실제로 쓸 기능이 상시 동작인지 요청 기반인지. 상시 동작 기능이 목적이면 센싱 허브 세대가 중요하고, 사진·영상 편집처럼 요청 기반 작업이 목적이면 큰 모델 구동 능력이 중요합니다.

    예산 구간으로 나누면 판단이 더 단순해집니다. 통화 품질과 녹음 정리 수준으로 충분하다면 일반 버전 탑재 기기에서 램 넉넉한 구성을 고르는 편이 효율적입니다. 고프레임 영상 촬영이나 전문가용 코덱이 필요한 작업, 큰 모델을 오프라인에서 돌려야 하는 용도라면 익스트림 버전이 붙은 기기가 선택지에 들어옵니다. 어느 쪽이든 실제 기능 목록은 제조사 소프트웨어가 확정합니다. 칩 발표보다 기기 발표를 기다리는 편이 정확한 판단으로 이어진다는 뜻입니다.

    출처: TechCrunch

  • AI PC 살 때 NPU보다 VRAM부터 봐야 하는 이유

    AI PC 살 때 NPU보다 VRAM부터 봐야 하는 이유

    노트북 스펙표를 보다가 NPU, TOPS 같은 낯선 약어에 걸린 적 있을 거다. 엔비디아가 미니 PC·노트북 제조사들과 손잡고 대형 AI 모델을 컴퓨터 안에서 직접 돌리는 전용 칩을 내놓으면서, ‘AI PC’라는 이름표가 매장 진열대까지 내려왔는데요. 막상 사려고 하면 뭐가 진짜 AI PC고 뭐가 스티커만 붙인 일반 노트북인지 구분이 잘 안 가거든요. NPU, TOPS, 통합 메모리… 이 용어들, 뭘 기준으로 봐야 하는지 정리해봤다.

    AI PC, 일반 PC랑 뭐가 다른가

    핵심은 하나다. AI 연산을 어디서 처리하느냐, 그 차이거든요. 지금까지 챗GPT나 클로드 같은 서비스는 질문을 클라우드 서버로 보내고 답을 받아오는 구조였다. AI PC는 이 연산 일부를 컴퓨터 안에서 끝낸다. 인터넷이 끊겨도 문서 요약이나 이미지 생성 같은 작업이 돌아가고, 입력한 내용이 외부 서버로 나가지 않는다는 장점이 있는데요. 다만 아무 노트북이나 이걸 감당하는 건 아니다. 전용 하드웨어가 따로 필요하다는 얘기다.

    NPU와 GPU, 실제로 일하는 건 어느 쪽인가

    둘은 역할부터 다르다.

    • NPU는 전력을 적게 먹으면서 배경 흐림, 실시간 번역, 노이즈 캔슬링 같은 가벼운 상시 작업을 처리한다.
    • GPU는 이미지 생성이나 로컬 LLM 추론처럼 무거운 연산을 맡는다. 결국 채팅형 AI를 노트북에서 굴리고 싶다면 NPU 성능표보다 GPU의 메모리 용량 쪽을 먼저 봐야 한다.

    마케팅 자료엔 TOPS 수치만 큼직하게 적혀 있는 경우가 많은데요, 이건 NPU 성능 지표일 뿐이다. 로컬 LLM 체감 속도를 그대로 보장해주진 않는다. 이 부분에서 헷갈리는 사람, 은근히 많더라.

    로컬 AI 돌리려면 스펙표에서 이 4가지부터 확인

    구매 전에 아래 항목부터 체크하는 게 가장 실속 있다.

    • 통합 메모리·VRAM 용량: 7B~8B급 모델은 8~16GB, 70B급은 48GB 이상이 필요하다. 메모리가 부족하면 모델 자체가 안 올라간다.
    • 메모리 대역폭: 용량이 같아도 대역폭이 낮으면 답변 속도가 눈에 띄게 느려진다.
    • TOPS 수치: 마이크로소프트가 정한 Copilot+ PC 기준은 40TOPS 이상이다. 기본 AI 기능만 쓸 거면 이 라인만 넘겨도 충분하다.
    • 저장공간: 모델 파일 하나가 수십 GB를 차지하는 경우가 흔하다. NVMe SSD 1TB 이상을 권한다.

    미니 PC vs 노트북, AI 작업엔 뭐가 나을까

    휴대성만 보면 노트북이 편하다. 하지만 장시간 무거운 연산을 돌릴 땐 얘기가 달라지는데요. 관건은 발열이다. 얇은 노트북은 몇 분만 지나도 성능이 떨어지는 클럭 저하가 생기기 쉽다. 반면 미니 PC는 냉각 공간이 넉넉해서 정격 성능을 오래 유지하고, 필요하면 메모리나 저장장치 업그레이드도 상대적으로 수월하다. 집이나 사무실 한 곳에 고정해두고 로컬 서버처럼 굴릴 계획이라면 미니 PC 쪽에 손을 들어주고 싶다. 반대로 외부에서 문서 작업 틈틈이 AI 기능 좀 쓰는 정도라면, 노트북으로도 충분하다.

    지금 사도 되나, 한 세대 더 기다릴까

    윈도우 코파일럿이나 화상회의 배경 효과 정도만 쓸 계획이면 지금 나온 제품으로도 충분하다. 근데 70B급 이상 모델을 로컬에서 굴리거나 이미지 생성 작업을 자주 한다면? 메모리 용량이 늘어나는 다음 세대 제품을 기다리는 것도 방법이다. AI PC 시장이 아직 초기라 가격 프리미엄이 붙어 있는 편이거든요. 예산이 빠듯하다면 그래픽카드 성능이 준수한 일반 게이밍 노트북으로 로컬 AI를 먼저 경험해보는 것도 나쁘지 않은 선택이다.

    이것도 궁금하죠?

    Q. AI PC 없어도 로컬 AI 쓸 수 있나?
    가능하다. VRAM이 넉넉한 그래픽카드가 달린 데스크탑이면 오히려 노트북형 AI PC보다 더 큰 모델을 돌릴 여지가 있다.

    Q. 클라우드 AI 서비스랑 뭐가 다른가?
    클라우드는 최신·최대 모델을 쓸 수 있지만 인터넷 연결과 구독료가 필요하다. 로컬은 오프라인으로 돌아가고 입력 데이터가 밖으로 나가지 않는 대신, 모델 크기와 속도가 하드웨어에 묶인다.

    Q. 게임용 그래픽카드 노트북으로도 되나?
    된다. VRAM 8GB 이상 게이밍 노트북이면 중소형 로컬 LLM 정도는 무리 없이 돌아간다.

    출처: Wired

  • 내 PC에서 AI 직접 돌리기: 온디바이스 AI 완벽 가이드

    내 PC에서 AI 직접 돌리기: 온디바이스 AI 완벽 가이드

    ChatGPT에 민감한 파일을 붙여넣을 때마다 불안하지 않았나. 그 데이터는 고스란히 인터넷을 타고 어딘가의 서버로 날아간다. 온디바이스 AI는 그 흐름 자체를 끊는다. AI를 클라우드가 아닌 내 PC 안에서 직접 돌리는 기술이다. 프라이버시가 핵심이다. 빠르다. 그리고 쓸수록 돈이 안 든다.

    온디바이스 AI란 뭔가

    말 그대로, AI 모델을 내 기기에서 직접 실행하는 방식이다. ChatGPT나 미드저니처럼 클라우드 서버를 거치지 않는다. 스마트폰에서, 태블릿에서, PC에서 모델이 바로 돌아간다. 데이터가 기기 밖으로 나가지 않으니 보안 걱정이 사라진다. 비행기 안에서도, 지하 주차장에서도 쓸 수 있다. 인터넷이 없어도 된다는 게 생각보다 강점이다.

    물론 클라우드 AI가 더 강력한 건 사실이다. GPT-4급 모델을 내 노트북에서 돌리는 건 아직 현실적이지 않다. 하지만 실무에서 자주 쓰는 텍스트 요약, 코드 보조, 이미지 생성 수준은 충분히 가능하다. 응답 속도는 오히려 더 빠른 경우도 있다.

    클라우드 AI vs 온디바이스 AI — 솔직하게 비교하면

    어디서 돌리느냐가 나머지를 전부 결정한다. 클라우드 AI는 원격 서버에서 처리하고, 온디바이스 AI는 내 기기에서 처리한다. 차이를 정리하면 이렇다.

    • 데이터 처리 위치:
      – 클라우드 AI: 데이터가 인터넷을 타고 서버로 전송된다. 결과도 다시 받아온다.
      – 온디바이스 AI: 기기 안에서 처리 끝. 외부 전송 없음.
    • 성능과 확장성:
      – 클라우드 AI: 서버 자원이 무제한에 가깝다. 초대형 모델도 거뜬하다.
      – 온디바이스 AI: 내 GPU, 내 RAM이 전부다. 경량화 모델 위주로 돌린다.
    • 보안 및 프라이버시:
      – 클라우드 AI: 서비스 정책에 따라 데이터가 학습에 쓰일 수도 있다. 보안은 제공업체 몫.
      – 온디바이스 AI: 데이터가 기기 밖으로 나가지 않는다. 이 하나만으로 선택하는 사람도 많다.
    • 비용:
      – 클라우드 AI: 쓴 만큼 낸다. 월정액이든 API 요금이든 꾸준히 나간다.
      – 온디바이스 AI: 초기 하드웨어 투자가 전부다. 이후 추가 요금은 없다.
    • 지연 시간:
      – 클라우드 AI: 네트워크 상태에 따라 들쑥날쑥.
      – 온디바이스 AI: 네트워크 없이 직접 처리. 응답이 빠르다.

    어떤 하드웨어가 필요한가

    핵심은 GPU다. 정확히는 VRAM(비디오 램) 용량. AI 모델은 대부분 GPU 메모리에 통째로 올려서 돌린다. VRAM이 부족하면 모델 자체를 로드하지 못한다. 그게 끝이다.

    • GPU (그래픽 처리 장치): NVIDIA RTX 시리즈가 사실상 표준이다. RTX 3060(VRAM 12GB), RTX 4070(12GB), RTX 4080(16GB), RTX 4090(24GB) 순으로 올라간다. Stable Diffusion 같은 이미지 생성 모델은 최소 8GB, LLM은 모델 크기에 따라 8~24GB까지 필요하다. AMD의 RX 7000 시리즈도 최근 지원이 늘었지만, NVIDIA 쪽이 소프트웨어 생태계가 아직 더 넓다. 솔직히 여기서 갈린다.
    • RAM (메인 메모리): 최소 16GB, 가능하면 32GB. VRAM이 부족할 때 모델 일부를 RAM에 내리는 오프로딩 방식을 쓰기도 하는데, RAM이 적으면 그것도 안 된다.
    • CPU (중앙 처리 장치): Intel Core i5 또는 Ryzen 5 이상이면 충분하다. AI 연산의 주력은 GPU가 맡는다.
    • SSD (저장 장치): LLM 모델 하나가 7~70GB다. 이미지 생성 체크포인트만 수십 GB를 잡아먹는다. NVMe SSD 기준 최소 256GB 여유 공간, 여러 모델을 쓸 생각이면 1TB 이상은 잡아야 한다.

    VRAM이 딸리면 방법이 없는 건 아니다. 양자화(Quantization) 모델을 쓰면 된다. 4-bit, 8-bit로 압축한 버전이다. 원본보다 VRAM을 적게 먹는 대신 정확도가 살짝 떨어지는데, 텍스트 요약이나 코드 보조 수준에서는 체감하기 어렵다.

    실제로 설치하려면 — 단계별 흐름

    처음 해보면 복잡해 보이는데, 막상 해보면 절반은 설치 대기 시간이다. 흐름은 이렇다.

    1. 기본 환경 구축:
      GPU 드라이버부터 최신으로 올린다. NVIDIA 사이트에서 직접 받아서 설치. 그다음 Python 공식 홈페이지에서 최신 버전을 설치한다. ‘Add Python to PATH’ 체크를 빠뜨리면 나중에 꼭 후회한다. Git도 함께 깔아야 한다. GitHub에서 AI 프로젝트를 클론할 때 필요하다.
    2. 모델 선택 및 다운로드:
      Hugging Face에 오픈소스 AI 모델이 몰려 있다. LLaMA 3 같은 대규모 언어 모델, Stable Diffusion 같은 이미지 생성 모델 등을 여기서 찾는다. 모델 페이지의 ‘Files and versions’ 탭에서 .safetensors나 .bin 파일을 받거나, 해당 모델의 GitHub 저장소 안내를 따른다.
    3. AI 프론트엔드 툴 설치:
      이미지 생성이 목적이라면 ‘Automatic1111 web UI’ 또는 ‘ComfyUI’를 쓴다. 각 GitHub 저장소의 설치 스크립트를 실행하면 Python 가상 환경과 필요한 라이브러리를 알아서 설치해 준다. LLM을 쓰고 싶다면 Ollama나 LM Studio가 진입장벽이 낮다. 앱 안에서 모델을 검색하고 다운로드하면 끝이다. 터미널 한 줄 없이도 가능하다.
    4. AI 모델 실행:
      프론트엔드 툴을 켜고, 모델을 지정하고, 프롬프트 입력 후 생성 버튼. 처음 실행에서 모델 로드에 시간이 좀 걸리는데 정상이다.

    성능 끌어올리는 실전 팁

    설치 끝났다고 끝난 게 아니다. 조금만 손보면 체감 속도가 달라진다.

    • GPU 드라이버 최신 유지: NVIDIA와 AMD 모두 AI 연산 최적화 패치를 주기적으로 낸다. 드라이버 버전 하나 차이로 성능이 꽤 갈린다.
    • VRAM 관리: AI 작업 중에는 게임이나 영상 편집 소프트웨어를 같이 켜두지 말 것. VRAM이 분산된다. --lowvram 또는 --medvram 옵션을 지원하는 툴이라면 적극 활용하자.
    • 양자화 모델 활용: 앞서 언급한 4-bit, 8-bit 버전이다. VRAM 부족 문제를 가장 현실적으로 해결해 준다. 품질 손실보다 쓸 수 있는 모델 범위가 늘어나는 쪽이 이득인 경우가 많다.
    • 쿨링 점검: GPU가 AI 연산을 돌리면 발열이 상당하다. 케이스 환기 상태를 확인하고, GPU 쿨러를 청소하는 것만으로도 안정성이 달라진다. 온도가 올라가면 GPU가 클럭을 스스로 줄인다. 성능이 저절로 떨어지는 셈이다.
    • 라이브러리 버전 관리: PyTorch나 TensorFlow 버전도 성능에 영향을 준다. 각 커뮤니티에서 추천하는 조합이 따로 있다. 무조건 최신 버전이 답은 아니다.

    이게 앞으로 어떻게 커질까

    온디바이스 AI가 가장 빛날 분야는 의료다. 환자 데이터를 외부 서버로 보내는 건 법적으로, 윤리적으로 민감하다. 기기 안에서 분석이 끝난다면 진단 보조 AI의 실용화 속도가 달라진다. 스마트홈 기기도 마찬가지다. 클라우드 서버 없이도 맥락을 이해하는 음성 비서, 오프라인 상태에서도 주변 환경을 실시간으로 분석하는 자율주행 차량. 연결이 끊겨도 작동해야 하는 것들이다.

    개인 PC 쪽도 흐름이 보인다. 지금은 ‘내 PC에서 LLM 돌리기’가 일종의 마니아 취미처럼 느껴지지만, 2~3년 내로 많은 사람의 일상 도구가 될 가능성이 높다. 하드웨어는 빠르게 저렴해지는 중이고, Ollama나 LM Studio 같은 툴은 진입장벽을 계속 낮추고 있다. 클라우드 AI 구독료가 부담스럽다면, 지금 시작해볼 이유는 충분하다.

    The Verge 보도를 참고했습니다: The Verge