[태그:] AI PC

  • 로컬 AI PC, NPU와 GPU보다 용도가 먼저

    로컬 AI PC, NPU와 GPU보다 용도가 먼저

    3줄 요약

    • 마이크로소프트가 샌프란시스코에서 여는 윈도우·서피스 행사의 주제는 “로컬 AI가 PC의 다음 장을 어떻게 만들 것인가”입니다.
    • 사티아 나델라와 윈도우·서피스 총괄 파반 다불루리에 더해 엔비디아 젠슨 황이 무대에 오르는 구성이라, GPU 쪽 무게가 실릴 가능성이 관측되고 있습니다.
    • 기기를 살 계획이라면 발표 내용보다 내 작업이 실제로 온디바이스 추론을 쓰는지부터 정리하는 편이 돈을 덜 씁니다.

    2024년 5월, 그 전은 2021년 6월. 마이크로소프트가 윈도우 대형 행사를 여는 간격입니다. 자주 열리는 종류의 이벤트가 아니라는 뜻이죠. 직전 행사에서 나온 결과물이 Arm 기반 코파일럿+ PC와 퀄컴과의 파트너십 갱신이었고, 더 거슬러 올라가면 윈도우 11을 공개한 라이브 스트림까지 갑니다. 이번 샌프란시스코 행사에 마이크로소프트가 붙인 설명은 “로컬 AI가 PC의 다음 장을 어떻게 만들 것인가에 대한 대화”입니다. 발표 내용이야 열어봐야 알겠고요. 발표와 별개로 오래 남는 건 로컬 AI라는 단어가 PC 구매와 설정에서 구체적으로 무엇을 바꾸느냐입니다.

    공개된 정보로 확인되는 행사 계보는 이렇게 이어집니다.

    시점 형식 핵심 내용
    2021년 6월 라이브 스트림 윈도우 11 공개
    2024년 5월 대형 행사 Arm 기반 코파일럿+ PC, 퀄컴 파트너십 갱신
    샌프란시스코 행사(10월 7일) 대담 형식 로컬 AI와 PC의 다음 장 / 나델라·다불루리·젠슨 황 참석

    로컬 AI라는 말은 “계산을 어디서 하느냐”로 번역됩니다

    같은 요약 기능이라도 서버에서 돌리면 클라우드 추론, 노트북 안에서 돌리면 로컬 추론입니다. 기능 이름은 똑같은데 성질은 꽤 다릅니다. 로컬 추론은 네트워크 왕복이 없어서 반응이 즉각적이고, 원본 데이터가 기기 밖으로 나가지 않으며, 비행기 안처럼 연결이 끊긴 환경에서도 동작합니다. 구독료 대신 하드웨어 값을 먼저 치르는 구조이기도 하죠. 뒤집어 말하면, 그 하드웨어 값이 매달 나가는 구독료보다 싸다는 보장은 아무도 해주지 않습니다.

    대가도 분명합니다. 모델이 기기 메모리 안에 들어가야 하니 서버에서 돌리는 큰 모델만큼의 품질을 기대하기 어렵고, 연산이 길어지면 배터리와 발열로 값을 치릅니다. 소프트웨어 회사가 로컬 AI를 이야기하려면 하드웨어 이야기가 따라붙을 수밖에 없는 이유가 여기 있습니다. 반도체 회사 CEO가 같은 무대에 서는 구성은 그 연결을 그대로 보여줍니다. 나델라와 다불루리만 나오는 자리였다면 소프트웨어 발표로 읽혔을 텐데, 젠슨 황이 끼면서 이야기의 무게중심이 기기 쪽으로 기웁니다.

    NPU와 GPU는 경쟁이 아니라 역할 분담에 가깝습니다

    NPU는 전력당 성능이 목적인 연산기입니다. 화상회의 배경 처리, 실시간 자막, 음성 인식처럼 작고 반복적인 추론을 배터리를 덜 깎으며 계속 돌리는 데 유리합니다. 대신 큰 언어 모델을 통째로 올려 빠르게 굴리는 용도로는 힘이 부칩니다.

    GPU는 반대쪽입니다. 병렬 처리량과 메모리 대역폭이 커서 큰 모델, 이미지 생성, 영상 처리처럼 무거운 작업에서 체감 차이가 큽니다. 전력을 많이 먹고, 실질적인 상한은 연산 성능보다 탑재 메모리 용량인 경우가 많습니다. 모델이 메모리에 안 올라가면 성능 지표는 의미를 잃습니다. 숫자가 높아서 좋은 게 아니라, 올라가야 좋은 겁니다.

    CPU는 가장 느리지만 가장 넓게 호환됩니다. 가속 지원이 없는 런타임도 일단 돌아가기는 합니다. 느린 대신 안 되는 경우가 적다, 이 정도로 정리하면 됩니다. 퀄컴과의 협업이 NPU 중심 노트북 축이었다면 엔비디아 CEO의 참석은 GPU 축을 가리키는 신호로 읽히는데, 둘 중 하나가 이기는 그림보다는 용도에 따라 갈리는 그림으로 보는 편이 실제 구매에 더 맞습니다. 마이크로소프트 쪽에서 퀄컴 축을 버릴 이유도 마땅치 않습니다. 2024년 5월에 갱신한 파트너십이 그렇게 빨리 정리될 성격은 아니니까요.

    용도 → 호환성 → 예산 순서로 좁히면 후회가 적습니다

    먼저 용도입니다. 문서·웹·화상회의가 대부분이라면 필요한 로컬 AI는 배경 흐림, 소음 제거, 자막 수준입니다. 이 영역은 NPU가 달린 얇고 조용한 노트북으로 충분하고, 고성능 GPU는 무게와 배터리만 손해입니다. 반대로 로컬에서 언어 모델을 띄우거나 이미지·영상을 생성한다면 메모리 용량이 1순위입니다. 게임을 겸한다면 GPU 한 장이 두 용도를 같이 처리합니다. 상위 모델에 돈을 더 쓰는 선택이 가장 깔끔하게 설명되는 구간이 여기입니다.

    다음이 호환성입니다. Arm 기반 기기를 고려한다면 명령어 집합이 달라지는 문제라 업무용 보안 프로그램, 사내 VPN 클라이언트, 프린터·스캐너 드라이버, 특정 플러그인이 정식 지원되는지부터 확인해야 합니다. 여기서 막히면 성능 이야기는 무의미해집니다. NPU 수치를 몇 시간 비교해봐도, 사내 VPN이 안 붙는 노트북은 업무용으로 쓸 방법이 없습니다.

    예산은 마지막입니다. 상한선을 먼저 못 박고 그 안에서 메모리 용량 → 가속기(NPU/GPU) → 화면·무게 순으로 배분하면 선택지가 빠르게 정리됩니다. 순서를 거꾸로 밟으면 화면 좋고 가벼운데 메모리가 부족한 기기를 집어 오게 되죠. 신제품 가격과 출시 정보는 행사에서 다뤄질 것이라는 관측만 있고 공식 수치는 나오지 않았으니, 지금 단계에서 가격표를 기준으로 계획을 세우긴 이릅니다.

    내 PC가 어디까지 감당하는지 확인하는 경로

    윈도우 11 기준 점검 순서입니다. 메뉴 명칭과 위치는 윈도우 버전, 제조사 이미지, 언어 설정에 따라 다릅니다. 아래 경로가 그대로 안 보이면 설정 앱 상단 검색창에 항목 이름을 넣는 쪽이 빠릅니다.

    작업 관리자(Ctrl+Shift+Esc) → 성능 탭. 왼쪽 목록에서 CPU·메모리·GPU를 확인합니다. NPU가 탑재되고 드라이버가 정상이면 NPU 항목이 같이 표시됩니다. 목록에 없다면 미탑재거나, 드라이버 또는 윈도우 빌드가 낮은 경우입니다. 후자라면 네 번째 항목에서 해결되는 일도 있습니다.

    설정 → 시스템 → 정보. 프로세서 모델, 설치된 RAM, 그리고 시스템 종류가 x64 기반인지 ARM 기반인지가 여기 나옵니다. Arm 기기라면 앞서 말한 호환성 점검이 필요합니다.

    Win+R → dxdiag → 디스플레이 탭. GPU 이름과 전용 메모리 용량이 표시됩니다. 로컬 모델을 돌릴 생각이라면 이 숫자가 사실상 상한선입니다. 메모해두세요.

    설정 → Windows 업데이트 → 고급 옵션 → 선택적 업데이트. 그래픽·NPU 드라이버가 여기 들어 있는 경우가 많습니다. 가속 기능이 안 잡힐 때 가장 먼저 볼 곳입니다. AI 관련 기능 토글은 에디션·기기·지역에 따라 설정 앱 안에서 위치가 제각각이라, 경로를 외우기보다 검색으로 접근하는 편이 확실합니다.

    국내 출시와 원화 가격은 아직 백지입니다

    국내 출시 일정과 원화 가격은 공식 발표가 없습니다. 신제품 가격과 판매 정보가 행사에서 언급될 것이라는 예상이 나왔을 뿐, 확정된 수치는 공개되지 않았습니다. 서피스 제품군은 세대별로 국내 정식 판매 여부가 갈렸던 편이라 발표가 곧 국내 출시로 이어진다고 보긴 어렵습니다. 이 부분은 근거 있는 추측이며 확정 정보가 아닙니다.

    업무 환경 쪽은 좀 더 현실적인 문제입니다. 국내에서 쓰이는 인증·보안 프로그램과 사내 관리 도구는 아키텍처 전환에 민감한 경우가 있어, Arm 기기를 검토한다면 회사 IT 담당자에게 지원 여부를 먼저 묻는 게 순서입니다. 물어보는 비용은 메일 한 통, 안 물어봤을 때의 비용은 반품 절차입니다. 행사 시각은 태평양 시간 오전 10시, 동부 시간 오후 1시로 공지됐고 한국 시간으로는 새벽대에 걸칩니다. 서머타임 적용 여부에 따라 환산이 달라지므로 시청 계획을 세운다면 각자 변환해 확인하는 쪽이 안전합니다.

    확인된 것과 아직 불확실한 것

    확인된 사실

    • 마이크로소프트가 샌프란시스코에서 윈도우·서피스 행사를 예고했고, 주제는 로컬 AI와 PC의 다음 장에 관한 대화다.
    • 사티아 나델라, 윈도우·서피스 총괄 파반 다불루리, 엔비디아 젠슨 황이 참석한다.
    • 직전 대형 행사는 2024년 5월(Arm 기반 코파일럿+ PC, 퀄컴 파트너십 갱신), 그 이전은 2021년 6월 윈도우 11 공개였다.
    • 행사 시각은 태평양 시간 오전 10시, 동부 시간 오후 1시다.

    아직 불확실한 것

    • RTX 계열 PC가 행사의 중심이 될지 — 참석자 구성에 근거한 관측이다.
    • 서피스 신제품의 가격과 출시 시점 — 언급될 것이라는 예상만 있다.
    • 윈도우 차기 버전 발표 여부 — 나오지 않을 것이라는 전망이 우세하지만 확정은 아니다.
    • 국내 출시 여부, 원화 가격, 유통 경로 — 공식 발표가 없다.

    구매 타이밍을 가르는 건 결국 두 가지입니다

    첫째, 지금 쓰는 기기가 실제로 불편한가. 부팅이 느리고 회의 중 팬이 울부짖는 상태라면 발표를 기다릴 이유가 크지 않습니다. 둘째, 내 작업이 로컬 추론을 실제로 쓰는가. 쓰는 기능이 클라우드 기반 서비스뿐이라면 NPU 성능은 구매 근거가 되지 못합니다. 이 대목은 좀 냉정하게 봐야 합니다.

    두 질문 모두 애매하다면 발표 이후를 보는 쪽이 유리합니다. 신제품이 공개되면 직전 세대 재고 가격이 움직이는 일이 흔하고, 새 기기의 가속기 사양과 지원 기능 목록이 나온 뒤에 비교하면 판단 재료가 많아집니다. 그 사이에 위의 점검 경로로 지금 기기의 메모리와 가속기 상태를 적어두면, 무엇이 부족해서 바꾸는지가 문장으로 정리됩니다. dxdiag에 찍힌 전용 메모리로는 돌리려는 모델이 안 올라간다, 이런 식으로요. 그 문장이 없으면 어떤 신제품이 나와도 기준 없이 지갑을 열게 됩니다.

    출처: The Verge

  • AI PC 살 때 NPU보다 VRAM부터 봐야 하는 이유

    AI PC 살 때 NPU보다 VRAM부터 봐야 하는 이유

    노트북 스펙표를 보다가 NPU, TOPS 같은 낯선 약어에 걸린 적 있을 거다. 엔비디아가 미니 PC·노트북 제조사들과 손잡고 대형 AI 모델을 컴퓨터 안에서 직접 돌리는 전용 칩을 내놓으면서, ‘AI PC’라는 이름표가 매장 진열대까지 내려왔는데요. 막상 사려고 하면 뭐가 진짜 AI PC고 뭐가 스티커만 붙인 일반 노트북인지 구분이 잘 안 가거든요. NPU, TOPS, 통합 메모리… 이 용어들, 뭘 기준으로 봐야 하는지 정리해봤다.

    AI PC, 일반 PC랑 뭐가 다른가

    핵심은 하나다. AI 연산을 어디서 처리하느냐, 그 차이거든요. 지금까지 챗GPT나 클로드 같은 서비스는 질문을 클라우드 서버로 보내고 답을 받아오는 구조였다. AI PC는 이 연산 일부를 컴퓨터 안에서 끝낸다. 인터넷이 끊겨도 문서 요약이나 이미지 생성 같은 작업이 돌아가고, 입력한 내용이 외부 서버로 나가지 않는다는 장점이 있는데요. 다만 아무 노트북이나 이걸 감당하는 건 아니다. 전용 하드웨어가 따로 필요하다는 얘기다.

    NPU와 GPU, 실제로 일하는 건 어느 쪽인가

    둘은 역할부터 다르다.

    • NPU는 전력을 적게 먹으면서 배경 흐림, 실시간 번역, 노이즈 캔슬링 같은 가벼운 상시 작업을 처리한다.
    • GPU는 이미지 생성이나 로컬 LLM 추론처럼 무거운 연산을 맡는다. 결국 채팅형 AI를 노트북에서 굴리고 싶다면 NPU 성능표보다 GPU의 메모리 용량 쪽을 먼저 봐야 한다.

    마케팅 자료엔 TOPS 수치만 큼직하게 적혀 있는 경우가 많은데요, 이건 NPU 성능 지표일 뿐이다. 로컬 LLM 체감 속도를 그대로 보장해주진 않는다. 이 부분에서 헷갈리는 사람, 은근히 많더라.

    로컬 AI 돌리려면 스펙표에서 이 4가지부터 확인

    구매 전에 아래 항목부터 체크하는 게 가장 실속 있다.

    • 통합 메모리·VRAM 용량: 7B~8B급 모델은 8~16GB, 70B급은 48GB 이상이 필요하다. 메모리가 부족하면 모델 자체가 안 올라간다.
    • 메모리 대역폭: 용량이 같아도 대역폭이 낮으면 답변 속도가 눈에 띄게 느려진다.
    • TOPS 수치: 마이크로소프트가 정한 Copilot+ PC 기준은 40TOPS 이상이다. 기본 AI 기능만 쓸 거면 이 라인만 넘겨도 충분하다.
    • 저장공간: 모델 파일 하나가 수십 GB를 차지하는 경우가 흔하다. NVMe SSD 1TB 이상을 권한다.

    미니 PC vs 노트북, AI 작업엔 뭐가 나을까

    휴대성만 보면 노트북이 편하다. 하지만 장시간 무거운 연산을 돌릴 땐 얘기가 달라지는데요. 관건은 발열이다. 얇은 노트북은 몇 분만 지나도 성능이 떨어지는 클럭 저하가 생기기 쉽다. 반면 미니 PC는 냉각 공간이 넉넉해서 정격 성능을 오래 유지하고, 필요하면 메모리나 저장장치 업그레이드도 상대적으로 수월하다. 집이나 사무실 한 곳에 고정해두고 로컬 서버처럼 굴릴 계획이라면 미니 PC 쪽에 손을 들어주고 싶다. 반대로 외부에서 문서 작업 틈틈이 AI 기능 좀 쓰는 정도라면, 노트북으로도 충분하다.

    지금 사도 되나, 한 세대 더 기다릴까

    윈도우 코파일럿이나 화상회의 배경 효과 정도만 쓸 계획이면 지금 나온 제품으로도 충분하다. 근데 70B급 이상 모델을 로컬에서 굴리거나 이미지 생성 작업을 자주 한다면? 메모리 용량이 늘어나는 다음 세대 제품을 기다리는 것도 방법이다. AI PC 시장이 아직 초기라 가격 프리미엄이 붙어 있는 편이거든요. 예산이 빠듯하다면 그래픽카드 성능이 준수한 일반 게이밍 노트북으로 로컬 AI를 먼저 경험해보는 것도 나쁘지 않은 선택이다.

    이것도 궁금하죠?

    Q. AI PC 없어도 로컬 AI 쓸 수 있나?
    가능하다. VRAM이 넉넉한 그래픽카드가 달린 데스크탑이면 오히려 노트북형 AI PC보다 더 큰 모델을 돌릴 여지가 있다.

    Q. 클라우드 AI 서비스랑 뭐가 다른가?
    클라우드는 최신·최대 모델을 쓸 수 있지만 인터넷 연결과 구독료가 필요하다. 로컬은 오프라인으로 돌아가고 입력 데이터가 밖으로 나가지 않는 대신, 모델 크기와 속도가 하드웨어에 묶인다.

    Q. 게임용 그래픽카드 노트북으로도 되나?
    된다. VRAM 8GB 이상 게이밍 노트북이면 중소형 로컬 LLM 정도는 무리 없이 돌아간다.

    출처: Wired