[태그:] 온디바이스 AI

마이크에 대고 ‘피아노’라고 말하면 기계가 피아노 비슷한 소리를 내놓긴 해요. 그런데 어딘가 지글거리고, 뭉개져 있어요. 음악 스타트업 Thoughtful Things가 킥스타터 캠페인으로 공개한 첫 악기 Engram의 시연 장면인데요. 보통의 AI 음악 도구였다면 그냥 실패한 결과물이죠. 이 장비는 거꾸로예요. 그렇게 실패한 소리를 일부러 모으라고 만든 물건이거든요.

솔직히 눈길이 가는 건 제품 스펙보다 그 밑에 깔린 발상이에요. AI 샘플러가 기존 샘플러와 뭐가 다른지, ‘잠재 공간’이니 ‘환각’이니 하는 말이 소리 작업에서는 무슨 뜻인지, 곡을 통째로 뽑아 주는 AI와 이런 악기를 어떤 기준으로 갈라 봐야 하는지. 이 세 가지를 차례로 뜯어보면 Engram이 왜 ‘망가진 소리’를 전면에 내세우는지 감이 오거든요.

녹음·편집·배치 사이에 ‘모델의 해석’이 한 칸 끼어든다

샘플러부터 짚고 넘어갈게요. 소리를 녹음하거나 불러와서 자르고, 음높이를 바꾸고, 패드나 건반에 배치해 연주하는 장비예요. 핵심은 소리를 완성품이 아닌 재료로 다룬다는 점. 그루브박스는 여기에 시퀀서(패턴을 찍어 반복 재생하는 기능)와 음원을 한 몸체에 묶은 장비인데, 컴퓨터 없이 비트 하나를 처음부터 끝까지 짤 때 많이 써요.

Engram은 이 두 역할을 겸해요. 차이는 중간에 AI 모델이 끼어 있다는 것. 공개된 설명만 놓고 보면 AI가 맡는 일은 두 갈래인데요, 하나는 들어오는 오디오를 모델에 통과시켜 뒤틀어 버리는 것이고, 다른 하나는 입력과 상관없이 아예 새로운 소리를 환각해 내는 거예요.

기존 샘플러 작업이 ‘녹음 → 편집 → 배치’였다면, AI 샘플러에서는 편집 단계에 ‘모델에게 해석시키기’가 한 칸 더 들어간다고 보면 돼요. 필터나 이펙트는 정해진 규칙대로 소리를 바꿔요. 생성 모델은 사정이 다르거든요. 학습한 소리들의 기억을 바탕으로 입력을 다시 해석하기 때문에 결과를 미리 짐작하기 어렵고, 이 장비는 바로 그 예측 불가능성을 쓸모로 내세웁니다.

‘잠재 공간 필드 레코더’라는 말, 두 단어로 쪼개 보면

창업자 Evan King은 Engram을 ‘잠재 공간(latent space)을 위한 필드 레코더’라고 불러요. 처음 들으면 무슨 소린가 싶은데, 두 단어를 떼어 놓고 보면 꽤 정확한 비유예요.

잠재 공간은 생성 모델이 학습 데이터를 압축해 둔 좌표계쯤으로 생각하면 편해요. 모델은 수많은 소리를 보면서 ‘피아노다운 것’, ‘타악기다운 것’ 같은 특징을 숫자 벡터로 정리해 둡니다. 새 소리를 만들 땐 이 공간에서 점 하나를 골라 다시 파형으로 풀어내고요. 학습 데이터가 촘촘한 지점을 고르면 그럴듯한 소리가 나와요. 데이터가 듬성듬성한 곳, 혹은 두 특징 사이 어중간한 곳을 찍으면 얘기가 달라지죠. 어디서도 들어 본 적 없는 소리가 나옵니다.

환각(hallucination)은 원래 언어 모델이 사실이 아닌 내용을 그럴듯하게 지어낼 때 쓰는 말이에요. 문서 요약이나 검색에선 치명적인 결함이죠. 소리 작업에선 얘기가 달라요. 참·거짓을 따질 일이 없으니, 모델이 헛짚어 만든 기묘한 음색도 그대로 재료가 되거든요. 시연 영상 속 ‘피아노 같긴 한 무언가’가 딱 그 경우고요.

필드 레코더는 현장에 나가 바람 소리나 거리 소음처럼 이미 있는 소리를 채집하는 녹음기예요. 둘을 합치면 그림이 그려집니다. Engram은 곡을 써 주는 도구라기보다, 모델 내부라는 낯선 장소를 돌아다니며 거기서 나는 소리를 주워 오는 도구라는 것. 주워 온 소리를 곡으로 엮는 건 여전히 사람 몫이에요. 이 비유가 괜찮다고 보는 이유도 여기 있는데요, 작곡의 주도권이 어디에 있는지를 한 문장으로 못 박아 두거든요.

납땜인두 대신 모델을 비트는 서킷 벤딩

서킷 벤딩은 값싼 전자 장난감이나 효과기의 회로를 열고 엉뚱한 지점끼리 이어 붙여, 설계자가 의도하지 않은 소리를 끌어내는 실험 음악 기법이에요. 정상 동작을 깨는 게 목적이다 보니 같은 장난감이라도 어디를 건드리느냐에 따라 전혀 다른 악기가 되죠.

Engram은 이 발상을 하드웨어 회로가 아니라 AI 모델로 옮겨 왔어요. 회사 설명대로라면 사용자가 내장된 작은 모델을 조작하는 건 물론이고, 아예 망가뜨리는 것까지 허용한다고 해요. 납땜인두 대신 모델의 동작 방식을 비트는 셈이죠. 아쉬운 건 세부 구조. 어떤 조작부가 모델의 어느 부분과 연결되는지는 공개된 설명 어디에도 나오지 않아요. ‘망가뜨린다’는 말이 실제로 어느 수준의 개입인지 판단하기엔 아직 정보가 모자랍니다.

‘작은 AI(tiny AI)’라는 표현도 그냥 넘길 대목은 아니에요. 거대한 클라우드 모델은 사용자가 내부를 건드릴 방법이 거의 없어요. 서비스 제공자가 정해 둔 입출력 창구만 쓰게 되죠. 기기 안에서 도는 작은 모델이라면 개발사가 조작 지점을 직접 열어 줄 여지가 생깁니다. 작은 모델은 표현 범위가 좁고, 학습하지 않은 영역에선 쉽게 엇나가는 편이에요. 정확한 재현이 목표라면 약점이겠지만 이 장비에선 그 엇나감이 곧 재료. 설계의 출발점이 여기 있는 것으로 보여요.

‘상자에 담은 Suno’와는 다르다, 고를 때 따질 다섯 가지

원문은 Engram이 ‘Suno를 상자에 담은 물건’이 아니라고 분명히 선을 긋습니다. 버튼 한 번 누르면 라디오 인기 차트에 걸릴 법한 곡을 뽑아 주는 장치가 아니라는 얘기예요. AI 음악 도구를 고를 때 이 구분을 먼저 해 두지 않으면 엉뚱한 물건을 사게 돼요. 아래 표는 세 부류를 원문 설명과 일반적인 장비 특성에 맞춰 나눈 거예요.

구분	완성곡 생성형 AI 서비스	로컬 AI 샘플러(Engram)	일반 샘플러
목표 결과물	바로 들을 만한 완성곡	실험적이고 낯선 음색 재료	녹음하거나 불러온 소리의 재배치
AI 모델 위치	대부분 서비스 서버(클라우드)	기기 내부, 인터넷 연결 없음	AI 없음
사용자가 개입하는 지점	프롬프트 입력, 결과 선택	입력 소리·음성 지시, 모델 조작과 파괴	녹음, 편집, 배치
모델 교체·수정	대체로 불가	펌웨어 공개 후 커스텀 모델 탑재 계획	해당 없음
학습 데이터 공개	서비스마다 다름	상업 이용 허용 오픈 데이터셋(CC-BY 등)이라고 밝힘	해당 없음

표를 놓고 고를 땐 이 순서로 따져 보면 돼요.

1. 결과물의 용도: 영상 배경음처럼 완성곡이 당장 필요하면 곡 생성형이 맞아요. 내 곡에 넣을 독특한 소리 재료를 찾는 거라면 AI 악기 쪽이고요.
2. 실행 위치: 로컬 실행 장비는 네트워크 없이도 공연장이나 작업실에서 그대로 돌아가고, 입력한 목소리나 녹음이 외부 서버로 나가지 않아요. 대신 모델 크기가 기기 성능에 묶입니다.
3. 학습 데이터 출처: 결과물을 발매하거나 수익화할 생각이라면, 제조사가 데이터 출처와 라이선스를 어디까지 공개하는지 확인하세요.
4. 개방성: 펌웨어와 모델 교체가 열려 있으면, 제조사 지원이 끊겨도 사용자 커뮤니티가 기기 수명을 이어 가는 경우가 많아요.
5. 구매 방식: 크라우드펀딩은 완제품 구매가 아니라 프로젝트 후원이에요. 배송 지연이나 사양 변경 가능성은 감수해야 합니다.

이 가운데 세 번째 기준은 좀 더 파고들 만해요. Thoughtful Things는 자사 오디오 모델을 상업적 이용이 허용된 오디오(CC-BY 또는 그와 비슷한 라이선스)만 담긴 오픈 데이터셋으로 학습했다고 밝혔어요. 비상업 전용 데이터나 불법 복제·도용 데이터로는 학습한 적이 없고, 앞으로도 그럴 일 없다는 입장이고요. 참고로 CC-BY는 원저작자를 표시하는 조건으로 상업적 이용과 변형을 허락하는 크리에이티브 커먼즈 라이선스예요.

이 선언이 보증하는 범위는 분명히 구분해 둬야 해요. 학습 재료를 정당하게 확보했다는 회사 측 설명일 뿐이에요. 생성된 소리의 권리가 누구에게 있는지, 어떤 조건으로 상업 이용이 가능한지까지 정해 주는 건 아니거든요. 다른 AI 악기나 플러그인을 볼 때도 세 가지는 따로 확인하는 습관을 들이는 게 좋아요. 데이터셋 이름을 공개했는지, 라이선스 종류가 뭔지, 생성물 이용 약관은 어떻게 돼 있는지. 셋 중 하나라도 비어 있으면 그 빈칸이 곧 리스크죠.

675달러 후원가 바깥에서 한국 구매자에게 붙는 비용과 변수

Engram은 킥스타터 캠페인용 한정 수량으로 먼저 풀렸고, 후원가는 675달러부터예요. 회사는 정식 소매가를 밝히지 않았어요. 다만 675달러 단계가 30% 할인가로 표시돼 있다는 점을 근거로, 더버지는 소매가를 850~900달러 사이로 추산했습니다. 한국에서 이 장비를 들이려는 사람에겐 이 숫자 바깥의 조건들이 더 크게 작용해요.

• 관부가세와 배송비: 후원가만으로도 개인 해외 직구 면세 한도를 넘는 금액이에요. 배송비가 따로 붙는지, 통관 때 세금을 누가 내는지는 후원 페이지의 배송 조건부터 확인해야 해요.
• 사후 지원: 해외 크라우드펀딩 하드웨어는 고장 나면 해외로 보내 수리받아야 하는 경우가 흔해요. 국내 유통 경로가 생기기 전까지는 수리 기간이 길어질 가능성을 계산에 넣어 두세요.
• 음성 지시의 언어: 시연에서는 영어 단어로 소리를 요청했어요. 한국어 음성 지시가 통하는지는 공개된 정보가 없고요. 시연이 영어로만 진행됐으니 영어 중심일 가능성이 높다, 딱 거기까지가 추측의 한계예요.
• 오프라인 작동: 인터넷에 연결하지 않는 구조라서 해외 서버 접속 지연이나 지역 제한 같은 문제는 애초에 생기지 않아요. 계정이나 서버 구독 없이 쓰는 형태로 보이지만, 요금 구조 자체는 원문에서 확인되지 않습니다.
• 결과물 유통: 만든 소리를 음원으로 유통하거나 영상에 쓸 계획이라면, 제조사가 학습 데이터 출처를 공개적으로 밝혀 뒀다는 점이 나중에 출처를 설명할 근거 자료 정도는 돼요. 딱 그 정도요. AI 생성물의 저작권 인정 범위는 나라마다 해석이 갈리니 국내 기준은 따로 챙겨 봐야 합니다.

확인된 것과 아직 불확실한 것

확인된 것

• Engram은 Thoughtful Things의 첫 악기로, 샘플러 겸 그루브박스다.
• AI로 입력 오디오를 뒤틀고, 완전히 새로운 소리를 환각해 만든다.
• 인터넷에 연결하지 않고, 사내에서 설계하고 직접 학습시킨 작은 AI 모델을 기기에서 돌린다.
• 회사는 상업 이용이 허용된 라이선스(CC-BY 등) 오디오만 담긴 오픈 데이터셋으로 학습했다고 밝혔다.
• 킥스타터 한정 수량 후원가는 675달러부터이며, 30% 할인가로 표시돼 있다.
• 펌웨어를 공개해 개조와 커스텀 모델 탑재를 허용할 계획이다.

아직 불확실한 것

• 정식 소매가 (850~900달러는 할인율을 근거로 한 추산이다)
• 펌웨어 공개 시점과 범위, 커스텀 모델을 올리는 구체적 방법
• 모델 조작부의 세부 구조와 하드웨어 사양
• 생성된 소리의 권리 귀속과 상업 이용 조건
• 한국어 음성 지시 지원 여부
• 국내 출시·가격은 아직 공식 발표가 없고, 킥스타터 후원품의 한국 배송 가능 여부도 확인되지 않았다.

펌웨어가 열리면 Engram은 악기보다 플랫폼에 가까워진다

회사는 Engram의 펌웨어를 공개해서, 다른 사람들이 기기를 손보거나 직접 만든 모델을 올리도록 열어 줄 계획이라고 밝혔어요. 이게 실제로 이뤄지면 장비의 성격 자체가 바뀌어요. 내장 모델 하나에 묶인 악기는 그 모델 소리에 질리는 순간 수명이 끝나요. 모델을 갈아 끼우는 기기는 다르죠. 커뮤니티가 만든 모델 수만큼 새 악기가 되니까요.

개발자 입장에선 온디바이스 오디오 모델을 실험할 하드웨어 놀이터가 하나 생기는 셈이에요. 내가 녹음한 소리만으로 작은 모델을 학습시켜 올리면, 학습 데이터 출처를 스스로 통제하는 악기가 되고요. 앞에서 짚은 라이선스 고민을 가장 확실하게 푸는 방법도 사실 이쪽입니다.

다만 ‘공개할 계획’과 ‘공개됐다’ 사이엔 거리가 있어요. 펌웨어가 풀린다면 먼저 볼 건 세 가지예요. 어떤 라이선스로 공개되는지, 모델을 변환해 탑재하는 도구가 같이 나오는지, 기기 성능이 어느 크기의 모델까지 감당하는지. 이 셋이 갖춰져야 ‘망가뜨리며 노는 AI 악기’라는 말이 광고 문구에서 실제 사용 경험으로 넘어옵니다. 지금 시점에 675달러를 거는 건 완성된 물건을 사는 일이라기보다, 그 가능성에 대한 후원에 가깝다고 보는 게 정확하겠네요.

출처: The Verge AI