뇌 스캔 해독 AI, 1시간 보정으로 본 장면 복원

40시간. 뇌 스캔 해독 도구 하나를 새로운 사람에게 맞추는 데 들던 fMRI 촬영 분량이다. 이스라엘 바이츠만 과학연구소(Weizmann Institute of Science)의 컴퓨터 과학자 미할 이라니(Michal Irani) 연구진은 이 분량을 1시간으로 줄였다고 밝혔다.

‘마음을 읽는 AI’라는 별명이 따라붙지만 실제로 하는 일은 훨씬 좁다. 스캐너 안에 누운 사람이 본 사진을 뇌 활동 기록만 가지고 다시 그려내는 것, 거기까지다. 이 과정이 어떤 부품으로 굴러가는지, 어디까지 되고 어디서 막히는지를 차례로 본다.

fMRI가 재는 것은 생각이 아니라 혈류다

기능적 자기공명영상(fMRI)은 거대한 자석으로 뇌 속에서 산소를 실은 혈액이 어디로 흐르는지 추적한다. 스캔에서 밝게 뜨는 영역은 그 순간 활발히 일하는 곳으로 해석된다. 생각 자체를 찍는 장비가 아니라는 얘기다.

해상도에도 한계가 있다. 스캔의 최소 단위는 복셀이라고 부른다.

• 일반적인 fMRI 스캐너: 복셀 하나가 약 3세제곱밀리미터, 그 안에 뉴런 약 16,000개
• 이번 연구가 쓴 고해상도 데이터셋: 복셀 하나가 약 1세제곱밀리미터

개별 뉴런이 아니라 덩어리 단위의 혈류 변화를 읽는 셈이다. 초기 연구에서 나온 복원 이미지는 흐릿해서 뭔지 알아보기 어려웠다. 스캐너 자체와, 스캔을 해석하는 도구가 함께 발전하면서 결과가 나아졌다.

연구의 출발점은 공개 데이터다. 다른 연구자들이 자원자를 스캐너에 눕히고 수백 장의 이미지를 보여주며 기록해 둔 스캔.

디코더는 구조와 내용을 따로 예측한다

용어 두 개만 잡고 가면 된다. 방향이 서로 반대다.

• 디코더: 뇌 스캔 → 이미지. 사람이 무엇을 봤는지 복원한다.
• 인코더: 이미지 → 뇌 스캔. 그 이미지를 봤을 때 나타날 뇌 활동을 예측한다.

기존 복원 도구는 ‘비슷한 것’까지만 그렸다. 바나나를 본 사람의 스캔에서 바나나 이미지가 나오기는 하는데, 이라니의 표현대로 구조와 위치가 원본과 달랐다.

이번 디코더는 그래서 가지를 둘로 갈랐다.

• 구조 가지: 색이 화면 어디에 놓였는지 같은 배치 정보를 예측
• 내용 가지: ‘접시 위의 바나나 한 송이’처럼 무엇이 담겼는지를 예측

두 예측은 확산 모델로 넘어간다. 노이즈로 뒤덮인 픽셀을 조금씩 걷어내며 이미지나 영상을 만드는 AI의 한 종류다. 구조와 내용, 곧 ‘어디에’와 ‘무엇을’이라는 두 단서를 함께 받으니 사람이 본 장면에 더 가까운 그림이 나온다.

첫 학습에 쓰인 것은 기존 데이터다. 고해상도 fMRI 스캐너 안에서 8명이 각자 약 9,000장의 이미지를 본 기록.

인코더를 붙여 스캔 없는 이미지로 학습량을 늘린다

성능을 더 올리려면 데이터가 더 있어야 했다. 실제로 구할 수 있는 양은 거기에 한참 못 미쳤다. 뇌 스캔과 짝지어진 이미지는 사람을 스캐너에 눕혀야만 쌓이기 때문이다.

연구진이 택한 우회로는 인코더와 디코더를 고리처럼 잇는 것이었다.

1. 새 이미지를 하나 고른다. 예를 들어 표범 사진.
2. 인코더가 그 사진을 본 사람의 fMRI 스캔이 어떤 모습일지 예측한다.
3. 디코더가 그 예측 스캔에서 이미지를 다시 복원한다.
4. 이 과정을 되풀이하며 인코더와 디코더를 함께 학습시킨다.

처음 나오는 복원 결과는 표범과 거리가 멀다. 반복할수록 크게 나아진다는 게 이라니의 설명이다.

이 방식의 이점은 스캐너에서 한 번도 보여준 적 없는 이미지까지 학습에 끌어온다는 데 있다. 학습 데이터의 약 70%가 원래 fMRI 스캔과 짝지어지지 않았던 이미지에서 나왔다. 절반을 훌쩍 넘는 비중이니, 이 고리는 보조 장치가 아니라 학습의 주축으로 봐야 맞다.

여러 연구의 데이터를 합치다 보니 부수적인 발견도 나왔다. 사람마다 공통된 기능을 하는 것으로 보이는 뇌 영역이 드러난 것이다. 한 영역은 음식 이미지에, 다른 영역은 스포츠 이미지에 반응했다. 이라니는 이 도구로 뇌에 관한 새로운 사실을 찾으려고 신경과학자들과 협업 중이라고 밝혔다.

보정 데이터 40시간이 1시간으로 줄면 연구비 계산이 달라진다

해독 도구는 새 사람에게 쓰기 전에 그 사람의 스캔으로 맞추는 단계를 거친다. 다른 시도에서는 한 명당 통상 약 40시간 분량의 fMRI 데이터가 있어야 했다.

연구진이 ‘범용 뇌 인코더’라고 부르는 이번 도구는 최소한의 보정만으로 새 사람의 스캔에 적용된다. 디코더에 필요한 데이터는 1시간. 이라니가 직접 밝힌 수치다.

이 차이는 곧 돈이다. UC 샌타바버라의 신경과학자 토미 스프레이그(Tommy Sprague)는 fMRI 촬영에 시간당 600~1,000달러쯤 든다고 했다. 새 피험자 한 명에게 40시간을 촬영할 여유가 있는 연구자는 없다는 말도 덧붙였다. 그는 이런 도구가 연구 속도를 높일 것으로 봤다.

항목	기존 방식	이번 연구
복셀 크기	일반 스캐너 기준 약 3세제곱밀리미터	고해상도 데이터셋, 약 1세제곱밀리미터
새 사람 보정 데이터	통상 약 40시간	1시간
복원 결과	같은 사물은 그리지만 구조·위치가 다름	구조와 내용을 따로 예측해 원본에 더 근접
학습 이미지	스캔과 짝지어진 이미지에 의존	약 70%가 스캔 없이 추가된 이미지

표의 첫 줄은 걸러 읽어야 한다. 고해상도 데이터셋을 쓴 것은 다른 연구팀도 마찬가지다. 차이를 만든 쪽은 데이터가 아니라 설계, 곧 디코더의 두 갈래 구조와 인코더를 이용한 학습 방식이다. MIT 테크놀로지 리뷰가 전한 이라니의 말로는 비교 실험에서 기존 도구들을 상당한 격차로 앞섰다.

한국에서 MRI를 찍는 사람에게 당장 바뀌는 것은 없다

이 도구는 파는 제품도, 앱도 아니다. 연구용 모델이다. 한국 사용자의 일상에서 당장 바뀌는 것은 없고, 오해하기 쉬운 지점 네 가지만 짚어 둔다.

• 몰래 읽는 것은 현재 조건에서 어렵다. 거대한 자석이 든 스캐너 안에 누워 이미지를 봐야 하고, 새 사람이면 1시간 분량의 보정 데이터가 따로 필요하다. 본인이 모르는 사이에 끝나는 절차가 아니라는 것은 이 조건에서 나오는 추론이다.
• 진료용 MRI 영상이 곧바로 입력이 되지는 않는다. 디코더는 이미지를 보는 동안 기록한 뇌 활동 데이터를 전제로 한다. 원문이 직접 다룬 내용은 아니고, 연구 설계에서 끌어낸 추론이다.
• 뇌 영상 연구에 참여한다면 동의서를 확인한다. 이번 연구는 다른 연구자가 공개한 뇌 스캔 데이터에서 시작했다. 내 스캔이 공개 데이터셋에 들어가는지, 다른 연구에 재사용되는지는 참여 전에 물어볼 항목이다.
• 국내 연구 현장의 부담은 줄 가능성이 있다(추측). 피험자 한 명당 촬영 시간이 줄면 같은 예산으로 더 많은 사람을 연구하게 된다. 시간당 600~1,000달러는 미국 연구자가 말한 수치여서 국내 촬영 단가와 같다고 볼 근거는 없다.

확인된 것과 아직 불확실한 것

확인된 것

• 바이츠만 과학연구소 연구진이 fMRI 스캔에서 본 이미지를 복원하는 디코더와, 이미지에서 뇌 활동을 예측하는 인코더를 개발했다.
• 초기 학습 데이터는 8명이 각자 약 9,000장을 본 고해상도 fMRI 기록이다.
• 학습 데이터의 약 70%는 fMRI 스캔과 짝지어지지 않았던 이미지다.
• 새 사람에게 필요한 데이터가 1시간이라는 수치는 이라니가 직접 밝힌 것이다.
• 결과는 뉴욕에서 열린 인지 계산 신경과학(Cognitive Computational Neuroscience) 학회에서 발표됐다.
• 실패 사례가 있다는 점을 연구진이 인정했다.

아직 불확실한 것

• 생각, 상상, 꿈의 내용을 복원하는 기능. 이라니는 “아직 갖고 있지 않다”고 말했다.
• 영상과 소리로의 확장. 계획 단계다.
• 비교 실험에서 어떤 지표로 얼마나 앞섰는지. 이 글이 참고한 자료에는 수치가 없다.
• 독립된 연구팀이 같은 결과를 재현했는지 여부.
• 의식은 있지만 몸이 완전히 마비된 ‘락트인(locked-in)’ 상태 환자의 소통 수단으로 쓰이는 시점. 현재는 연구진의 희망이다.
• 동의 없이 내면을 들여다보는 데 쓰일 위험이 실제로 어느 정도인지.

‘마음 읽기’라는 별명과 실제 성능 사이의 거리

‘마음 읽기’를 두고 “귀엽고 화려한 이름”이라고 부른 사람은 이라니 본인이다. 지금 복원되는 것은 눈으로 본 이미지이지 머릿속 생각이 아니다.

한계가 어디쯤인지는 실패 사례가 구체적으로 보여준다.

• 케이크 사진 → 샌드위치 세 개가 쌓인 그림으로 복원
• 욕조 안의 개 → 비슷한 색의 염소가 욕조에 있는 그림으로 복원

개와 염소 사례가 흥미롭다. 색과 배경은 그대로인데 동물의 종류만 바뀌었다. 구조 예측과 내용 예측을 나눈 설계에서 나올 법한 오류로 보인다. 이 해석은 필자의 추정이다.

연구진이 그리는 쓰임새는 세 가지다. 뇌가 작동하는 방식을 더 밝히는 것, 락트인 상태의 환자가 뇌 활동만으로 소통하게 돕는 것, 그리고 꿈의 내용을 재현하는 것.

외부 평가는 엇갈린다.

• 연구에 참여하지 않은 브리티시컬럼비아대 신경윤리학자 주디 일레스(Judy Illes): 연구를 “훌륭하다”고 평가했다. 신경계 질환이 있는 사람을 치료 목적으로 돕는다는 구상이 매우 기대된다고 말했다.
• 스프레이그: 결과가 인상적이라면서도, 생각하는 내용을 몰래 뽑아낼 방법이 있다면 “150년치 SF가 언제든 현실이 된다”며 여러 면에서 우려스럽다고 했다.

같은 사람이 비용 절감은 반기고 몰래 읽기는 걱정한다. 모순이 아니다. 지금 되는 일과 앞으로 될지 모르는 일을 따로 평가한 것이다. 비슷한 연구 소식을 볼 때도 이 구분에서 출발하면 되고, 따져볼 기준은 세 가지다.

• 무엇을 복원했는가. 본 것인지, 상상한 것인지. 현재는 본 것까지다.
• 어떤 장비와 데이터가 필요한가. fMRI 스캐너와 개인별 보정 데이터가 전제다.
• 누구의 동의로 얻은 데이터인가. 기술이 발전할수록 이 질문의 무게가 커진다.

‘뇌를 읽었다’는 제목을 만나면 이 세 항목을 대입해 보면 된다. 이번 연구라면 답은 본 이미지, fMRI 스캐너와 1시간 분량의 보정 데이터, 자원자를 촬영해 공개한 스캔이다. ‘읽었다’는 표현이 실제로 가리키는 범위가 금방 드러난다.

출처: MIT Tech Review AI