[태그:] 과학

  • 동료 평가 없던 테라노스, 프리프린트 읽는 법

    동료 평가 없던 테라노스, 프리프린트 읽는 법

    3줄 요약

    • 테라노스에서 가장 먼저 드러난 경고 신호는 동료 평가를 거쳐 공개된 데이터가 부족했다는 점이다. 연구의 상당 부분이 ‘영업 비밀’로 분류돼 외부에서 검증하기 어려웠다.
    • 동료 평가도 만능은 아니다. 2023년 한 해 동안 철회된 연구 논문만 1만 건이다.
    • 프리프린트, 기업 보도자료, SNS, 상당수 학회 발표는 동료 평가를 거치지 않는다. 주장을 믿기 전에 어디서 나온 정보인지부터 확인해야 한다.

    피 몇 방울이면 100가지가 넘는 진단 검사를 할 수 있다. 미국 진단 기업 테라노스는 이 약속 하나로 돈을 끌어모았다. 투자금은 수억 달러에 이르렀고, 2014년에는 기업 가치가 90억 달러로 평가됐다. 포브스는 창업자 엘리자베스 홈즈를 최연소 자수성가 여성 억만장자로 꼽았다. 당시 30세였던 홈즈의 자산은 45억 달러로 평가됐다.

    결론부터 말하면 경고 신호는 처음부터 있었다. 그 거창한 약속을 뒷받침할 데이터, 그중에서도 동료 평가를 거쳐 공개된 데이터가 부족했다. 기업 가치 90억 달러와 검증된 데이터 사이의 간극. 테라노스 사건은 결국 거기서 시작해 거기서 무너졌다.

    이 글은 사기 사건의 전말보다 사건이 남긴 질문에 무게를 둔다. 과학·바이오 기술 주장을 접했을 때 무엇을 근거로, 얼마나 믿어야 하는가. 동료 평가와 프리프린트, 논문 철회가 각각 무엇인지 짚고, 정보가 어디서 나왔느냐에 따라 검증 수준이 얼마나 달라지는지 차례로 살펴본다.

    90억 달러 기업이 사기 사건으로 끝나기까지

    테라노스 이야기는 이미 여러 번 다른 형식으로 만들어졌다. 책 ‘배드 블러드(Bad Blood)’가 있고, 훌루 드라마 ‘드롭아웃(The Dropout)’이 있다. 여기에 다큐멘터리 ‘You Can See Everything’이 더해졌는데, 수감 직전 홈즈가 집에서 보낸 생활을 담았다. 연도별로 추리면 흐름은 이렇다.

    • 2003년: 19세 홈즈가 스탠퍼드대를 중퇴하고, 직접 세운 진단 기업 테라노스 경영에 나섬
    • 2014년: 기업 가치 90억 달러로 평가
    • 2015년: 월스트리트저널 조사에서 전 직원들이 검사가 제대로 작동하지 않는다고 문제 제기. 기기가 제대로 테스트되지 않았고, 혈액 샘플을 다른 회사 장비로 분석했다는 증언도 나옴
    • 2016년: 홈즈의 자산 평가가 0달러로 떨어짐. 정부 보고서는 회사 연구소가 기본 절차조차 제대로 수행하지 못했고, 결과가 틀릴 수 있다는 것을 알면서도 환자에게 전달했다고 지적
    • 2018년: 테라노스, 홈즈, 전 사장 라메시 발와니가 ‘대규모 사기’ 혐의로 기소됨
    • 2022년: 홈즈가 투자자를 속인 사기 혐의로 11년 남짓의 징역형을 선고받음
    • 2023년 5월: 수감 시작

    2003년 창업부터 2015년 월스트리트저널 보도가 나오기까지, 투자자와 언론은 물론 회사 안의 직원들까지 몇 년 동안 설득당했다. 기술이 실제로 작동하는지 바깥에서 확인할 방법이 마땅치 않았던 탓이 커 보인다. 무너지는 속도는 정반대였다. 보도가 나오고 바로 이듬해인 2016년, 홈즈의 자산 평가는 0달러가 됐다.

    영업 비밀 뒤에 가려진 데이터, 테라노스가 건너뛴 동료 평가

    동료 평가(peer review)는 연구 결과를 학술지에 싣기 전에 같은 분야 전문가에게 먼저 검토를 받는 절차다. 대략 이런 식으로 돌아간다.

    • 검토는 대개 익명의 해당 분야 전문가가 맡는다
    • 미심쩍은 결론은 지적하고, 불분명한 대목은 설명을 요구한다
    • 수정과 보완을 거쳐야 게재되므로 시간이 오래 걸린다

    번거롭지만 목적은 분명하다. 출판 과정의 엄밀성을 높이는 것. 동료 평가를 통과한 논문이라면 적어도 다른 전문가의 검토를 한 번은 거쳤다는 뜻이 된다.

    테라노스에는 그 한 번이 없었다. 동료 평가를 거쳐 공개된 데이터가 부족했고, 연구의 상당 부분은 영업 비밀로 묶였다. 지나고 나서 돌아보면 경고 신호는 네 가지로 추려진다.

    • 데이터 비공개: 핵심 연구가 영업 비밀로 묶여 외부 검증이 어려움
    • 검증 부족: 자사 기기를 제대로 테스트하지 않았다는 내부 증언
    • 다른 회사 장비 사용: 자사 기술 대신 다른 회사 장비로 샘플을 분석했다는 증언
    • 기본 절차 부실: 연구소가 기본 절차도 제대로 수행하지 못했다는 정부 보고서

    네 가지를 나란히 놓으면 눈에 띄는 점이 있다. 나머지 세 신호는 내부 증언과 정부 보고서가 나온 뒤에야 바깥에 알려졌다. 첫 번째 신호인 데이터 비공개가 나머지 셋을 가려 준 셈이다.

    오해는 없어야 한다. 영업 비밀 자체는 기업이 기술을 지키는 정당한 수단이다. 문제가 되는 건 주장의 크기에 비해 공개된 증거가 적을 때다. ‘피 몇 방울로 100가지 이상 검사’ 정도의 주장이라면, 그만큼 많은 외부 검증이 따라붙어야 한다. 주장이 클수록 요구되는 증거도 커진다.

    동료 평가를 통과해도 철회된다, 2023년에만 1만 건

    동료 평가를 거쳤다고 마음 놓을 수는 없다. 과학자도 실수를 한다. 때로는 결과를 일부러 비틀기도 한다. 아래 문제들은 동료 평가 단계에서 걸러지기도 하지만, 늘 걸러지는 건 아니다.

    • 과장: 결과를 부풀리거나 실제보다 큰 의미를 부여함
    • 데이터 조작: 가설에 맞도록 데이터를 손봄
    • 재현 실패: 다른 연구실에서 같은 결과가 나오지 않고, 이후 쌓인 증거 앞에서 결론이 무너짐

    그래서 학술지에는 출판 뒤에 오류를 바로잡는 장치가 따로 있다. 크게 두 가지다.

    • 정정(correction): 논문의 오류 일부를 바로잡는 공지. 결국 정정이 붙는 논문이 적지 않다
    • 철회(retraction): 논문 자체를 무효로 돌리는 조치. 2023년 한 해 동안 연구 논문 1만 건이 철회됐다

    1만 건이라는 숫자는 불안하게 들린다. 뒤집어 보면 과학계가 스스로 오류를 찾아내 바로잡은 결과이기도 하다. 여기서 독자가 가져갈 것은 ‘논문도 못 믿겠다’는 냉소가 아니다. 인용된 논문이 나중에 정정되거나 철회되지 않았는지 한 번 확인해 보는 습관이다. 방법은 간단하다.

    1. 논문이 실린 학술지 페이지로 이동
    2. 제목 근처나 본문 위쪽에 Retracted, Retraction, Correction 표시가 있는지 확인
    3. 검색창에 논문 제목과 retraction을 함께 입력해 철회 공지가 따로 있는지 검색

    재현 여부도 같이 봐야 한다. 한 연구실이 낸 결과 한 건과, 다른 연구실에서 같은 결과를 얻은 후속 연구가 뒤따른 결과는 무게가 다르다. 믿을 만한 쪽은 당연히 후자다.

    학술지 밖으로 퍼지는 과학 정보, 출처마다 검증 수준이 다르다

    과학 정보가 학술지로만 퍼지는 것은 아니다. 학술지에 투고하기 전에 프리프린트 서버에 연구를 먼저 올리는 과학자가 많다. arXiv, medRxiv, bioRxiv가 대표적이다. 연구를 빠르게 공유할 수 있다는 장점이 있지만, 동료 평가는 거치지 않는다. 기업 보도자료와 SNS, 학회 발표까지 한데 놓고 비교하면 다음과 같다.

    정보 출처 동료 평가 읽을 때 확인할 점
    학술지 게재 논문 거침 정정·철회 이력, 다른 연구실에서 재현됐는지
    프리프린트(arXiv, medRxiv, bioRxiv) 거치지 않음 나중에 학술지에 실렸는지, 다른 전문가의 반응
    기업 보도자료 거치지 않음 근거 데이터 공개 여부, 발표 주체의 이해관계
    SNS 게시물 거치지 않음 원 출처(논문·데이터) 링크가 있는지
    학회 발표 상당수 거치지 않음 나중에 논문으로 발표됐는지
    인터뷰·대화 해당 없음 발언을 뒷받침할 자료가 있는지
    영업 비밀로 분류된 기업 연구 외부 검증 어려움 주장의 크기에 걸맞은 증거가 공개됐는지

    표에서 ‘거침’이라고 적힌 칸은 학술지 게재 논문 한 줄뿐이다. 나머지 여섯 줄은 동료 평가를 거치지 않았거나, 애초에 해당 사항이 없거나, 외부에서 검증하기 어려운 정보다. 테라노스의 연구는 맨 아래 줄에 들어간다.

    그렇다고 프리프린트가 나쁜 정보라는 뜻은 아니다. ‘아직 검증 전’이라는 꼬리표를 붙이고 읽으면 된다. 프리프린트인지 가려내는 순서는 이렇다.

    1. 기사나 SNS에 걸린 링크를 눌러 주소가 arxiv.org, medrxiv.org, biorxiv.org인지 확인
    2. medRxiv·bioRxiv 논문 페이지 위쪽에서 ‘동료 평가를 거치지 않은 프리프린트’라는 취지의 안내 문구 확인
    3. 같은 페이지에 Now published in(학술지명) 링크가 있는지 확인. 있으면 이후 학술지에 실린 논문이다 (표시 위치는 확실하지 않음)
    4. arXiv는 초록 페이지의 Journal reference 항목 확인. 저자가 직접 입력하는 항목이므로, 비어 있다고 해서 학술지에 실리지 않았다고 단정할 수는 없다

    4번처럼 저자 입력에 기대는 항목은 다루기가 까다롭다. 적혀 있으면 참고하고, 비어 있으면 판단을 미루는 정도가 적당하다. 학술지 쪽에서 해당 논문을 직접 찾아보는 편이 확실하다.

    ‘연구진이 밝혔다’로 끝나는 번역 기사, 출처 유형부터 가려 읽기

    테라노스는 미국에서 벌어진 일이다. 하지만 한국 사용자가 과학·의료 정보를 접하는 경로에도 같은 빈틈이 있다. 미리 밝혀 두면, 아래 내용은 원문에서 확인된 사실이 아니라 앞의 개념을 국내 상황에 적용해 본 판단이다.

    • 번역 기사에서는 출처 유형이 흐려진다: 해외 연구를 소개하는 기사가 ‘연구진이 밝혔다’고만 쓰면, 그 결과가 학술지 논문인지 프리프린트인지 보도자료인지 독자로서는 구분하기 어렵다. 기사에 걸린 원문 링크나 논문 제목을 찾아 앞의 표에 대입해 보자.
    • 바이오 기업의 성과 발표는 보도자료일 수 있다: 기업이 직접 낸 발표는 동료 평가를 거치지 않은 정보다. 투자 판단에 쓸 생각이라면 학술지 논문이나 공개 데이터가 함께 제시됐는지부터 확인하는 편이 안전하다. 테라노스 투자자들이 놓친 지점도 결국 이것이었다.
    • 진단 기기·검사 키트는 허가 여부가 먼저다: 국내에서 질병 진단 목적으로 판매되는 의료기기는 식품의약품안전처의 허가·인증·신고 대상이다. 광고 문구에 끌리기 전에 이 절차를 거쳤는지부터 본다.

    의료기기 허가 정보는 다음 순서로 조회할 수 있다.

    1. 식품의약품안전처 의료기기 전자민원창구 누리집 접속
    2. 정보 검색 → 제품 정보 조회 메뉴로 이동 (메뉴명 불확실)
    3. 제품명이나 업체명을 입력한 뒤 허가·인증 번호와 사용 목적 확인

    확인된 것과 아직 불확실한 것

    확인된 것

    • 홈즈는 투자자를 속인 사기 혐의로 11년 남짓의 징역형을 선고받았고, 2023년 5월 수감됐다
    • 2016년 정부 보고서는 테라노스 연구소의 기본 절차 문제와, 틀릴 수 있는 결과를 환자에게 전달한 사실을 지적했다
    • 테라노스는 연구의 상당 부분을 영업 비밀로 분류했고, 동료 평가를 거쳐 공개된 데이터가 부족했다
    • 2023년 한 해 동안 철회된 연구 논문은 1만 건이다
    • 프리프린트 서버, 기업 보도자료, SNS 게시물, 상당수 학회 발표는 동료 평가를 거치지 않는다

    아직 불확실한 것

    • 다큐멘터리가 책·드라마·기존 보도에 없던 새 사실을 담았는지: 리뷰를 쓴 기자가 스포일러를 피하려고 구체적으로 밝히지 않았다
    • 다큐멘터리에서 홈즈가 자신을 ‘독특한 사고방식을 지닌 정직한 사람’으로 그리려는 시도가 관객에게 받아들여질지
    • 철회된 논문 1만 건 가운데 부정행위와 단순 오류가 각각 얼마인지: 원문에는 전체 건수만 나온다
    • 프리프린트 가운데 나중에 학술지에 실리는 비율: 원문에 근거 자료가 없다

    기자들도 홈즈에게 설득됐다, 증거를 가려내는 다섯 가지 질문

    테라노스를 가까이서 지켜본 사람들도 예외가 아니었다. 취재한 기자들조차 나중에 자기 판단을 뒤집었다.

    • 포춘의 로저 팔로프는 홈즈와 회사를 소개한 지 1년 뒤인 2015년, “내가 망쳤다(I blew it)”고 돌아봤다
    • 2015년 홈즈를 인터뷰한 STAT의 매슈 허퍼는 “그녀가 내게 거짓말을 했다고 꽤 확신한다”고 썼다
    • 제품이 작동하지 않는다는 것을 알고 있던 내부고발자 타일러 슐츠도 2022년, 홈즈와 5분만 이야기하면 자기 일이 세상을 바꾸고 있다고 느끼며 자리를 떴을 것이라고 말했다

    MIT 테크놀로지 리뷰의 바이오 담당 기자도 비슷한 고백을 내놨다. 다큐멘터리를 보다가 극장 좌석에서 홈즈에게 설득되는 순간이 있었다는 것이다. 이 기자가 던지는 질문은 하나다. 과학자가 무언가를 해냈다고 말할 때, 그게 사실인지 어떻게 확신할 수 있느냐. 이 기자가 내놓은 답은 절차다. 새 과학 성과를 기사로 쓰기 전에 신뢰하는 과학자들에게 의견을 구하는 ‘자체 동료 평가’를 거친다.

    일반 독자에게도 그대로 통하는 방법이다. 작동하지 않는다는 걸 알던 내부고발자조차 5분 대화면 마음이 기울었을 거라고 말할 정도라면, 개인의 직감에 기댈 일은 아니다. 정해진 확인 절차가 더 믿을 만하다.

    1. 데이터가 공개돼 있나: ‘영업 비밀’을 이유로 핵심 데이터를 보여주지 않으면 경고 신호다
    2. 어디서 나온 주장인가: 학술지 논문인지, 프리프린트·보도자료·SNS인지 앞의 표에 따라 분류한다
    3. 다른 연구실에서 재현됐나: 단일 연구의 결과는 잠정적인 것으로 본다
    4. 정정·철회 이력은 없나: 학술지 페이지와 검색으로 확인한다
    5. 당사자가 아닌 전문가는 뭐라고 하나: 연구를 한 사람이 아닌 같은 분야 전문가의 평가를 찾아본다

    대부분의 과학자는 정직할 것이다. 홈즈는 분명 극단적인 예외다. 다만 이야기가 매력적일수록 증거는 따로 떼어 놓고 확인해야 한다. 설득력 있는 이야기와 증거는 별개의 문제다.

    출처: MIT Tech Review AI

  • 암흑물질, 60년째 못 잡고 있는 우주의 27%

    암흑물질, 60년째 못 잡고 있는 우주의 27%

    우주 질량의 27%는 아직도 정체불명이다. 이름만 붙어 있다 — 암흑물질(Dark Matter). 빛을 내지 않고, 반사도 안 하고, 전자기파 어디에도 안 걸린다. 존재한다는 간접 증거는 수십 년째 쌓이는 중인데, 직접 잡아낸 사람은 60년이 지나도록 단 한 명도 없다.

    중력은 있는데 아무것도 안 보인다

    SF 설정처럼 들릴 수 있다. 그런데 이건 정밀 관측과 계산에서 나온 개념이다.

    우주에는 별, 행성, 가스 같은 눈에 보이는 물질이 있다. 이걸 바리온 물질이라 부른다. 문제는 이 보이는 물질만으로는 은하 회전 속도나 은하단 구조를 전혀 설명하지 못한다는 것이다. 단순 계산상, 관측된 질량만 있다면 은하 바깥쪽 별들이 그 속도로 돌 수가 없다. 뭔가 더 있어야 한다. 그게 암흑물질이다.

    정의는 단순하다. 중력은 발생시키지만 빛과 상호작용하지 않는 물질. 전자기력에 반응하지 않으니 보이지 않고, 약한 핵력에도 거의 반응하지 않으니 잡히지 않는다. 남은 건 중력뿐이다.

    증거는 넘치는데, 본 적은 없다

    역설이다. 없다고 주장하기엔 증거가 너무 많고, 있다고 확신하기엔 직접 검출이 없다.

    • 은하 회전 곡선: 1970년대 천문학자 베라 루빈이 발견했다. 은하 바깥쪽 별들이 이론 예측보다 훨씬 빠르게 돈다. 보이는 질량만으론 설명이 안 된다.
    • 중력 렌즈 효과: 빛은 거대한 질량 근처에서 휜다. 보이지 않는 천체가 만드는 렌즈 패턴이 반복적으로 관측됐다. 눈에 보이지 않는 뭔가가 빛을 구부리고 있다는 뜻이다.
    • 총알 은하단 충돌: 두 은하단이 충돌한 뒤, 가스는 한곳에 뭉쳤는데 중력 중심이 전혀 다른 곳에 있었다. 보이지 않는 물질이 충돌 과정에서 그대로 통과했다는 강력한 근거다.
    • 우주 배경 복사(CMB): 빅뱅 직후 온도 요동 패턴이 암흑물질의 존재를 가정할 때에만 정확히 맞아떨어진다. 맞아떨어지는 정밀도가 우연이라고 보기엔 너무 깔끔하다.

    증거는 있다. 직접 잡기만 하면 된다. 그게 60년째 안 된다.

    WIMP, 60년 1등 후보의 추락

    물리학계가 가장 오래, 가장 진지하게 믿어온 후보는 WIMP(약하게 상호작용하는 거대 입자, Weakly Interacting Massive Particles)다.

    각광받은 이유가 있었다. 초대칭 이론(SUSY)에서 자연스럽게 예측되는 입자였고, 질량 범위도 실험적으로 탐지하기 적당했다. LHC(대형 강입자 충돌기)에서 찾으면 되겠다는 기대도 컸다.

    결과는 참담했다. LHC는 10년 넘게 WIMP를 찾지 못했다. 지하 1km 아래 설치된 액체 제논 검출기들 — LUX, XENON1T, PandaX-4T — 도 마찬가지였다. 실험 민감도는 매년 높아지는데 신호는 없었다. 솔직히 완전히 틀린 건 아닐 수 있다. 그러나 가장 단순한 형태의 WIMP는 이제 살아남기 어렵다는 게 중론이다.

    WIMP 이후, 새로 올라온 후보들

    탐색 전선이 확 넓어졌다. 물리학계가 진지하게 다루는 후보만 추려도 네 가지다.

    • 액시온(Axion): 원래 강한 핵력의 CP 위반 문제를 해결하려고 제안된 입자다. 질량이 극히 작고, 특정 조건에서 광자로 변환될 수 있다. 미국 ADMX 실험이 마이크로파 공진기로 탐색 중이다.
    • 스테릴 중성미자(Sterile Neutrino): 일반 중성미자보다 훨씬 무거운 변종으로, 중력으로만 상호작용한다. X선 천문 관측에서 힌트가 나왔다는 주장이 있었지만 아직 확정되지 않았다.
    • 초경량 암흑물질(Fuzzy Dark Matter): 질량이 너무 작아 파동처럼 행동하는 암흑물질이다. 소규모 은하 구조 문제에 답을 줄 가능성 때문에 최근 관련 논문이 빠르게 늘고 있다.
    • 원시 블랙홀(Primordial Black Holes): 빅뱅 초기에 생성된 소형 블랙홀이 암흑물질일 수 있다는 이론이다. LIGO의 중력파 검출 이후 논의가 다시 살아났다.

    지금 지하 1,500m에서 뭘 하고 있나

    전 세계 물리학자들이 손 놓고 있는 게 아니다. 전략이 다각화되면서 실험 설계도 훨씬 창의적으로 바뀌었다.

    • LZ(LUX-ZEPLIN): 미국 사우스다코타 지하 1,500m에 위치한 액체 제논 검출기. 현재 세계 최대 규모의 직접 탐지 실험으로, WIMP 외에도 더 넓은 질량 범위를 커버한다.
    • ADMX: 워싱턴대에서 운영하는 액시온 전용 실험. 강력한 자기장 속에서 액시온이 광자로 변환되는 신호를 잡아낸다.
    • SENSEI와 CDEX: 초경량 암흑물질 탐색용으로 설계된 실험들이다. WIMP보다 훨씬 가벼운 입자까지 탐색 범위를 내렸다.
    • CMB-S4: 차세대 우주 배경 복사 관측 프로젝트. 암흑물질의 우주론적 특성을 더 정밀하게 제한할 것으로 기대된다.

    핵심 변화는 탐색 방향이 “WIMP 하나”에서 “질량 범위 전방위 커버”로 전환됐다는 점이다. 좁은 창문을 들여다보던 방식에서, 창문 전체를 뜯어내는 전략으로 바뀌었다. 이건 후퇴가 아니라 전략 진화다.

    발견되면 뭐가 달라지나

    암흑물질 검출이 단순히 물리학자들의 숙제 해결로 끝나지 않는다.

    우선 표준 모형(Standard Model)이 근본적으로 수정되거나 확장된다. 현대 물리학의 기반 자체가 흔들린다는 얘기다. 암흑물질의 정체에 따라선 에너지·검출 기술에도 새 응용이 열린다. 액시온이 발견된다면, 강한 자기장과 마이크로파를 활용한 에너지 변환 연구가 본격화될 여지가 생긴다. 은하 형성 과정부터 우주의 미래 예측까지, 우주론 전반도 수정된다.

    이걸 20세기 양자역학 발견에 비견하는 물리학자들이 적지 않은데, 그게 과장이 아니라고 본다. 양자역학이 트랜지스터, 레이저, MRI를 낳았듯이, 암흑물질의 정체를 알게 된다면 지금으론 상상하기 어려운 기술들이 뒤따를 가능성이 높다.

    답에 가까워지고 있다는 건 맞다

    수십 년간 가장 유력하던 이론이 실험에서 계속 빗나간다는 건 불편한 사실이다. 그런데 물리학계의 반응은 포기가 아닌 전략 전환이었다. WIMP 탐색 실패 이후 오히려 탐색 범위가 넓어지고, 실험 기법이 정교해졌다.

    우주의 27%가 뭔지 모른다는 건, 우리가 아는 우주가 전체의 5%도 안 된다는 의미이기도 하다. 앞으로 10년이 암흑물질 연구의 분수령이 될 것이라는 전망이 많다. LZ와 CMB-S4, 차세대 액시온 탐색 실험들이 본격 가동되면 “아직 못 찾았다”에서 “이 영역엔 없다”로 범위가 빠르게 좁혀질 것이다. 범위가 좁혀진다는 건 답에 가까워진다는 뜻이다.

    출처: MIT Tech Review AI