동료 평가 없던 테라노스, 프리프린트 읽는 법

피 몇 방울이면 100가지가 넘는 진단 검사를 할 수 있다. 미국 진단 기업 테라노스는 이 약속 하나로 돈을 끌어모았다. 투자금은 수억 달러에 이르렀고, 2014년에는 기업 가치가 90억 달러로 평가됐다. 포브스는 창업자 엘리자베스 홈즈를 최연소 자수성가 여성 억만장자로 꼽았다. 당시 30세였던 홈즈의 자산은 45억 달러로 평가됐다.

결론부터 말하면 경고 신호는 처음부터 있었다. 그 거창한 약속을 뒷받침할 데이터, 그중에서도 동료 평가를 거쳐 공개된 데이터가 부족했다. 기업 가치 90억 달러와 검증된 데이터 사이의 간극. 테라노스 사건은 결국 거기서 시작해 거기서 무너졌다.

이 글은 사기 사건의 전말보다 사건이 남긴 질문에 무게를 둔다. 과학·바이오 기술 주장을 접했을 때 무엇을 근거로, 얼마나 믿어야 하는가. 동료 평가와 프리프린트, 논문 철회가 각각 무엇인지 짚고, 정보가 어디서 나왔느냐에 따라 검증 수준이 얼마나 달라지는지 차례로 살펴본다.

90억 달러 기업이 사기 사건으로 끝나기까지

테라노스 이야기는 이미 여러 번 다른 형식으로 만들어졌다. 책 ‘배드 블러드(Bad Blood)’가 있고, 훌루 드라마 ‘드롭아웃(The Dropout)’이 있다. 여기에 다큐멘터리 ‘You Can See Everything’이 더해졌는데, 수감 직전 홈즈가 집에서 보낸 생활을 담았다. 연도별로 추리면 흐름은 이렇다.

• 2003년: 19세 홈즈가 스탠퍼드대를 중퇴하고, 직접 세운 진단 기업 테라노스 경영에 나섬
• 2014년: 기업 가치 90억 달러로 평가
• 2015년: 월스트리트저널 조사에서 전 직원들이 검사가 제대로 작동하지 않는다고 문제 제기. 기기가 제대로 테스트되지 않았고, 혈액 샘플을 다른 회사 장비로 분석했다는 증언도 나옴
• 2016년: 홈즈의 자산 평가가 0달러로 떨어짐. 정부 보고서는 회사 연구소가 기본 절차조차 제대로 수행하지 못했고, 결과가 틀릴 수 있다는 것을 알면서도 환자에게 전달했다고 지적
• 2018년: 테라노스, 홈즈, 전 사장 라메시 발와니가 ‘대규모 사기’ 혐의로 기소됨
• 2022년: 홈즈가 투자자를 속인 사기 혐의로 11년 남짓의 징역형을 선고받음
• 2023년 5월: 수감 시작

2003년 창업부터 2015년 월스트리트저널 보도가 나오기까지, 투자자와 언론은 물론 회사 안의 직원들까지 몇 년 동안 설득당했다. 기술이 실제로 작동하는지 바깥에서 확인할 방법이 마땅치 않았던 탓이 커 보인다. 무너지는 속도는 정반대였다. 보도가 나오고 바로 이듬해인 2016년, 홈즈의 자산 평가는 0달러가 됐다.

영업 비밀 뒤에 가려진 데이터, 테라노스가 건너뛴 동료 평가

동료 평가(peer review)는 연구 결과를 학술지에 싣기 전에 같은 분야 전문가에게 먼저 검토를 받는 절차다. 대략 이런 식으로 돌아간다.

• 검토는 대개 익명의 해당 분야 전문가가 맡는다
• 미심쩍은 결론은 지적하고, 불분명한 대목은 설명을 요구한다
• 수정과 보완을 거쳐야 게재되므로 시간이 오래 걸린다

번거롭지만 목적은 분명하다. 출판 과정의 엄밀성을 높이는 것. 동료 평가를 통과한 논문이라면 적어도 다른 전문가의 검토를 한 번은 거쳤다는 뜻이 된다.

테라노스에는 그 한 번이 없었다. 동료 평가를 거쳐 공개된 데이터가 부족했고, 연구의 상당 부분은 영업 비밀로 묶였다. 지나고 나서 돌아보면 경고 신호는 네 가지로 추려진다.

• 데이터 비공개: 핵심 연구가 영업 비밀로 묶여 외부 검증이 어려움
• 검증 부족: 자사 기기를 제대로 테스트하지 않았다는 내부 증언
• 다른 회사 장비 사용: 자사 기술 대신 다른 회사 장비로 샘플을 분석했다는 증언
• 기본 절차 부실: 연구소가 기본 절차도 제대로 수행하지 못했다는 정부 보고서

네 가지를 나란히 놓으면 눈에 띄는 점이 있다. 나머지 세 신호는 내부 증언과 정부 보고서가 나온 뒤에야 바깥에 알려졌다. 첫 번째 신호인 데이터 비공개가 나머지 셋을 가려 준 셈이다.

오해는 없어야 한다. 영업 비밀 자체는 기업이 기술을 지키는 정당한 수단이다. 문제가 되는 건 주장의 크기에 비해 공개된 증거가 적을 때다. ‘피 몇 방울로 100가지 이상 검사’ 정도의 주장이라면, 그만큼 많은 외부 검증이 따라붙어야 한다. 주장이 클수록 요구되는 증거도 커진다.

동료 평가를 통과해도 철회된다, 2023년에만 1만 건

동료 평가를 거쳤다고 마음 놓을 수는 없다. 과학자도 실수를 한다. 때로는 결과를 일부러 비틀기도 한다. 아래 문제들은 동료 평가 단계에서 걸러지기도 하지만, 늘 걸러지는 건 아니다.

• 과장: 결과를 부풀리거나 실제보다 큰 의미를 부여함
• 데이터 조작: 가설에 맞도록 데이터를 손봄
• 재현 실패: 다른 연구실에서 같은 결과가 나오지 않고, 이후 쌓인 증거 앞에서 결론이 무너짐

그래서 학술지에는 출판 뒤에 오류를 바로잡는 장치가 따로 있다. 크게 두 가지다.

• 정정(correction): 논문의 오류 일부를 바로잡는 공지. 결국 정정이 붙는 논문이 적지 않다
• 철회(retraction): 논문 자체를 무효로 돌리는 조치. 2023년 한 해 동안 연구 논문 1만 건이 철회됐다

1만 건이라는 숫자는 불안하게 들린다. 뒤집어 보면 과학계가 스스로 오류를 찾아내 바로잡은 결과이기도 하다. 여기서 독자가 가져갈 것은 ‘논문도 못 믿겠다’는 냉소가 아니다. 인용된 논문이 나중에 정정되거나 철회되지 않았는지 한 번 확인해 보는 습관이다. 방법은 간단하다.

1. 논문이 실린 학술지 페이지로 이동
2. 제목 근처나 본문 위쪽에 Retracted, Retraction, Correction 표시가 있는지 확인
3. 검색창에 논문 제목과 retraction을 함께 입력해 철회 공지가 따로 있는지 검색

재현 여부도 같이 봐야 한다. 한 연구실이 낸 결과 한 건과, 다른 연구실에서 같은 결과를 얻은 후속 연구가 뒤따른 결과는 무게가 다르다. 믿을 만한 쪽은 당연히 후자다.

학술지 밖으로 퍼지는 과학 정보, 출처마다 검증 수준이 다르다

과학 정보가 학술지로만 퍼지는 것은 아니다. 학술지에 투고하기 전에 프리프린트 서버에 연구를 먼저 올리는 과학자가 많다. arXiv, medRxiv, bioRxiv가 대표적이다. 연구를 빠르게 공유할 수 있다는 장점이 있지만, 동료 평가는 거치지 않는다. 기업 보도자료와 SNS, 학회 발표까지 한데 놓고 비교하면 다음과 같다.

정보 출처	동료 평가	읽을 때 확인할 점
학술지 게재 논문	거침	정정·철회 이력, 다른 연구실에서 재현됐는지
프리프린트(arXiv, medRxiv, bioRxiv)	거치지 않음	나중에 학술지에 실렸는지, 다른 전문가의 반응
기업 보도자료	거치지 않음	근거 데이터 공개 여부, 발표 주체의 이해관계
SNS 게시물	거치지 않음	원 출처(논문·데이터) 링크가 있는지
학회 발표	상당수 거치지 않음	나중에 논문으로 발표됐는지
인터뷰·대화	해당 없음	발언을 뒷받침할 자료가 있는지
영업 비밀로 분류된 기업 연구	외부 검증 어려움	주장의 크기에 걸맞은 증거가 공개됐는지

표에서 ‘거침’이라고 적힌 칸은 학술지 게재 논문 한 줄뿐이다. 나머지 여섯 줄은 동료 평가를 거치지 않았거나, 애초에 해당 사항이 없거나, 외부에서 검증하기 어려운 정보다. 테라노스의 연구는 맨 아래 줄에 들어간다.

그렇다고 프리프린트가 나쁜 정보라는 뜻은 아니다. ‘아직 검증 전’이라는 꼬리표를 붙이고 읽으면 된다. 프리프린트인지 가려내는 순서는 이렇다.

1. 기사나 SNS에 걸린 링크를 눌러 주소가 arxiv.org, medrxiv.org, biorxiv.org인지 확인
2. medRxiv·bioRxiv 논문 페이지 위쪽에서 ‘동료 평가를 거치지 않은 프리프린트’라는 취지의 안내 문구 확인
3. 같은 페이지에 Now published in(학술지명) 링크가 있는지 확인. 있으면 이후 학술지에 실린 논문이다 (표시 위치는 확실하지 않음)
4. arXiv는 초록 페이지의 Journal reference 항목 확인. 저자가 직접 입력하는 항목이므로, 비어 있다고 해서 학술지에 실리지 않았다고 단정할 수는 없다

4번처럼 저자 입력에 기대는 항목은 다루기가 까다롭다. 적혀 있으면 참고하고, 비어 있으면 판단을 미루는 정도가 적당하다. 학술지 쪽에서 해당 논문을 직접 찾아보는 편이 확실하다.

‘연구진이 밝혔다’로 끝나는 번역 기사, 출처 유형부터 가려 읽기

테라노스는 미국에서 벌어진 일이다. 하지만 한국 사용자가 과학·의료 정보를 접하는 경로에도 같은 빈틈이 있다. 미리 밝혀 두면, 아래 내용은 원문에서 확인된 사실이 아니라 앞의 개념을 국내 상황에 적용해 본 판단이다.

• 번역 기사에서는 출처 유형이 흐려진다: 해외 연구를 소개하는 기사가 ‘연구진이 밝혔다’고만 쓰면, 그 결과가 학술지 논문인지 프리프린트인지 보도자료인지 독자로서는 구분하기 어렵다. 기사에 걸린 원문 링크나 논문 제목을 찾아 앞의 표에 대입해 보자.
• 바이오 기업의 성과 발표는 보도자료일 수 있다: 기업이 직접 낸 발표는 동료 평가를 거치지 않은 정보다. 투자 판단에 쓸 생각이라면 학술지 논문이나 공개 데이터가 함께 제시됐는지부터 확인하는 편이 안전하다. 테라노스 투자자들이 놓친 지점도 결국 이것이었다.
• 진단 기기·검사 키트는 허가 여부가 먼저다: 국내에서 질병 진단 목적으로 판매되는 의료기기는 식품의약품안전처의 허가·인증·신고 대상이다. 광고 문구에 끌리기 전에 이 절차를 거쳤는지부터 본다.

의료기기 허가 정보는 다음 순서로 조회할 수 있다.

1. 식품의약품안전처 의료기기 전자민원창구 누리집 접속
2. 정보 검색 → 제품 정보 조회 메뉴로 이동 (메뉴명 불확실)
3. 제품명이나 업체명을 입력한 뒤 허가·인증 번호와 사용 목적 확인

확인된 것과 아직 불확실한 것

확인된 것

• 홈즈는 투자자를 속인 사기 혐의로 11년 남짓의 징역형을 선고받았고, 2023년 5월 수감됐다
• 2016년 정부 보고서는 테라노스 연구소의 기본 절차 문제와, 틀릴 수 있는 결과를 환자에게 전달한 사실을 지적했다
• 테라노스는 연구의 상당 부분을 영업 비밀로 분류했고, 동료 평가를 거쳐 공개된 데이터가 부족했다
• 2023년 한 해 동안 철회된 연구 논문은 1만 건이다
• 프리프린트 서버, 기업 보도자료, SNS 게시물, 상당수 학회 발표는 동료 평가를 거치지 않는다

아직 불확실한 것

• 다큐멘터리가 책·드라마·기존 보도에 없던 새 사실을 담았는지: 리뷰를 쓴 기자가 스포일러를 피하려고 구체적으로 밝히지 않았다
• 다큐멘터리에서 홈즈가 자신을 ‘독특한 사고방식을 지닌 정직한 사람’으로 그리려는 시도가 관객에게 받아들여질지
• 철회된 논문 1만 건 가운데 부정행위와 단순 오류가 각각 얼마인지: 원문에는 전체 건수만 나온다
• 프리프린트 가운데 나중에 학술지에 실리는 비율: 원문에 근거 자료가 없다

기자들도 홈즈에게 설득됐다, 증거를 가려내는 다섯 가지 질문

테라노스를 가까이서 지켜본 사람들도 예외가 아니었다. 취재한 기자들조차 나중에 자기 판단을 뒤집었다.

• 포춘의 로저 팔로프는 홈즈와 회사를 소개한 지 1년 뒤인 2015년, “내가 망쳤다(I blew it)”고 돌아봤다
• 2015년 홈즈를 인터뷰한 STAT의 매슈 허퍼는 “그녀가 내게 거짓말을 했다고 꽤 확신한다”고 썼다
• 제품이 작동하지 않는다는 것을 알고 있던 내부고발자 타일러 슐츠도 2022년, 홈즈와 5분만 이야기하면 자기 일이 세상을 바꾸고 있다고 느끼며 자리를 떴을 것이라고 말했다

MIT 테크놀로지 리뷰의 바이오 담당 기자도 비슷한 고백을 내놨다. 다큐멘터리를 보다가 극장 좌석에서 홈즈에게 설득되는 순간이 있었다는 것이다. 이 기자가 던지는 질문은 하나다. 과학자가 무언가를 해냈다고 말할 때, 그게 사실인지 어떻게 확신할 수 있느냐. 이 기자가 내놓은 답은 절차다. 새 과학 성과를 기사로 쓰기 전에 신뢰하는 과학자들에게 의견을 구하는 ‘자체 동료 평가’를 거친다.

일반 독자에게도 그대로 통하는 방법이다. 작동하지 않는다는 걸 알던 내부고발자조차 5분 대화면 마음이 기울었을 거라고 말할 정도라면, 개인의 직감에 기댈 일은 아니다. 정해진 확인 절차가 더 믿을 만하다.

1. 데이터가 공개돼 있나: ‘영업 비밀’을 이유로 핵심 데이터를 보여주지 않으면 경고 신호다
2. 어디서 나온 주장인가: 학술지 논문인지, 프리프린트·보도자료·SNS인지 앞의 표에 따라 분류한다
3. 다른 연구실에서 재현됐나: 단일 연구의 결과는 잠정적인 것으로 본다
4. 정정·철회 이력은 없나: 학술지 페이지와 검색으로 확인한다
5. 당사자가 아닌 전문가는 뭐라고 하나: 연구를 한 사람이 아닌 같은 분야 전문가의 평가를 찾아본다

대부분의 과학자는 정직할 것이다. 홈즈는 분명 극단적인 예외다. 다만 이야기가 매력적일수록 증거는 따로 떼어 놓고 확인해야 한다. 설득력 있는 이야기와 증거는 별개의 문제다.

출처: MIT Tech Review AI