과학자를 어떻게 평가할 것인가

앞선 두 편의 칼럼에서 나는 우리나라 과학 생태계가 당한 두 가지 폭력을 기록했다. 하나는 바깥에서 가해진 것-거대 상업 출판사들이 수십 년간 연구자들의 지식을 착취해 온 학술 카르텔이고(주-거대 학술카르텔을 향한 중국의 선전포고), 다른 하나는 안에서 가해진 것- 무능하고 무지한 행정 권력이 기초과학의 심장에 칼을 꽂은 R&D 예산 잔혹사였다.(주-‘암세포’ 도려낸 중국, ‘심장’ 멎게 한 한국 )

이 두 문제는 동떨어져 있는 것처럼 보이지만, 하나의 근본적인 원인 때문에 생긴 적폐로 보는 것이 맞다. 그건 바로 과학자를 평가하는 방식, 즉 ‘임팩트 팩터(Impact Factor, IF, 피인용 지수)’라는 건조하고 비합리적인 숫자로 과학자를 줄세우는 구조 때문이다.

거대 상업 출판사들은 바로 이 임팩트 팩터를 위해 과학출판을 일종의 비즈니스로 왜곡하고 과학생태계를 교란해왔다. 무능하고 무지한 행정 권력은 거대 상업 출판사들이 창조한 임팩트 팩터를 무비판적으로 수용해, 과학생태계에 독을 풀었다.

이 모든 비극의 기저에는 결국 과학자를 어떻게 평가할 것인가의 문제가 놓여 있는 셈이다.

‘임팩트 팩터’라는 신앙

얼마전 중국이 네이처 커뮤니케이션스를 비롯해서 약 40여개의 학술지 등이 부과하는 5천불 넘는 출판료를 지원하지 않겠다고 선언했다. 훌륭한 조치다. 하지만 중국 대학들이 교수를 임용하고 승진을 결정할 때 여전히 ‘최상위 학술지 게재 여부’를 결정적 기준으로 삼는다면, 그 선전포고는 반쪽짜리가 된다.

출판사에 돈을 내지 않는다는 것과, 그 출판사가 발행하는 저널에 실리는 것이 여전히 과학자의 생존을 결정한다는 것은 전혀 다른 문제이기 때문이다. 출판 비용은 끊었지만 평가 기준은 끊지 못했다- 이것이 바로 카르텔이 살아남는 방식이다.

임팩트 팩터(IF)는 1955년 유진 가필드(Eugene Garfield)가 사서들이 어떤 학술지 구독을 우선순위에 둘지 결정하기 위한 참고 지표로 고안한 수치였다. 도서관의 행정 편의 도구로 탄생한 숫자가, 어느덧 과학자의 취업, 승진, 연구비 수주를 좌우하는 ‘신 앞의 성적표’가 되었다.

어떻게 이런 일이 가능했을까. 측정이 평가를 대체하는 것이 훨씬 편하기 때문이다. “이 논문이 중요한가?”를 판단하려면 읽어야 한다. 그 분야를 알아야 한다. 전문성과 시간이 필요하다. 하지만 “이 논문이 IF 몇인 저널에 실렸는가?”는 초등학생도 비교할 수 있다. 관료는 전문가가 되는 수고를 면제받기 위해 숫자를 사랑한다.

세글렌의 30년 묵은 경고

그 숫자가 통계적 허구임은 이미 30년 전에 증명되었다. 1997년, 노르웨이의 연구자 페르 세글렌(Per O. Seglen)은 학술지의 IF-즉 특정 저널에 실린 논문들의 평균 인용 횟수-가 개별 논문의 가치를 평가하는 지표로 쓰여선 안 된다는 것을 통계적으로 입증했다. 이유는 간단하다. 인용 횟수는 정규 분포가 아니라 극단적으로 편향된 분포를 보이기 때문이다.(주-Seglen, P. O. (1997). Why the impact factor of journals should not be used for evaluating research. Bmj, 314(7079), 497.)

학술지 전체 인용의 절반 이상은 상위 15% 정도의 소수 논문에 집중된다. 나머지 85%는 평균에 한참 못 미치거나 아예 인용되지 않는다. 임팩트 팩터는 이 소수 히트작들이 부풀린 평균값이다. 유명 저널에 논문을 냈다고 해서 그 논문이 유명 저널의 평균만큼 인용된다는 보장은 없다. ‘후광 효과’는 착각이다.

세글렌이 이 사실을 발표한 건 《영국 의학저널(BMJ)》이었다. 발표된 지 30년이 지났다. 그 사이 세계 학계는 이 지적을 무시하고, 더 철저하게 IF 숫자로 과학자를 서열화했다. 결국, 이것은 무지의 문제가 아니라 편의의 문제이며, 결국 누가 과학자를 평가하는가에 관한 권력의 문제다.(주-학술지 IF는 해당 논문의 질을 담보하지 못한다. 왜냐하면 대부분의 학술지 IF는 극소수의 논문에 의한 착시효과이기 때문이다.)

카르텔의 재생산 구조

중국이 고비용 저널 지원을 끊어도, 한국이 R&D 예산을 복원해도, 과학자 평가의 논리가 바뀌지 않으면 무슨 일이 벌어지게 될지 상상하는 건 어렵지 않다.

과학자들은 여전히 IF가 높은 저널에 논문을 싣기 위해 경쟁한다. IF가 높은 저널은 여전히 거대 출판 카르텔의 손에 있다. 국가가 돈을 직접 내지 않더라도, 과학자 개인이 경력을 쌓기 위해 결국 그 저널에 접근해야 한다. 카르텔은 그대로다. 다만 지불 경로가 공공 연구비에서 개인의 생존 전략으로 이전되었을 뿐이다.

더 위험한 시나리오도 있다. IF를 없애되 대안이 없으면 어떻게 될까. 그 빈자리에는 ‘아는 사람’의 평가가 들어선다. 학계 원로들의 주관적 판단, 학연과 지연, 학파 내부의 편애. 이것이 내가 앞선 칼럼에서 ‘학계 군벌’이라 불렀던 것들이 득세하는 조건이다.

숫자를 없앤다고 권력이 사라지는 것이 아니다. 숫자 없이 평가를 내릴 때 권력은 더 불투명해지고, 더 정치적으로 작동한다.

이것이 바로 임팩트 팩터 문제의 진짜 딜레마다. 유지하면 카르텔이 공고해지고, 없애면 군벌이 판친다. 어느 쪽도 과학의 진보와는 거리가 멀다.

“어디에 실렸는가”에서 “무엇을 발견했는가”로

2012년, 세계의 연구기관과 과학자들이 서명한 ‘연구 평가에 관한 샌프란시스코 선언(DORA, , San Francisco Declaration on Research Assessment)’은 명확하게 말한다. ‘개별 연구자의 성과를 평가할 때 학술지의 임팩트 팩터를 지표로 사용하지 말라. 연구 자체를 직접 평가하라.’

최근 유럽에서 출범한 ‘연구 평가 혁신을 위한 연합(CoARA)’은 여기서 더 나아가 구체적인 실행 수단을 제시한다. 그 핵심 중 하나가 ‘내러티브 CV’다. 논문 목록 대신, 연구자가 자신의 발견이 해당 분야에 어떤 지적 기여를 했는지, 사회적으로 어떤 의미를 지니는지 직접 서술하게 한다.(주-물론 CoARA조차 제대로 된 대안으로 기능하지 못하고 있다.)

이것은 연구자에게 더 많은 설명 책임을 요구하는 동시에, 평가자에게도 읽고 판단하는 전문성을 요구한다. 평가자가 전문가가 되어야 한다는 것- 이것이야말로 관료주의가 가장 두려워하는 요구다. 과학자를 평가하려면, 과학을 읽어야 한다. 그 수고를 감수하지 않으려는 욕망이 IF라는 수치를 신화로 만들었다.

한국 과학계에 묻는다

한국에서 교수 임용 기준을 보면, 여전히 ‘SCI(Science Citation Index)급 논문 몇 편’이라는 항목이 지배적이다. 누군가 ‘네이처’ 자매지 논문 한 편을 내면 대학 홍보팀이 보도자료를 낸다. 그 논문이 실제로 해당 분야에서 얼마나 중요한 발견인지, 그 대학의 누군가 읽어보았는지는 중요하지 않다.

이재명 정부가 R&D 예산을 복원하는 것은 당연히 필요한 일이다. 하지만 복원된 예산이 다시 같은 평가 논리 아래 집행된다면, 우리는 10년 전과 똑같은 구조를 세금으로 재건하는 것에 불과하게 된다.

과학기술계의 과거를 청산하겠다면- 예산을 복원하고, 백서를 만들고, 사과하고, 세대를 교체하겠다면-그 모든 것의 토대에 이 질문이 놓여야 한다.

“우리는 과학자를 어떻게 평가할 것인가.”

그 답을 바꾸지 않으면, 카르텔은 모양을 바꿔 영원히 살아남는다. 출판사에 돈을 안 내더라도, 그 출판사가 수여하는 IF라는 왕관을 여전히 탐낸다면, 우리는 지식의 주권을 되찾은 것이 아니다.

보통 과학자들이 자신이 발견한 것으로 평가받는 날- 그때 비로소 과학이 진보하기 시작한다.