과학자의 연구 능력은 계량화가 가능한가? 현재 과학자의 능력은 ‘저널 인용지수(Journal Impact Factors)’가 얼마냐를 기준으로 평가받고 있다. 즉, 인용지수가 90점인 학자가 50점인 학자보다 우수한 연구자라는 것이다. 이렇듯 하나의 지표로 연구자 간의 위계를 설정하는 과학 저널은 연구자들 간의 지식 소통의 장이며 최첨단 과학 지식이 사회로 전해지는 첫 단계라는 점에서 학문적, 사회적으로 중요한 역할을 담당한다. 하지만 지난 한 해 제기된 저널과 저널 인용지수에 대한 비판은 저널과 연구자의 능력 평가에 대해 다시 한 번 생각해 보게 하는 계기가 됐다.
 

△저널 인용지수, 과학계의 마스터키?=지난해 5월, 세계 각국의 과학자 155명과 주요 과학 단체 78곳이 저널 인용지수가 연구자들의 연구비 지원, 고용, 승진 등에 중요한 자료로 사용되는 연구 평가 방식을 개선해야 한다는 ‘연구 평가에 대한 샌프란시스코 선언(San Francisco Declaration on Research Assessment)’을 발표했다. 그때부터 진행된 서명 운동에는 현재 연구자 만여 명을 비롯해 약 450개의 과학 단체가 참여했다. 선언문에 제시된 인용지수의 문제점은 △인용분포가 불균형적이다 △학문에 따라 인용지수의 속성이 다르다 △연구논문과 총설논문(review)을 모두 포함했다 △저널의 편집 정책에 의해 인용지수가 조작될 수 있다 △지수 계산에 이용된 데이터가 불투명하다는 것이다.

과학자들의 문제 제기를 이해하기 위해 우선 인용지수에 대해 알아보자. 문제가 된 저널 인용지수는 유진 가필드 박사가 설립한 ISI(Institute of Science Information)에서 많은 학술지 중 어떤 학술지가 영향력 있는가를 평가하기 위해 고안한 방식으로 특정 학술지에 실린 논문의 2년간 피인용 횟수를 평균 내어 계산한 것이다. 예를 들어 「대학신문」이라는 학술지에 지난 2년간 100편의 논문이 실렸고, 이 논문들이 총 300번 인용됐다면 「대학신문」의 2014년 인용지수는 3(300/100=3)이 된다. 유진 가필드 박사가 저널 인용지수를 개발한 본래 취지는 고위험 사업에 해당하는 출판업에서 학술지가 성공할 수 있을 것인지 예측하거나 도서관 사서가 구독할 학술지를 선정할 때 참고할 지표를 만드는 것이었다.

하지만 ‘저널’의 영향력을 나타내는 인용지수가 과학자의 연구 역량 평가에 이용되면서 문제가 발생하기 시작했다. 특히, 90년대 중반 한국에서는 연구자들의 성과를 객관적으로 평가해 파악하고자 했던 공무원들에게 저널 인용지수는 매력적인 평가 수단이었다. 김선영 교수(생명과학부)는 “교수들은 다른 사람들에게 평가받는 것에 거부감이 있었다”며 “인용지수는 외국 기관에서 발표하고, 정량적인 수치로 나타나기 때문에 교수들의 불만을 잠재울 수 있었다”고 설명했다. 저널 인용지수 도입 이전에는 교수를 비롯한 연구자들을 평가할 방법이 없고 제대로 된 지원체계가 갖춰지지 않아 연구자들이 연구 성과를 많이 내지 않아도 큰 문제가 없었다. 하지만 인용지수가 도입되면서 연구자들은 자신의 능력을 입증하기 위해 많은 논문을, 특히 인용지수가 높은 저널에 많은 논문을 발표하기 위해 노력하게 됐다. 이런 노력은 자연스럽게 과학 연구 성과의 양적 팽창을 불러왔다. 정순영 교수(서강대 수학과)는 “90년대 인용지수를 통한 연구 평가 방식은 유효했고 효과적이었다”며 “도입 당시 40~50위권에 머물던 한국 과학계는 현재 대부분 분야에서 10위권에 드는 성적을 내고 있고 해외에서도 한국의 ‘저널 인용지수를 통한 평가제도’를 효과적인 제도로 평가하고 있다”고 답했다.

반면 도입 초기의 긍정적 효과를 뒤로하고 최근에는 인용지수를 통한 연구 평가에 대한 재고가 필요하다는 지적이 끊이지 않고 있다. 지난해 있었던 ‘샌프란시스코 선언’의 핵심은 저널 인용지수는 저널의 영향력을 평가하는 지표일 뿐이고 개별 연구자의 능력을 평가하는 수단으로 부적합하다는 것이다. 구체적으로 살펴보면 선언문에도 제기됐듯 같은 저널에서도 논문마다 피인용 횟수는 천차만별이다. 통계적으로 보면 약 25%의 논문이 피인용 횟수의 89%를 차지하는데 이는 같은 저널에서도 몇몇 논문들만이 많이 인용되고 그렇지 않은 논문들이 더 많음을 보여준다. 예를 들어 「대학신문」이라는 저널에 두 편의 논문이 실렸는데 한 편의 논문은 100번 인용됐고 다른 한 편은 10번 인용됐지만, 연구 평가에서는 두 논문 모두 55점으로 평가된다. 따라서 한 학술지의 인용지수는 게재된 논문들의 피인용 횟수를 대표하는 값이라 보기 어렵고 연구의 중요성이나 질을 보장하지 못한다.

그리고 학문 분야마다 후속 연구의 필요성, 연구자 수에 차이가 있기 때문에 인용지수의 속성이 다르다. 예를 들어 의학 분야의 경우 논문이 발표되면 그 논문을 본 의사들이 임상실험 등을 통해 검증하고 적용하려고 노력하므로 매년 가장 높은 인용지수의 저널(약 100)은 의학 분야가 차지한다. 반면 수학의 경우 대개 한 논문이 완결성을 지닌 경우가 많아 후속 연구의 필요성이 낮다. 따라서 수학 분야의 경우 최고의 학술지로 평가받는 학술지도 3~4 정도의 인용지수를 가진다. 그리고 연구자가 적은 학문 분야보다는 연구자 수가 많은 분야의 저널들이 높은 인용지수를 갖게 되어 서로 다른 학문 간에는 인용지수를 통한 비교가 부적절하다.

샌프란시스코 선언에서 네 번째로 지적됐듯 인용지수는 편집 정책에 따라 조작할 수 있다. 한 예로 2005년 국내 학술지들이 ‘자기인용’을 통해 인용지수를 높이려다 적발된 경우를 들 수 있다. 이외에도 인용지수의 차이가 적은 경우 평가에 이용하기 어렵다는 지적이 있다. 이일하 교수(생명과학부)는 “인용지수가 각각 90점, 50점인 학자를 비교할 때에는 분명 유효하다”며 “하지만 98점과 95점을 비교할 때 98점이 더 우수하다고 보긴 어렵다”고 답했다. 이현숙 교수(생명과학부)도 “네이처의 자매지들은 인용지수도 비슷하고 학계에서 비슷한 권위를 인정받는데 실제 연구 평가에서는 그 조금의 차이까지 서열화한다”며 과도한 인용지수 의존을 지적했다. 정리하면, 인용지수를 통해 연구자의 능력을 포괄적으로 평가하는 것은 어렵기에 연구자의 능력을 평가할 때 인용지수에 지나치게 의존해서는 안 된다는 것이다.
유명 저널에 논문을 내는 것에 집중하는 현재 과학계의 분위기가 과학 활동의 목표를 왜곡시킬 수 있다는 지적도 있다. 김선영 교수는 “셀, 네이처, 사이언스에 논문을 내면 언론에서 주목하고 많은 사람이 열광한다”며 “현재 높은 인용지수는 거의 국가의 목표가 됐다”고 지적했다. 이어 그는 “유명 저널에 논문을 발표하는 것은 기쁜 일이지만 과학자를 평가하는 최고의 잣대나 정책의 주요 목표가 되는 것은 바람직하지 않다”고 강조했다. 과학의 목표가 무엇인가에 대해서는 사람마다 입장이 다르지만, 지금과 같은 ‘과학계의 명품주의’에 대한 재고가 필요하다는 것이다. 또한 그는 인용지수를 평가 제도에 도입했던 90년대의 상황과 지금의 상황이 많이 다르다고도 지적했다. 그는 “도입 당시에는 나도 연구자들이 성실하게 연구하는 분위기를 만들고자 찬성했다"며 "현재 분위기가 이전과 많이 달라졌고 이렇게 20년 넘게 사용할 정책은 아니었다”고 밝혔다.
 

△학술지, 순수한 학문의 장인가=샌프란시스코 선언의 인용지수에 대한 문제 제기가 연구 평가 단계를 향한 것이라면 연구가 수행되고 논문을 투고하는 과정에 중요한 부분인 ‘학술지’에 대한 문제 제기도 있었다. 지난해 12월 노벨 생리의학상 공동수상자로 선정된 랜디 셰크먼 교수(미국 캘리포니아대학 버클리캠퍼스 분자생물학)는 「가디언」에 기고한 글에서 “(셀, 네이처, 사이언스 같은) 최고급 저널들의 전제 정치(tyranny)를 깨뜨려야 한다”며 “우리 연구실은 앞으로 최고급 저널들에 논문을 내지 않겠다”고 ‘논문 보이콧’을 선언했다. 그는 최고급 학술지들의 운영 방식을 명품 브랜드의 회사가 한정판 상품을 통해 브랜드를 관리하는 것에 비유하며 비판했다. 즉, 저널이 의도적으로 논문의 수를 한정해 수용하는 것을 통해 권위를 유지한다는 것이다. 이런 현상은 인용지수와 더해져 심화되는데, 셰크먼은 “(학술지 편집자들이 인용지수를 높이기 위해) 사람들의 관심을 끌 만한 연구를 수용한다”고 비판했다.

나아가 그는 이런 현상이 학문의 트렌드에 영향을 미칠 수 있을 수 있다고 우려한다. 저널 편집자들은 논문 게재 승인 여부를 결정하는 데 상당한 영향력을 끼친다. 그런데 대부분의 편집자가 박사 후 연구원 과정 이후 더 이상 연구자로서 활동하지 않는 ‘전문 평가자’이기 때문에 자칫 학문을 잘못된 방향으로 이끌 수 있다는 것이다. 이런 셰크먼 교수의 우려에 대해 연구자들은 각기 다른 견해를 드러냈다. 박충모 교수(화학과)는 “편집자가 독단적으로 결정하는 것이 아니라 많은 전문가의 의견을 참고하기 때문에 큰 문제는 없을 것”이라 답했고, 정순영 교수도 “우려할 정도는 아니라고 본다”고 답했다. 반면 이일하 교수는 “유명 학술지와 그 편집자들이 전체 과학을 이끄는 상황인 것은 분명하다”며 “하지만 그들도 터무니없는 결정을 내리지 않기 때문에 아직 문제는 없었다”고 밝혔다. 하지만 셰크먼 교수의 우려에 대해서는 “과거에 생물학계에는 뚜렷한 이슈나 연구 흐름이 있어 소수의 편집자가 흐름을 바꿀 수는 없었지만 최근에는 뚜렷한 흐름이 사라졌다”며 “셰크먼 교수도 생물학자이기 때문에 이런 상황에서 편집자들의 영향력이 큰 것을 우려한 것이 아닌가 싶다”고 설명했다.

셰크먼 교수는 자신이 편집위원을 맡고 있는 온라인 저널 ‘이라이프(eLife)’를 본인이 지적한 문제점의 대안으로 제시한다. 이라이프는 전통적으로 권위 있는 학술지의 한계를 극복하기 위해 웰컴트러스트, 하워드휴즈연구재단, 막스플랑크연구소가 공동 설립한 저널이다. 기존의 저널들이 책 형태로 출간되면서 한정된 논문만을 받게 되는 한계를 극복하기 위해 이라이프는 수용 한계가 거의 없는 온라인 환경을 이용했다. 그렇기에 가치가 있고 적절한 방식으로 수행된 연구라면 모두 게재될 수 있다. 또한 현업의 연구자들이 편집자로 활동하기 때문에 연구의 중요성을 비교적 정확히 파악할 수 있고 따라서 학계의 트렌드를 왜곡할 위험이 적다. 더 나아가 많은 연구자들이 기존의 저널들에 불만을 가졌던 시간적, 비용적 측면도 개선했다. 박충모 교수는 “기존 저널들은 심사 시간도 오래 걸리고 과도한 수정 요구를 하는 경우가 많았고 게재료가 부담스러운 수준이었다”며 “이라이프는 심사 시간도 짧고 게재료도 적절한 수준”이라고 설명했다.

이라이프는 창간한 지 2년도 되지 않은 신생 학술지이기 때문에 우선 중요한 연구논문을 발표한다는 의미의 ‘권위’를 얻어야 한다. 세계적인 석학들이 편집위원으로 참여하고 많은 연구자들이 이라이프의 취지에 공감하고 논문을 투고하고 있기 때문에 이 부분은 성공할 가능성이 높게 점쳐지고 있다. 권위를 인정받고 나면 많은 연구자들이 논문을 투고할 것이고 이라이프는 발표할 수 있는 논문 수에 한정이 없기에 중요하고 적절히 수행된 연구는 모두 수용할 것이다. 이렇듯 이라이프는 자격을 갖춘 사람들을 모두 뽑는 자격시험으로 비유할 수 있는데, 이는 여러 장점이 있다. 먼저 연구자는 자신의 논문이 다른 연구자의 논문보다 낫거나 더 자극적인 소재를 찾기 위해 노력하기보다는 자신이 연구하고 싶은 분야에서 충실한 연구를 통해 결과를 제출하면 된다. 그리고 기초과학의 경우 어느 연구업적이 국익 증진으로 이어질지 예측하기 어려워서 유명 학술지에 발표된 연구들에만 지원과 관심을 집중하는 것은 근시안적인 방식이다. 이라이프의 방식은 유명 학술지에 실리지 않았지만 주목할 만한 연구를 파악하는 데 도움을 줄 수 있다.

이라이프는 기존 학술지의 한계를 극복할 수 있는 실천적 대안이라는 점에서 과학 논문 출판의 문제점을 해결하기 위한 중요한 걸음을 뗐다고 볼 수 있다. 만약 이라이프가 성공적으로 자리 잡는다면 여러 저널이 이라이프와 비슷한 형태로 출범하는 결과를 낳을 수 있다. 하지만 이라이프가 권위를 인정받는다 해도 인용지수를 통해 연구를 평가하는 기존 시스템하에서는 반쪽짜리 답안밖에 될 수 없다. 학술지와 학술지를 통해 평가하는 시스템이 밀접하게 연관되어 있기 때문에 기존 학술지의 대항마로 이라이프가 등장한 것처럼 연구 평가 방식에서도 개선된 모델의 필요성이 제기되고 있다.
 

△평가 방식 개선을 위하여=지금까지 과학 정책이 정량적 평가를 통해 서방 국가들을 추격하는 데 주력해 왔다면 앞으로는 질적인 측면에 대한 평가를 통해 과학을 선도하는 국가로 발돋움하기 위한 새로운 평가 방식의 도입이 시급하다. 과학 연구의 경우 대부분 국가나 기업의 지원을 받아 이뤄지기 때문에 연구자들은 연구비를 지원받아야 연구를 진행할 수 있다. 따라서 연구비 지원에 결정적 역할을 하는 연구 평가 방식은 과학 활동의 흐름을 결정할 수 있는 중요한 요소다. 연구 평가 방식은 연구의 진행에 필수적인 국가 혹은 기업의 지원 여부를 결정하기 때문이다. 그렇다면 이를 개선하기 위한 구체적 방법은 무엇일까.

현재 한국연구재단에서 시행되고 있는 연구비 지원 평가에서 인용지수는 약 30% 정도의 비중으로 반영되고 있다. 하지만 2010년 한국연구재단에서 진행된 연구에서 보면 여러 분야에서 연구비 지원에 가장 결정적인 요인이 ‘연구자의 높은 인용지수’였다. 연구자들의 인터뷰에서도 많은 연구자들은 인용지수의 영향력을 ‘절대적’으로 평가하는 경우가 많았다. 김선영 교수는 “인용지수가 평가하는 지표 중 하나일 수 있으나 지금은 거의 100%”라고 답했다.

연구자들은 이와 같은 연구 평가 방식을 개선, 보완하기 위해 정량적 지표의 다양화와 정성적 평가의 개선 및 반영을 제시한다. 먼저 다양한 정량적 지표를 사용하는 방식은 정량적 지표가 연구의 특정한 부분을 보여준다는 점에 착안했다. 각각의 정량적 지표가 연구의 일면을 보여주기에 다양한 정량적 지표를 이용하면 연구의 여러 측면을 함께 평가하는 것이 가능하다는 것이다.

예를 들면 개별 논문의 피인용 횟수는 인용지수와 마찬가지로 인용횟수를 이용했지만, 개별 논문이 얼마나 많이 인용됐는가를 나타내기 때문에 저널로 논문을 평가한다는 비판에서 자유롭다. 보정 인용지수는 평가대상이 되는 논문이 게재된 분야의 상위 20% 저널의 평균 인용지수로 저널 인용지수를 나눈 값으로 학문 간에 인용지수 격차가 큰 것을 보정하기 위한 방편으로 이용되며, 지난해 있었던 BK21 플러스 사업 선정에서 이용됐다. 어떤 분야에서 꾸준히 그 업적이 인용되고 있는지를 평가하는 도구로는 H-지수(H-index)가 최근 널리 쓰이고 있다. 연구자의 논문 중 A개의 논문이 A번 이상 인용되고 나머지가 A번 미만 인용됐을 때 그 A값이 연구자의 H-지수가 된다. 이는 얼마나 많은 논문이 일정 횟수 이상 인용됐음을 직관적으로 나타내는 지표로 연구자가 지속적으로 우수한 논문을 내고 있는지를 보여준다. 이외에도 인용지수나 H-지수 등을 보완하기 위한 g지수, y지수 등이 끊임없이 개발되고 있다. 이렇듯 통계적 방식으로 서지학을 연구하는 ‘계량서지학’의 발전과 많은 데이터를 효과적으로 분석할 수 있는 컴퓨터 기술이 발달함에 따라 앞으로 더 다양하고 포괄적인 평가가 가능한 정량적 지표가 개발될 것으로 기대된다.

한편 또 다른 개선 및 보완 방법으로는 정성 평가를 통한 방안이 있다. 이에 대해 이준호 교수(생명과학부)는 “정량적 평가만을 중요시하다 질적인 발전의 단계로 나아가는 것을 저해할 가능성이 있다”며 “정성적 평가의 중요성을 강조하는 것이 대안이 될 수 있다”고 설명했다. 대표적인 정성 평가 방법은 동료 연구자들이 연구 제안서나 논문을 평가하는 ‘동료 평가(peer review)’다. 이일하 교수는 “학자의 역량을 평가하는 데 있어 동료 연구자들의 주관적 평가가 필요한 부분이 있다”고 말했다. 수치로는 평가할 수 없는 부분이 있다는 것이다.

지금도 대부분의 연구 평가에서 ‘동료 평가’는 평가의 요소로 이용되고 있지만 제 기능을 하고 있는지에 대해서는 의문이 제기된다. 한국연구재단은 “과제 평가 시 동료평가를 기반으로 추진하고 있으며, 인용지수 등은 보조 지표 중 하나로 간접적으로 활용하고 있다”고 밝혔지만 실제 자료에서 인용지수는 가장 중요한 지표였고 연구자들도 인용지수의 비중이 높다고 평가했다. 그렇다면 동료 평가가 제 기능을 하지 못하는 이유는 무엇일까. 많은 연구자들이 적은 연구자의 수와 신뢰의 부족을 꼽았다. 성노현 교수(생명과학부)는 “국내의 경우 연구자의 풀(pool)이 작다”며 “세부 분야로 나누면 연구자들이 서로 다 아는 사이”라고 답했다. 즉, 서로가 서로를 평가하는 관계이기 때문에 제대로 된 평가를 하기 어렵다는 것이다. 이일하 교수는 "아직 우리 사회는 개개인에 대한 신뢰가 서구 사회처럼 선진화돼있지 않다"며 "주관적 평가에 대한 신뢰가 부족하다"고 말했다.

정성 평가가 개선되고 제 기능을 하기 위해서는 연구자들의 의식 변화가 요구된다. 과학이 고도로 전문화되면서 연구자들은 피평가자인 동시에 평가자 역할을 담당하는데 이는 연구자들의 의식이 변화하면 많은 부분을 학계 내에서 스스로 개선할 수 있음을 의미한다. 이에 대해 김선영 교수는 “현재 연구자들끼리의 신뢰가 부족하다”며 “상식과 합리성을 바탕으로 평가가 이뤄질 수 있는 분위기가 조성돼야 한다”고 답했다. 이준호 교수는 “정성적 평가를 악용할 가능성을 배제할 수 있는 자신감이 필요하다”며 “아직 모든 연구자들이 동의하는 수준까지 도달한 것 같지는 않다”고 말했다.

한 사회에서 개인의 가치를 어떻게 평가하는가는 사회의 선진성과 개인들의 의식 수준을 보여준다. 마찬가지로 한 명의 과학자의 능력이 어떻게 평가되는가는 과학계의 선진성과 과학자들의 의식 수준과 밀접한 연관이 있다. 현재와 같은 평가 방식이 지속되는 것은 사회가 과학자를 단순히 ‘논문을 쓰는 기능인’으로만 바라보고 과학자들도 이를 수용하는 것이라 볼 수 있다. 단순히 높은 점수를 위해 공부하는 학생과 자신의 꿈과 목표를 위해 공부하는 학생의 태도와 결과는 다르다. ‘기능인’ 취급에 반발하고 나선 일부 서구 과학자들의 모습에서 나타난 과학자들의 ‘주체성’, 그 주체성이 과학계를 선도하는 연구의 진정한 토양이 아닐까. 과연 과학자의 능력은 수치로 계량화가 가능한가. 한국 과학자들의 진지한 고민이 필요한 시점이다.