최근 2월 18일자 228회 텝스(TEPS) 정기시험 채점결과를 두고 수험생들 사이에서 텝스 점수 산정방식에 대한 논란이 일고 있다. 수험생들은 228회 시험의 채점결과가 텝스 채점 방식으로 알려졌던 ‘문항반응이론’을 따르지 않고 오직 틀린 문항 개수에만 의존하는 양상을 보인다는 주장을 펼치고 있다. 이에 대해 텝관위는 “우연의 일치로 인한 수험생들의 오해”라는 입장이다.

사건은 228회 텝스 시험 직후 ‘해커스텝스’ 자유게시판에서 수험생들이 가채점 점수와 실제 성적을 공유하면서 시작됐다. 시험 결과 발표일인 24일 만점자가 등장했고 수험생들은 만점자의 가채점표를 토대로 자신들의 가채점 점수와 실제 성적을 비교한 결과를 공유했다.

하지만 그 과정에서 수험생들은 문항과 파트의 종류에 상관없이 틀린 문항 개수에 따라 점수가 결정되는 현상을 발견했다. 시험점수의 감점폭 또한 문항들의 실제 배점보다 더 큰 것으로 확인됐다. 한 누리꾼이 해커스텝스 자유게시판에 게재한 글에 따르면, 독해 파트에서 1개, 2개, 3개 문항을 틀린 수험생은 각각 372점, 344점, 322점을 받았음이 확인됐으며 그 사이의 점수는 알려지지 않았다. 청해 파트에서도 비슷한 양상이 파악됐고 아직까지 반례는 나타나지 않고 있다.

위와 같은 수험생들의 주장은 지금까지 텝스의 채점이 문항반응이론을 기반으로 이뤄져왔다는 텝관위의 지침과는 상반되는 현상이다. 문항반응이론은 응시자 집단에 따라 문항특성*이 결정되는 고전검사이론의 단점을 극복한 평가이론이다. 고전검사이론에선 각 문항과 응시자의 능력 간 관계를 알 수 없으며 응시자 집단의 수준에 따라 문항의 난이도와 변별도가 달라진다. 따라서 점수가 같더라도 회차가 다르면 응시자들 사이의 동등한 비교가 불가능해 일관된 평가가 이뤄지지 못하는 문제점이 있다. 반면 문항과 응시자 능력 간의 관계를 확률적으로 파악하는 문항반응이론은 회차에 관계없이 문항특성이 유지돼 응시자의 능력에 대한 일관된 평가가 가능하다. 따라서 정답문항 수가 같아도 틀린 문항과 파트, 시험 난이도에 따라 점수가 달라지며 회차가 달라도 점수가 같다면 응시자의 능력도 동일하게 평가된다. 텝관위는 “문항반응이론을 통해 회차간 시험 수준을 같게 조율한다”며 “회차와 관계없이 응시자 능력을 평가할 수 있다”고 말했다.

문항반응이론을 따르지 않은 것으로 의심되는 228회 텝스 정기시험의 채점방식과 점수의 가파른 감점폭에 수험생들은 분노를 표했다. 문항반응이론은 텝스 수험생들 사이에선 유명한 채점방식이며 수험생들은 물론 전문 학원에서도 이에 입각해 시험을 준비해왔다. 명준호 씨(재료공학부·12)는 “독해 파트에서 5개를 틀렸는데 100점이 넘는 점수가 깎였다”며 “채점과정에 문항반응이론을 반영한다는 것도 다 거짓이었다는 점이 유감스럽다”고 전했다. A씨(전기정보공학부 석박사통합과정·15)는 “이번 사태가 그냥 오해라는 식으로 치부해버리는 텝관위의 해명이 또다시 분노를 일으킨다”며 “수험생에게는 인생이 달린 문제일 수 있는데도 너무 무책임한 태도다”라고 비판했다.

이에 대해 텝관위는 채점 오류는 없었으며 채점은 문항반응이론에 근거해 정상적으로 진행됐다는 입장이다. 틀린 문항 개수에 따라 점수가 일괄 감점됐다는 의혹에 대해 텝관위는 “문항반응이론에 근거하지 않은 일괄적인 배점 방식은 사용된 적 없다”며 “응시자의 잠재능력이 비슷하다면 상당수가 유사한 문항응답패턴을 보이며 이는 같은 점수로 이어질 수 있다”고 해명했다. 또 228회 텝스 정기시험의 가파른 감점폭에 대해선 “일부 영역에서 특정 수험자들의 실력을 변별하기 위한 문항들이 다소 쉽게 느껴졌을 가능성이 있다”며 “일부 수험자의 경우 회차 간 동등화 절차를 거친 후 받은 점수가 예상점수보다 다소 낮게 나왔을 수 있다”고 밝혔다.

이번 논란에 텝스 수험생들 사이에선 텝스에 대한 불신과 불안감이 만연하다. 심창곤 씨(화학부·14)는 “이공계의 경우 텝스는 대학원 진학, 군 입대 등 여러 문제와 관련이 있다”며 “곧 텝스에 응시할 사람으로서 이번 점수 산정방식 논란에 큰 불안을 느낀다”고 말했다. 손운배 씨(재료공학부 박사과정·15)는 “어학능력을 평가하기 위한 시험이라 광고해놓고도 이렇게 채점을 한다면 사기 수준”이라며 “이렇게 응시자들을 우롱하는 것은 텝스의 공신력을 바닥까지 끌어내릴 것”이라고 전했다. 시험에 대한 신뢰가 떨어지고 있는 상황에 대해 텝관위는 “228회 시험 역시 기존 채점시스템 하에 점수가 매겨졌으나 수험자들의 오해가 생겨 안타깝다”며 “앞으로 응시자들에게 시험에 관한 정보가 명확하게 전달될 수 있도록 홈페이지 및 시험정보 사이트의 설명을 강화하겠다”고 전했다.

*문항특성: 어떤 문항과 총점의 상관관계

저작권자 © 대학신문 무단전재 및 재배포 금지