| [ KAIST ] in KIDS 글 쓴 이(By): werner (신정식) 날 짜 (Date): 1994년12월21일(수) 00시43분23초 KST 제 목(Title): 시사저널 학과 평가 분석과 원인 시사 저널의 KAIST에 대한 부당한 평가에 대한 여러분의 분노는 이곳에 충분히 표현된 것 같습니다. 그리고, 학교 차원의 대책도 세워지고 있는 듯 합니다. 여기서, 저는 시사저널의 조사가 왜 그런 결과가 나왔는지 원인을 나름대로 분석해서 항의 방문 및 정정 보도 요청 - 언론 중재 위원회에 일단 제소하고, 안 되면 손해 배상 소송 등을 제기해야할 것입니다-시에 중요한 논리를 하나 제공하려 합니다. 물론, 많은 분들이 이 정도 생각은 이미 하셨을 가능성이 크다고 봅니다. 다음은 제가 그에 대해 하이텔과 나우콤에 올린 글입니다. 두곳다 플라자에 올렸습니다. ------------------------------- 12월 22일자 시사 저널은 커버 스토리로 전국 대학 학과장이 평가한 27개 학과 상위 10개 학교에 대해서 보도하고 있습니다. 이 기사를 영국의 세계 최고의 과학 권위지인 Nature지 편집장이 보았다면, 자신들이 이미 두 차례에 걸쳐 서울대, 포항공대와 함께 한국 최고의 이공계 교육 기관 중의 하나로 보도한 바 있는 한국과학기술원 (KAIST)가 매우 낮게 평가되고 있음에 경악을 금치 못할 것입니다. 또한, 미국의 이공계 교육기관 평가를 맡은 곳 중의 하나인 ABET(Accredition Board for Engineering & Technology)의 관계자들 역시, 자신들이 2년 전에 방문하여 미국의 상위 10% 안에 들 수 있는 학교라고 평가한 - 도대체, KAIST를 제외한 국내의 어떤 대학이 자신 있게 ABET의 평가를 자청할 수 있는 용기를 가지고 있습니까? - KAIST가 한국 국내에서 3 - 8위로 평가된 데 대해 크게 의아해 할 것입니다. Science Citation Index를 발행하는 곳에서도 역시 놀랐을 것입니다. 전자공학 분야에서 한국 7위로 평가된 KAIST의 경우 SCI에 수록된 논문 수가 년 평균 70편에 이른데 반해, 1위로 평가된 서울대의 경우 전자,전기,제어계측공학과를 모두 다 합하여도 30편을 넘지 못하기 때문입니다. 시사 저널의 평가에 의하면 KAIST 전기 및 전자 공학과의 교수진과 학생은 각각 6위로 되어 있습니다. 그런데, 모든 분야에서 1위를 차지한 서울대에 비해 전기전자공학 분야의 해외 학술지 발표 논문수가 3배 가까이 되는 것은 도대체 어떻게 된 일인지 의혹을 가지지 않을 수 있겠습니까? 최근에 3대 국방과학 연구 센터의 한곳으로 KAIST - 서울대,포항공대와 함께 -를 지정한 국방부 관계자들 역시 KAIST 전기및 전자 공학과가 경북대보다 낮은 7위,물리학과가 겨우 5위로 평가된 것을 보고, 어떻게 생각할까요? KAIST의 거의 대부분의 과에 우수 및 장려 과학센터와 공학 센터를 설치해 준 ( 분자 과학 연구센터, 광전자 연구센터,인공지능연구센터, 인공위성 연구센터, 생물공정 연구센터, 재료표면공학센터,신형원자로 연구센터, 고출력 레이저 연구센터 : 92년 8월 기준 30개의 한국과학기술재단 지정 대학 우수 연구센터 중 6개가 KAIST에 설치) 한국과학재단의 평가 역시 크게 잘못되었다는 말입니까? 빌 게이츠는 어째서 전산학과에서 1,2위를 차지한 서울대와 포항공대는 제쳐두고, 연세대와 함께 겨우 공동 3위에 머문 KAIST에 Windows NT 소스 코드를 기증하고 갔을까요? 빌 게이츠는 지금껏 전세계에서 10개 대학에만 이 코드를 기증했다는데 말입니다. 또, KAIST가 포함된 8개 학과에서 KAIST는 최고 3위에서 최저 8위로 평가되었는데, 이런 학교가 어떻게 한국에서 SCI수록 저널에 실은 논문 수의 25% 가까이(약 600여편으로 국내 모든 대학 중 최다)를 차지할 수 있습니까? 그렇다면, 왜 KAIST에 대한 국외의 평가와 시사 저널의 평가는 이렇게 극심한 대비를 보이고 있을까요? 이제부터 그에 대해 제 생각을 말씀드리고, 제가 생각하는 보다 합리적인 평가 방법을 적어 보겠습니다. 1. 시사 저널의 조사에서 KAIST가 이렇게 낮게 평가된 원인에 대한 가설 시사 저널의 기사 중 조사 방법에 대한 것을 보면, 전국의 조사 대상 학과의 학과장들에게 '전화'로 (이 부분이 아주 중요합니다) 각 조사 항목 ( 5개, 교수의 연구,학생의 질, 시설, 학교의 지원, 졸업생의 사회 진출)의 상위 5개 학교를 열거해 줄 것을 요청했다고 합니다. 그리고 나서, 위 5가지 요소를 고려할 때, 상위 10개 학교를 열거해 줄 것을 요청했다고 합니다. 이 방법이 왜 문제인가를 제가 가상적인 조사자와 피조사자 (학과장)의 문답을 통해 설명해 보겠습니다. (문답 1) Q: 안녕하십니까? 시사 저널에서 ............ 평가를 하려고 합니다. 학과장님의 전공이신 oo 학과가 설치된 우리나라의 학교 중, 교수의 연구 활동이 가장 탁월한 5개 학교를 대어 주시겠습니까? A: 서울대, 포항공대,연세대,고려대,한양대. 아 참, KAIST도 조사 대상에 포함되나요? Q: 예, 포함됩니다. A: 그럼, oo대를 빼고 KAIST를 넣어주세요. Q: 계속 나머지 항목에 대한 문답..... ........ Q: 예, ..... 감사합니다. (문답 2) Q: (같은 질문) A: 서울대, 포항공대,연세대,고려대,한양대 ...... Q: 예, 조사에 응해 주셔서 감사합니다. 여기서 문답 1의 경우엔 피조사자가 KAIST가 계속 대학 평가에서 제외되어 왔지만(교육부 소속이 아니라 과기처 소속이라는 이유만으로, 대학교육 협의회의 평가에서도 중앙일보의 조사에서도 제외되어왔습니다), 이의 부당함에 대한 약간의 인식이 있어서 스스로 포함 여부를 물어본 경우입니다. 두번째 경우엔, 으례히 KAIST는 제외되어 왔으니, 이번에도 그러리라고 여기고 - 또는 KAIST가 제외되는 것을 은근히 바라고 - KAIST를 열거하지 않은 것입니다. 그러면, 왜 조사원은 질문하기 전에 KAIST가 포함됨을 미리 알려주지 않았을까요? 그들(Korea Research에서 했다고 하지요)은 KAIST가 포함됨을 질문의 서두에 넣는 것이 KAIST에 부당한 잇점을 준다고 생각해서 평가의 공정성을 위해 제외했을지 모릅니다. 하지만, 그렇게 하지 않는 것은 위의 문답에서 보인 바와 같이 KAIST에 불리한 - 미리 알려주었을 때에 주었을 미세한 이익에 비해 훨씬 큰 - 결과를 초래할 수 밖에 없습니다. 이러한 저의 가설은 시사 저널에 실린 각 학과에 대한 평가표의 수치에 의해 확실한 것임이 보여집니다. 제가 나온 물리학과를 예로 들어 보겠습니다. KAIST는 서강대와 함께 무려 '5위'로 되어 있는데, 여기서 종합 평가의 수치와 세부 5개 항목을 보면 아주 재미있는 것을 발견할 수 있습니다. 종합 교수 학생 시설 학교 졸업생 5개 항목의 지원 사회진출 평균 KAIST 70.0 65.0 67.5 65.0 60.0 57.5 62 서강대 70.0 45.0 70.0 32.5 30.0 45.0 44.5 여기서 무엇이 문제일까요? 상위 5개 학교만 들라고 한 뒤의 5개 항목에서 얻은 피조사대상자의 평균 62%가 KAIST를 포함시켰고, 10개 학교를 들라고 한 종합 평가에서 70%가 KAIST를 포함시켰습니다. 5개 학교를 든 경우와 10개 학교를 든 경우의 비율이 70 / 63 = 1. 11으로 거의 차이가 없습니다. 그런데, 종합 평가에서 같이 70%에 의해 지적된 서강대는 그 비율이 70.0 / 43 = 1.63나 됩니다. 위의 5개 항목이 종합 평가에 같은 비율로 기여한다고 본다면, 위 비율은 2에 가까워야 됩니다.(왜냐하면, 종합 평가에선 개별 평가보다 2배나 많은 수의 학교를 들어야 하므로.물론, 5개 항목에서 100%에 가까운 값을 받은 학교는 변동이 없는 게 당연합니다 ) 그런데, 유독 KAIST의 경우에만 5개 개별 항목에서 50 - 70 %인데도 불구하고,위 비율이 1에 가까운 값입니다. 종합 평가에서 KAIST와 비슷한 %로 지적된 다른 학교의 경우엔 이 비율이 KAIST에 비해 훨씬 높습니다. (최소한 2에 훨씬 가깝습니다) (화학과 : 6위인 KAIST가 1.10, 7위인 경북대는 2.66 생물학과 : 8위인 KAIST는 1.07, 9위인 서강대는 1.84 전자공학 : 7위인 KAIST는 1.13, 6위인 경북대는 1.76 기계공학 : 8위인 KAIST는 1.01, 7위인 경북대는 2.62 화학공학 : 6위인 KAIST는 1.02, 7위인 서강대는 1.71 수학과와 전산과는 각각 4위와 3위로 이런 비교의 의미가 훨씬 작아서 제외했음.) 이런 것이 의미하는 바는 무엇일까요? KAIST가 조사 대상에 포함됨을 알았다면, 상위 5위 안에 열거하지 않은 이들 중 많은 수가(애초에 포함된다는 것을 알았다면, 상위 5위안에 넣었겠지만) 상위 10위 안에는 열거하는 것이 자연스럽습니다. 하지만, KAIST포함되지 않을 걸로 당연히 생각한 이들은 개별 항목에서와 마찬가지로 역시 종합 평가에서도 KAIST를 들지 않은 것입니다. 그러니까, 10개 학교를 든 경우와 5개 학교를 든 경우에 거의 차이가 없습니다. 하지만, 종합 평가에서 KAIST와 비슷한 비율로 열거된 다른 학교의 경우엔 상위 5위 안에 열거하지 않았던 많은 이들이 상위 10위안에는 열거하고 있습니다. 즉, 이들 학교가 조사 대상에 포함되는지에 대해 아무런 의심도 없었던 것입니다. 2. 그렇다면, 올바른 조사는 어떠한 방법으로 행해져야 했을까요? 시사 저널은 이제껏 있어온 대학 평가의 문제점을 분석하고, 객관적 평가로 잴 수 없는 주관적 평판을 재기 위해 이런 여론 조사를 했다고 하고 있습니다. 하지만, 사회 조사 방법론의 기본 지식만 있는 이라도 - 아니 건전한 상식만 있었더라도. - 위와 같은 식의 전화 조사의 문제점은 쉽게 간파할 수 있습니다. 첫째, 전화 통화에 의한 조사는 평가의 주관성을 극대화시킵니다. 갑작스레 받은 전화에서, 상위 5개 학교를 들라고 했을 때, 얼마나 많은 이가 차분하게 대답할 수 있을까요? 학생의 질을 예로 들어서, 도대체 (남의 학교) 학생의 질에 대해서 학과장이라고 해서 특별히 더 가지고 있는 정보가 있나요? ㅤ기껏해야 입시 커트라인 빼고는 말입니다. 더구나, KAIST는 전형 방법도 다른데 말입니다. 그리고, 87년이래로 대학생 수학경시대회 입상자를 서울대와 반분하고 있는 KAIST 수학과의 학생의 질이 단 한명의 입상자도 내지 않은 포항공대보다 낮게 평가된 것은 도대체 무슨 근거에서입니까? 둘째, 상위 5위나 10위 안에 열거한 피조사자수의 전체 피조사자수에 대한 비율로 순위를 매긴다는 것도 그리 합리적이라고는 여겨지지 않습니다.왜냐하면, 이런 열거 비율은 대학의 우수성과 비례하지 않음에도 그런 듯한 착각을 불러일으키기 때문입니다. 셋째, 시사 저널은 이 평가가 차후에 있을 대학 평가에서 '평판' 항목의 기본 자료로 쓰일 거라고 했습니다. 그렇다면, 학과장들의 즉흥적인 전화 인터뷰로 평가할 것이 아니라 객관적 평가가 가능한 교수의 연구 정도 - SCI논문수,연구비 유치 실적 등 -, 시설 - 학생 1인당 교육비, 실험실습비, 실험 기자재 보유 현황 - 등은 이번 조사에서 제외했어야 마땅합니다. 평판을 평가하는데에는 종합 순위 한 항목이었으면 충분했을 것입니다. 그리고, 이를 이처럼 성급하게 발표할 것이 아니라, 주관 / 객관적 자료의 종합 후 한꺼번에 발표했어야 옳습니다. 이렇게 성급하게 발표한 것은 중앙일보의 발표에 자극받아 독자의 이목을 끌기 위한 지극히 황색 저널리즘의 냄새가 물씬 풍긴다고 볼 수 밖에- 이 대목에서 시사 저널에 대단히 실망했습니다 - 없습니다. 그렇다면, 보다 합리적이고 특정 학교(이번 평가의 경우엔 KAIST와 한국 종합 예술학교가 그런 불이익을 당했습니다)에 유리하거나 불리하지 않은 평가 방법은 무었이었을까요? 먼저, 시사 저널에서 한 것과 똑같은 방법으로 상위 10개나 20개학교를 선정합니다. 그리고, 그 상위 10(20)개 학교 모두에 대해서 5개 개별 항목과 종합적인 평가를 1점에서 10점까지의 수치로 나타내 줄 것을 전화가 아닌, '서면'으로 요청합니다. 이 경우, 서면 설문 대상이 꼭 학과장일 필요는 없고, 전공 분야의 전임 강사 이상 교수 100명 정도로 하면 50%의 응답율만 되어도 50명 정도로부터 결과를 얻을 수 있습니다. 그리고나서, 각 대학의 순위를 매길 때 이 10점 만점으로 매긴 점수의 평균을 이용합니다. -------- 설문지의 예문 ------- 아래 20개 학교는 본사의 전화 설문 조사에서 전국 ..학과의 학과장이 상위 20개 학교로 선정한 것입니다. 아래 각 학교에 대해서 5개 개별 항목과 이 5가지를 종합하여 1점에서 10점까지 점수를 매겨 주시기 바랍니다. 10점은 최상이고 1점은 최하입니다. 만일 평가할 만큼 충분한 정보를 갖고 계시지 않다고 판단되면, '-'를 기입해 주십시오. 교수 시설 학생 학교지원 졸업생진출 종합평가 1. 가 대학 ( ) ( ) ( ) ( ) ( ) ( ) 2. 나 대학 ( ) ( ) ( ) ( ) ( ) ( ) 3. 다 대학 ( ) ( ) ( ) ( ) ( ) ( ) . . . 19. xx 대학 ( ) ( ) ( ) ( ) ( ) ( ) 20. oo 대학 ( ) ( ) ( ) ( ) ( ) ( ) ---------------------- 시사 저널에서 채택한 열거 비율이 각 대학의 우수성과 비례 관계를 가지지 못한데 비해 - 그럼에도 그런 느낌을 주는 것이 바로 문제입니다 - 이렇게 해서 얻은 수치는 각 대학의 우수성과 대체적으로 비례 관계를 가지고 있습니다. 단, 이 경우에도 학과장의 주관이 아닌 객관적 개량화가 가능한 교수의 연구,시설,학교 지원 등은 이런 설문 조사에서 제외하거나 참고 자료로만 활용하는 것이 더 나을 것입니다. 이것이 바로 해마다 미국 대학 평가를 하는 US News & World Report에서 대학의 평판이나 명성 항목을 계량화할 때 쓰는 방법입니다. 또한, 이 방법이 미국의 국립 과학 재단 (NSF)가 쓰고 있는 방법이기도 합니다. 결론적으로, 시사 저널의 이번 발표는 대학 평가의 항목 중에 한가지에 불과한 학과장들에 의한 평판 순위 - 그것도 위에 열거한 바와 같이 아주 그릇된 방법으로 조사하여 특정 학교에 극단적으로 불리한 - 를 10여쪽에 이르는 커버 스토리로 다루어서 마치 이것이 학교 순위의 전부인 양 발표하는 아주 저열한 황색 저널리즘의 표본과 같다고 할 수 있습니다. 시사 저널이 이제껏 표방해 온 어떠한 형식이나 사회적 통념에도 구애받지 않고 오로지 실체적 진실을 규명하기 위해 노력하는 정론지로서의 본연의 자세를 회복하고, KAIST와 같은 특정학교가 시사 저널의 부당한 보도에 의해 입은 막대한 피해에 대해 정정 및 사과 보도를 포함한 적절한 조치를 강력히 촉구하는 바입니다. 베르너, 신정식 ---------- a |