| [ PhilosophyThought ] in KIDS 글 쓴 이(By): chopin (**쇼팽**) 날 짜 (Date): 1999년 3월 13일 토요일 오전 03시 21분 55초 제 목(Title): [계층구조론] 뉴럴넷 분야의 미래 뉴럴넷 분야의 미래. 저는 뉴럴넷 분야에 대해서는 오랫동안 깊은 관심을 가지고 지켜보고 있습니다. 뉴럴넷이라는 구조는 순수히 인간이 창조해 낸 것이 아닙니다. 이미 그 출발에서 부터 뉴런의 물리적인 성질을 수학적으로 최소화하여 모델링함으로서 시작하였고 그 후의 거의 모든 발전은 인간의 뇌와 같은 자연계에 이미 존재하는 구조를 발견하고 관찰하고 반영함으로서 이루어져 왔습니다. 최초의 뉴럴넷 모델은 1943년 McCulloch와 Pitts가 뇌의 뉴런을 간단한 선형 방적식으로 단순화 하여 세상에 모습을 보이게 되었습니다. 이 모델은 그 시작에서 부터 대단히 순탄치 못한 길을 걷게 된 운명을 타고 났습니다. 출발에서 부터 비슷한 시기에 탄생한 인공지능분야들의 대가로 부터 그 한계에 대한 강한 비판을 받고 거의 침몰하고 말았습니다. "Perceptron의 한계"라는 이름으로 두꺼운 책까지 써가며 최초의 뉴런모델을 사장시킨 장본인은 바로 인공지능분야의 창시자의 한사람인 마빈민스키입니다. ( 여담 한말씀: 마빈민스키 이사람 아직도 살아 있습니다. 뉴럴넷 분야가 암흑기를 지나 부활기를 맞았던 90년대 초반 저는 마빈민스키가 인터넷의 뉴스그룹에 직접 자신이 초기 뉴럴넷 분야를 사장시킨 전력으로 역사를 후퇴 시킨 사건에 대한 직접적인 반론을 올린 글을 본적이 있습니다. 그사람은 자신이 Perceptron의 한계라는 책을 쓸때는 뉴럴넷이라는 분야자체가 아직 제대로 탄생도 되지 않았던 시절이었고, 제대로 아는 사람도 없었으며 따라서 사장시킨거도 없다고 항변을 하더군요. -_- ) 그 후의 긴 암흑기를 지나 뉴럴 넷을 다시 부활시킨 것은 물리학자였던 홉필드가 제안한 네트웍이었습니다. 홉필드는 기체분자의 통계역학적 현상을 그대로 뉴럴넷에 반영하여 복잡한 뉴럴넷의 행동을 물리학의 기체분자를 다루는 이론과 같이 거시적인 안목에서 다룰 수 있는 이론적이고 수학적인 기반을 다져주었습니다. (이 모델은 제 학부졸업논문이 된 주제라서 기억이 새롭군요) 뇌의 억제성 시넵스가 발견된후 Grossberg, Kohonen모델과 같은 Unsupervised competitve Learning network이 도입되어 시각처리, 개념과 관련된 학습에 새로운 가능성을 열어주었습니다. 그 이후 뉴럴넷 분야는 다시 제2의 암흑기를 맞고 있습니다. 뉴럴넷 분야가 암흑기에 들어온 것은 궁극적으로 뇌에서 사용되는 모델이기는 하나 아직 지능과 같은 초상위 레벨에 이르는 거리가 너무나 멀고, 당장 AI분야 사람들은 손앞에 비슷한 결과를 내놓을 수 있는 다른 모델로 옮겨가지 않을 수 없기 때문입니다. 또 한가지는 뉴럴넷에 대한 정확한 이해가 부족한 점도 그 중 하나입니다. 뉴럴넷에 대한 왜곡된 시각을 한 전파한 것이 "역전사모델"(Backpropagation network)입니다. 많은 뉴럴넷 서적에서는 이 역전사모델을 가장 처음 소개하는 바람에 많은 사람들이 역전사모델로 뉴럴넷의 근본을 파악하는 어처구니 없는 오해를 범하고 있습니다. 역전사모델은 뇌에는 존재하지 않는, 사람이 인공적으로 상상해낸 학습법을 사용하는 모델입니다. 흔히들 뉴럴넷 하면 역전사모델을 말하곤 하는데 이는 주객이 전도된 것입니다. (뉴럴넷하면 Unsupervised network이나 Unsupervised competitive network 이 대표가 되는 모델입니다.) 역전사모델에서는 입력과 출력을 정해주고 역전사 학습법에 의해 그 안의 학습강도를 조절하는 방법으로 학습을 하게 되는데 이 과정이 수치해석에서의 linear interpolation이나, Line fitting등과 수학적으로 동일합니다. 따라서 이 모델로는 주로 입력과 출력이 정해진 경우 그 사이를 매핑하는 문제에 수도 없이 쓰여 왔습니다. 그리고 대부분의 경우 뉴럴넷이 아닌 다른 모델에 비해 성능이 별로 좋지 않습니다. 앞에서도 한분이 뉴럴넷을 이러한 입력과 출력을 주고 대충 돌리면 문제를 풀어주는 식의 모델인 것처럼 말씀하셨는데 진짜 뉴럴넷이 들으면 대단히 섭한 말씀입니다. (^^) 뉴럴넷의 본질은 그 안의 연결구조에 있습니다. 연결 구조를 어떻게 하느냐에 따라 어떤 기능을 할지, 어떤 행동을 할지가 결정됩니다. 컴퓨터에게 어떤 일을 시킬지를 프로그램으로 만들어 주듯이, 뉴럴넷에게 일을 시킬려면 그 일에 적합한 연결구조를 만들어 줘야됩니다. 그 안의 연결 구조가 바로 컴퓨터의 프로그램에 해당하는 것입니다. 단, 뉴럴넷에서는 엄청난 recursion을 만들어지는 것이 보통이므로 그 프로그램의 행동을 이해하는 것은 대단히 난해 할 가능성이 있습니다. 우리의 뇌 안에는 뉴런들이 그 맡은 일에 따라 적합한 연결구조를 가지고 있습니다. 예를 들면 시각피질에서는 정보를 한방향으로 처리하는 feed forward구조를 가지고 있고, 소뇌에서는 운동기억을 위해 큰 피라미드 뉴런이 기둥을 이루고 있고 부드러운 근육운동을 위한 억제성 뉴런들이 곁가지를 치고 있습니다. 우리가 뇌에 대해 연구를 한다는 것도 뇌안에 이런 뉴런의 연결 구조가 어떻게 되어 있는가를 밝히는 것입니다. 비록 지금은 침체되어 있지만 앞으로의 뉴럴넷의 분야의 가능성은 충분이 무한한 가능성을 가지고 있습니다. 실제 뉴럴넷은 이리 저리 상상해서 만들어 낸 것이 아니라 뇌와 같은 이미 존재하는 네트웍구조를 연구하면서 모방,축소해가며 발전해 온 분야입니다. 앞으로 뇌에 대한 비밀이 하나 씩 풀려 갈 수록 뉴럴넷분야에 미칠 영향력은 엄청날 것입니다. 궁극적으로 뇌를 컴퓨터안에 심어 넣고 시뮬레이션 할 수 있는 개념레벨은 뉴런레벨이기 때문에 뉴럴넷분야는 다시 부흥기가 오지 않을 수 없습니다. 또 한가지 뉴럴넷 분야에 대한 가능성 한가지는 "진화"와 연결되어 생성모델 쪽으로 발전하는 것입니다. 이 분야는 제가 현재 열심히 파고 들고 있는 분야이고 개인적으로 모델도 만들어 나가고 있고 작은 실험도 준비중에 있습니다. 결과의 성패를 떠나서 이 분야가 앞으로 발전해 나갈 가능성은 충분합니다. 이 분야는 당장은 뇌의 뉴런 구조를 모사하면서 발전해 나갈 뉴럴넷 분야보다는 느리게 발전하겠지만, 그 후의 먼 장래에는 이 분야가 상상도 못할 결과들을 만들어 줄 것이라고 확신하고 있습니다. 과거에 진화에 대한 글을 써보겠다고 약속한 적이 있는데 그것은 제 시도가 어느 정도 성공을 한 후에나 가능할 것 같군요. 물론 영원히 그날이 안올지도... ^^. 이 글을 마치면서 한가지만 강조하고 마치겠습니다. "모든 정보는 구조에서 나온다" __ 쇼팽 |