| [ PhilosophyThought ] in KIDS 글 쓴 이(By): chopin (**쇼팽**) 날 짜 (Date): 1999년 3월 24일 수요일 오전 12시 35분 21초 제 목(Title): [계층구조론]역전사모델에 대해 cella님 wrote. >두뇌가 그렇게 각각 >의 조합을 전담하는 뉴론들이 따로따로 있는 식으로 구성돼 >있다는 건 Artificial NN 과는 다르다는 얘기가 되는 건가요? >그러니까 인지과학의 실험결과들은 ANN 과 모순되는 것인지. cella님이 생각하는 Artificial NN은 Back-propagation network, 역전사 모델을 지칭하고 있는 것입니다. 이 모델은 뇌의 뉴런구조와 아무련 관련이 없는 모델입니다. 뉴런넷 분야는 뇌의 뉴런 구조를 모방 하면서 발전한 분야입니다. 따라서 뇌의 뉴런 구조들을 가장 잘 반영한 모델들이 그 대표모델이 되는 것이 자연스럽습니다. Back-propagation모델은 Supervised learning을 사용하는 모델입니다. 또한 뇌의 뉴런레벨에서는 Supervised learning이라는게 발견되지 않았습니다. 물론 사람의 상상력으로 갖가지 Supervised learning을 만드는 것이 가능하지만 그런 모델들은 뇌의 구조와는 아무런 상관이 없는 모델이라는 것을 잊어서는 안됩니다. 뉴럴넷을 대표하는 모델은 Hebbian learning을 바탕으로 하는 Unsupervised learning network, Unsupervised competitive network이 되어야 합니다. 뉴럴넷 분야의 발전을 위해서 Back-propagation모델은 빨랑 좀 사라져 줬음 좋겠다는 생각이 드는군요.. 쓸데 없이 생겨서 많은 사람들에게 뉴럴넷에 대한 왜곡된 시각을 전파하는데 결정적인 공헌을 하고 있으니 말입니다. 제발 뇌와 뉴럴넷 이야기를 할 때는 Back-propagatoin모델은 제외시킵시다! cella님 wrote: >예를 들어 ANN 에서 문자인식 같은 걸 시킬때, 보통 한 뉴론이 여러 문자인식에 >참여하게 되지 않습니까? 물론, multilayer perceptron 같은 경우에 >output layer 에서는 한 뉴론이 한 문자에 대응된다는 게 맞는 얘기지만, >중간 layer 에서는 그렇지가 않은데.. Back-propagation의 hidden layer에서는 선형대수에서의 matrix를 이용한 매핑과정이 일어나게 됩니다. 그 안의 뉴런이 어떤 값을 갖는 가는 그 매핑 과정에 달려있을 뿐이죠. 또한 그 안의 뉴런은 "개념"에 대한 표현이 전혀 없습니다. 뉴런들의 연결구조에 대한 아무런 고려도 하지 않고 무조건 연결 시키고 Back-propagate시켜서 학습하는 것은 그냥 선형대수의 Matrx연산으로 Inversion Matrix구하고 대충 근사시키는 Matrix를 구하는 과정과 수학적으로 동일합니다. Back-propagation은 무늬만 뉴럴넷이지 그냥 선형대수의 매트릭스 연산에 의한 매핑찾기나 마찬가지입니다. 이런 단순하고 별볼일 없는 모델로 뉴럴넷과 뇌를 대표하는 생각하지는 말아 주십시오. 제발~ Back-propagation모델에서는 그 hidden layer의 구조를 완전히 무시하고 있는 모델입니다.그 안의 연결구조는 어떻게 되는지 모르니까 대충 해놓고 학습데이타로 부터 오차를내서 미분해서 학습하자는 방식이 Back-propagation 모델입니다. 이 모델 당연히 성능이 다른 방식에 비해서 떨어집니다... 제가 기억하고 봐왔던 Back-propagation을 적용한 문제들은 다른 방식의 해법과 비교해서 거의 대부분이 성능이 떨어집니다. 뉴럴넷을 이용한 모델링 문제에서는 뉴럴넷의 연결구조를 어떻게 하느냐가 뉴럴넷 모델링의 거의 전부입니다. 이 중요한 문제를 무시하고 hidden layer는 똑같이 대충 만들어 놓고 역전사학습해서 결정한다는 방법은 선형의 논리로 역추적하여 hidden layer의 연결강도를 조정하는 것이고 그 안의 결과도 선형논리의 조합에 불과합니다. 선형대수의 Inversion Matrix구하는 것하고 완전히 동일합니다. 학습데이타만을 보고 그 안의 뉴럴넷 구조가 자동으로 학습되어 만들어지게 하겠다는 발상은 대단히 무모한 발상입니다. 계층구조론을 설명하면서 제가 줄기차게 주장하는 부분이 이부분입니다. 문제에 따라 적당한 제약 조건들과 내부 구조를 정해줘야 이러한 일들이 가능합니다. 뇌에서 사용하는 학습이 어떻게 이뤄지는 가를 알아내는 것이 이러한 제약조건이 무엇인가를 알아내는 것이고 그렇다 하더라도 뇌가 학습한 뉴런의 구조는 단순무식한 결과-선형논리의 조합 -일 수 밖에 없습니다. 물론 DNA를 이용해 뉴런구조가 생성되기 때문에 복잡한 구조가 들어있음이 분명합니다. (실제로 뉴런들은 프랙탈 구조를 하고 있습니다.) 하지만 학습으로는 결코 선형적인 구조 이상의 복잡한 구조를 만들어 낼 수 없습니다. 뉴럴넷 안에 어떤 구조를 만들어 넣어야 할까를 고민하는 일이 뉴럴넷 모델링의 거의 다입니다. hidden layer가 어떻게 되는지 모르니까 대충 돌려서 Supervised learning이나 해보자는 식의 발상의 모델은 뇌 연구와 더불어 빨리 사장되어 버렸으면 속이 시원하겠습니다. 그냥 Matrix써서 Inversion구하지 머하러 뉴런 씁니까...즈응말... ^^ 다시한번 강조합니다!. 모든 정보는 구조에서온다~ 구조를 무시하는 모델은 무시당해도 쌉니다. __ 쇼팽 |