| [ PhilosophyThought ] in KIDS 글 쓴 이(By): chopin (**쇼팽**) 날 짜 (Date): 1999년 3월 6일 토요일 오전 04시 21분 40초 제 목(Title): [계층구조론]답변: 확률통계의 Top-Down추� 확률통계의 Top-down추정법. pinkrose wrote: >위에서 예로 구름의 생성에 대해 들었는데, 컴퓨터 시뮬레이션의 구름의 예는 >오히려 하위구조 --> 상위구조의 예가 아니라 상위구조 --> 하위구조의 예가 >아닐까하네요. .. >..(with probability p). 물분자가 계속 반사한다면, 심지어는 뭉쳐져서 스피드와 >방향이 바뀔때도, ... > ... 물론 위에서 말한 확률 p를 구하기위해서는 실제적 물리적 >실험이 필요할것입니다. 그러나 이러한 확률 p(paramter)를 estimate하는데는 >굳이 분자레벨의 응집력을 관찰하지 않아도 물리의 수많은 상위구조 -->하위구조 >실험으로 global한 물리적성질의 측정으로 충분히 근사를 할수있게됩니다. >결론적으로는 구름의 시뮬레이션은 하위구조-->상위구조(bottom-up model)의 >예가 아니라 상위구조--> 하위구조의 예입니다. => 확률p가 구름이라는 상위계층아래의 하위구조의 개념레벨에 위치한 개념이고 이 경우는 상위구조의 설명을 위해서 하위구조의 개념을 도입한 경우에 해당합니다. 하위 개념을 도입하고 그 개념으로 부터 상위레벨의 개념과 연결시키려는 시도 자체는 Bottom-Up방식으로 볼 수 있습니다. 단, 확률p를 추정하기 위해서 상위구조에 나타나는 현상과 데이타를 이용하여 추정한 방법은 top-down추정법으로 분류할 수 있다. 이러한 추정법으로 확률통계분야에서 개발된 여러가지 방법 MLE(Maximum Likelyhood Estimation), MDL추정법(Minimum Dscription Length estimation), Minimum Entroy추정법, Maximum Entroy추정법등의 많은 확률통계분야의 추론방법들이 이에 해당됩니다. 하지만 이 추정법들은 외부로 드러나는 데이타들을 설명할 하위계층의 모델이 만들어져야만 적용이 가능한 방법들입니다. 즉, 하위계층모델을 인간의 직관과 하위계층에 대한 관찰에 의해 만들어 내고 그 모델들에 사용하는 패러매터만을 조정하는 방법으로, 하위계층개념(여기서는 확률변수p)을 도입하는 곳에서 이미 Bottom-Up방식의 접근 법이 사실상 그 안에 포함되어 있는 셈입니다. 즉, 하위 계층의 개념모델을 얼마나 정확히 만들어 느냐에 따라서 Bottom-Up방법이 어느정도 쓰였는지를 말할 수 있습니다. 구름에 대한 모델링의 경우 확률p값이 이미 구름레벨에서는 존재하지 않는 개념이고 구름의 아래 "수증기분자"레벨에 존재하는 개념에 해당되므로 사실상 구름에 대한 설명을 위해 아랫 계층을 찾아간 탐구법입니다. 그리고 그 변수 p가 사실상 구름분자를 모델링 한 것으로 이 변수에 대한 성질을 얼마나 잘 표현했느냐가 그 모델의 성능을 좌우합니다. 실제로 구름을 모델링 하기 위한 변수p에 이미 "수증기분자"라는 하위개념이 함축되어 있는 셈입니다. 구름의 외부적인 행동을 측정하여 확률변수 p를 추정하는 방법자체는 분명한 top-down방법에 해당하는 방법입니다. 하지만 확률변수p에 대한 기술과 표현을 제대로 하지 못한 상태에서는 제 아무리 날고 기는 추정법을 사용 한다 하더라도 결코 올바른 해답에 접근 할 수 없고, 결국에 확률변수 p에 해당하는 개념 - 즉, 하위 구조의 모델링을 얼마나 잘 하느냐 에 따라서 전체 모델의 성능이 좌우되고 성패가 결정된다는 것입니다. 또 한가지 하위 개념레벨에 위치한 p에 대한 기술을 정확히 하기 위해서는 아주 선형문제와 같은 간단한 문제가 아닌 경우를 제외하고는 그 레벨의 개념p에 해당하는 현상들을 직접 관찰해야 합니다. 하위레벨의 행동을 관찰하지 않고 상위레벨의 행동만을 관찰해서 인간이 만들어 낼 수 있는 모델들은 선형모델뿐입니다. top-down접근법과 추정법 - 이 방법이 문제에 따라서 그리고 경우에 따라서 얼마나 무모하고 황당무개한 방법이 될 수 있는 지를 주장하려는게 제 주장의 요지입니다. 이 글을 다 읽고 구름의 외부행동 - 예를 들면 구름 밀도나 구름 색, 온도, 등등 - 정보들 모아서 그 하부구조인 확률변수 p를 추정하는 방법을 쓰려고 할 때 무슨 문제점이 있고 왜 구름과 같은 문제에서나 겨우 적용가능한지 , 그리고 사람과 같은 개체를 탐구할 때는 같은 접근 법이 어떤 문제가 있고, 어떤 한계점이 있고 , 그리고 어느 부분에서는 황당무개한 방법일 수 밖에 없는 지를 제대로 이해한다면 이 글의 취지가 완벽히 전달 된 것입니다. >오히려 각가의 물분자에대한 완벽한 정보(각각의 물분자의 위치,속력등)는 >실제 구름을 기술하는데 있어서는 별 소용이 없는 정보임을 할수있습니다. >가끔, 과학에서는 overloading of information이 문제가 되지, lack of imformation >(data)가 문제가 안되는경우가 있습니다. 수리통계에서는 information이 >overload가 되었는지 안되었는지에 대해 sufficient stat.이라는 색다른 >개념을 도입합니다. 벨렙의 샤논이 창시한 인포메이션 이론에서도 maxium >information에대한 개념을 다룹니다. ==> Maximum Entropy(maximum information???이렇게 부르는 사람도 있나요?)은 확률통계를 기반으로 하는 양자역학에서 탄생한 개념으로 1950년대(51년?) Physical Review저널에 실린 Jaynes의 논문으로 부터 출발합니다. 이 개념은 최근에 들어서 확률기반 추론 모델에서 사용할 수 있는 것으로 그 가능성이 앞으로 매우 크고, 확률기반 모델로 heterogenious한 다량의 정보를 혼합할 수 있는 거의 유일한 모델입니다. 몇년전 이 모델을 이용해서 논문하나를 발표한 덕에 저는 처음으로 유럽여행을 떠났던 ( 물론 논문발표하러 )적이 있습니다. 저에게는 아주 고마운 효자topic입니다. 이 이론은 50년대 양자역학에서 만들어낸 것으로 소수의 앞서가는 사람들이 몇년 전부터 발굴하여 사용하는데 앞장서오고 있는데 pinkrose님이 알고 계시다니 놀랍습니다. 그리고 요즘 information theory에서도 다룬다니 아주 좋은 책을 구하신거 같군요. 제가 가지고 있는 책들은 상당히 최근 것들인데도 아주 간략한 설명만 있거나 전혀 나오지 않습니다. 무엇을 말씀하려는 지는 이해가 갑니다. 상위레벨의 좀더 추상적인 개념화가 실제 모델링에 도움을 주는 경우가 많이 있습니다. 그런데 불행히도 Maximum entroy 추정법은 그 와는 별 상관이 없는 추정법입니다. 이 추정법의 성패를 결정하는 것은 하위레벨의 개념 즉, 확률p에 대한 모델링입니다. 이 역시 얼마나 하위개념을 잘 잡았느냐에 따라서 상위계층의 결과들이 얼마나 잘 기술되는가가 결정됩니다. 단, 아마도 상위계층의 사건들을 통계적으로 분석함으로서 하위의 개념에 해당하는 확률변수 p에 대한 추정을 할 수 있음을 이야기 하는 것으로 생각되는데.. 이부분은 정확히 Top-down접근법이 맞습니다. 하지만 불행히도 이 추정법은 항상 convex를 갖는 탐색공간내에서 해를 찾아나가는 방법임이 증명되었습니다. 즉, 언제나 어디서나 모델의 엔트로피를 최대로 하는 p를 구할 수 있고 이는 곧 이 모델은 "선형추정법"을 벗어나지 못했다는 이야기 입니다. 역시 비선형의 세계에는 무용지물이라는 이야기입니다. 최대엔트로피 추정법을 포함한 모든 확률통계의 방법론은 선형(linear)의 방법론 뿐입니다. 제가 만들어서 발표한 모델 역시 이 확률변수 p를 최대 엔트로피가 되는 점을 찾아서 구하는 방법인데, 이 모델의 한계는 제가 만들어 봐서 아주 잘압니다. 확률변수 p에대한 기술을 아주 상세히 해야 하고 그에 따라 성능이 좌우 됩니다. 결국 하위개념에 해당하는 확률변수p를 얼마나 잘 기술하고 표현하느냐가 그 모델의 성능을 좌우한다는 뜻입니다. 결국 bottom-up방법이 되어 버리고 말죠. __ 쇼팽 |