| [ PhilosophyThought ] in KIDS 글 쓴 이(By): chopin (**쇼팽**) 날 짜 (Date): 1999년 3월 8일 월요일 오후 09시 10분 41초 제 목(Title): [계층구조론] 확률통계론적 귀납법 확률통계론적 귀납법 겉으로 드러나는 사건들을 수집하여 내부의 생성 규칙을 알아내는 것을 철학으로 하는 귀납법과 같은 추론 방법은 수학적 귀납법에서만 존재하는 것은 아니고 넓은 범위로 보면 많은 학문 분야에서 이를 적용하여 실제로 많은 문제에서 괄목할 만한 성과를 거두고 있습니다. 그 중 가장 중요한 분야가 "확률통계(Probability & Statistics)"분야입니다. 현대 확률통계 분야에서는 주어진 데이타만을 가지고 그 데이타들의 특성과 성질을 추출해 내고 나아가 미지의 데이타들도 생성해 내는 원리를 어느 정도 추론해 내는 도구를 만들고 발전시켜오고 있습니다. 확률모델에서 가장 고전적인 Top-Down 추론 모델은 MLE(Maximum Likelyhood Estimation)추정 방법입니다. 이 추정법은 사건을 만들어낸 확률분포 p에 대해 완전히 무지하고, 독립사건이라는 가정하에 이 확률분포를 추론해 냅니다. 이 원리는 사살상 거의 모든 공학분야의 데이타 분석 모델에서 그 기반을 이루고 있는 모델입니다. 많은 인공지능 분야, 특히 음성인식과 언어모델링, 필기체인식 문제에서 HMM(Hidden Markov Model)이라는 모델이 최근까지 상당한 성과를 거뒀 습니다(물론 예전과 비교할 때 상당한 성과이고 지능과는 아직도 태양과 지구의 거리보다 더 거리가 멉니다) 이 모델에서도 역시 MLE추정법이 transition확률이나 사건확률 p를 찾아내는데 핵심적인 역할을 하고 있습니다. 확률모델에서 새로이 성취한 것으로 생각하고 있는 unsupervised 학습법 역시 이 MLE 추정법이 핵심을 이루고 있습니다. 여러가지 분야와 문제에서 데이타만을 주면 그 하부에 숨겨있는 확률분포를 찾아내는 데 MLE추정법이 많은 기여를 하고 있는 것은 사실이지만, 실제 모든 모델에서는 그 사건확률 p에 대한 성질을 어떻게 하고 어떻게 실제 문제에 근사하느냐에 그 성패가 달여 있습니다. MLE추정법자체는 약간의 도움을 줄 뿐입니다. 이 추정법 역시 완벽한 선형논리에 근거한 추론 법으로 사실상 모든 우리가 알고 있는 Top-Down방식의 추론법은 모두 선형논리만을 추론해 내는 추론 법입니다. 주어진 문제의 모델을 그 문제의 성격과 특성을 추출하여 만드는 과정은 분명 상위레벨의 현상을 설명하기 위한 모델을 하부레벨의 관찰을 통해서 접근하는 방법으로 Bottom-Up접근 방법입니다. 이외의 다른 추정법들은 많은 경우 MLE의 변형이고 , Maximum Entropy Estimation , MDL(Minimum Discription Length) 등은 양자역학이 탄생시킨 또 다른 추정법으로 근본 철학은 MLE와 같지만 접근 방법은 MLE와 정 반대인 것들이 있습니다. (Minimum Entropy 추정법과 Maximum Entropy추정법에 대한 이야기를 하자면 상당히 재미있는 이야기가 많은데 철학보드에서 이런 이야기 하기는 좀 부적절한 것 같아서 생략하겠습니다.) 이러한 확률모델에서의 귀납법들역시 그 한계는 명확합니다. 오로지 선형논리 ( 그러니까 A->B이다 이런 식의 논리)만이 추론 가능합니다. 현재 존재하는 지구상의 어떤 논리도 선형이 아닌 논리에 대한 추론 방법을 기술하는 방법은 존재하지 않습니다. 모든 수학의 이론도 생성(Bottom-Up)을 목적으로 할 때만 재귀논리를 포함한 비선형 논리를 사용하고 있고, 비선형으로 생성된 사실을 역추론하기 위해 만들어진 방법론은 존재 하지 않습니다. __ 쇼팽 |