| [ KAIST ] in KIDS 글 쓴 이(By): dkkang (온톨로지) 날 짜 (Date): 2003년 12월 6일 토요일 오전 06시 33분 19초 제 목(Title): Re: [질문] information theory 찾아보면 단순히 엔트로피를 정의하는 데 있어서도, 새논만이 아니라 여러 사람들이 정의를 했습니다. Renyi (이건 발음도 모르겠음) 엔트로피인가요? 그거와 새논 엔트로피는 특별한 관계가 있습니까? 아니면 한 쪽이 다른 한 쪽의 스페션 폼에 불과한건지.. 그렇다면 왜 그런 식으로 여러가지가 있는지가 속시원히 설명이 안되더군요. 그냥 이렇게 해봤다. 저렇게 해봤다. 퍼블리케이션 잘 봤습니다. 잘 읽겠습니다. 쇼팽님이 하시는 일들이 저하고 commonality가 꽤 있군요. 잘 참조하고, 귀찮지만 않으시다면 가끔 질문도 드리겠습니다. 저도 지금 Agglomerative Hierarchical Clustering을 사용하고 있습니다. 아직 안읽어봤습니다만, 솔직히 결국 쇼팽님이 제시하신 measure들이 과연 저의 어플리케이션에 맞는지, 아니 더 나아가 특정한 어플리케이션에 최적인지는 실험을 해 보기 전에는 또 알 수 없는 일인 겁니까? 만일 그렇다면 결국 단순하게 두 개의 확률 분포 간의 similarity에도 만능 measure를 찾는 것은 open problem인가요? Cover 꺼 책은 안봤습니다만, 전 Arndt 의 information measures라는 걸 도서관서 빌려서 발췌해서 보고 있는 데, 전자공학적인 부분은 없습니다만, 단순히 measure를 수학적으로 탐색해본 측면에서는 Cover 꺼에 비해서 질이 떨어지는 거 같지는 않더군요. |