| [ QuizWit ] in KIDS 글 쓴 이(By): bowen (Rufus) 날 짜 (Date): 1996년03월08일(금) 01시45분19초 KST 제 목(Title): Re: 컴퓨터 퀴즈 아웃사이더 님의 질문에는 제가 답해 드리지요... 흔히 정보이론에서 말하는 엔트로피는 통계물리학에서의 엔트로피와는 약간 다른개념 입니다.(대가들이 보기에는 같은 개념이라고 합니다만.) 이 엔트로피는 동력학 이론(dynamical system)에서 나오는 개념으로 샤논이 처음 정의하고 그 후 콜로그로프, 시나이, 애들러 등이 발전시킨 개념으로서. 어떤 공간에서 자기자신에서 자기자신으로 가는 함수가 있을때 그 함수가 그 공간을 얼마나 잘 섞어주나 하는 것을 나타내 주는 것 있니다. (잘 섞는 다는 것은 저의 직관에 의한 설명입니다.) 컴퓨터 화일 같은 경우에는 무한히 긴 심볼들이 이어져 있는(길이가 무한대인 화일 같은 개념) 들의 공간을 생각하고 함수(또는 사상)을 왼쪽으로 한자리씩 당겨주는 사상을 생각해서 이론을 전개하면 됩니다. 데이타를 압축하는 것은 엔트로피를 줄이는 것으로 볼 수 있으며. 한번 압축하면 더 이상 압축이 안되는 것은 엔트로피가 최대가 되었기 때문입니다. 이론적으로 요즘 많이 쓰이는 ZIP같은거나 대부분은 LZ코딩이라는 것을 쓰는데 이것은 최대 엔트로피까지 압축시킬수 있다는 것이 수학적으로 증명되어 있읍니다. 이러한 이론을 이해하기 위해서는 측도론에대한 정확한 이해가 있어야 하는데 전산하시는 분들이 이해하기에는 어려운 점이 있는것이 사실입니다. 저도 잘 이해가 안되요...히히.. 더 궁금하신게 있으면 글 올려 주세요... 그럼 이만.. |