코딩복습장

자 샤논 엔트로피를 검색해보자 일반적으로 엔트로피는 무질서도 또는 불확실성을 가리킨다. 섀넌 엔트로피의 개념은 클로드 섀넌이 자신의 1948년 논문 "수학적 통신 이론"에서 도입하였다.[1] 섀넌 엔트로피는 정보 소스(source)를 무손실 인코딩 또는 압축할 때 가능한 최상의 평균 길이의 절대적 한계치를 제공해준다 출처는 나무위키다. 정말 무슨 소리인지 하나도 모르겠다. 그래서 정리를 시작했다... 샤논은 정보를 bits라는 것으로 표현했는데 이는 0, 1로 표시한다는 뜻이다. 위의 가능한 최상의 평균 길이의 절대적 한계치란 가장 효율적으로 즉 가장 짧은 길이의 bits로 정보를 무손실 인코딩 (압축)한 경우를 말하는 것이다. 예를 들어보자! 내가 교수님께 하트를 보낼 확률을 p(x1)라고 하자 내가 ..