Entropy: 엔트로피 관련 짧은 글

Entropy

Entropy 또는 엔트로피는 정보의 양을 나타내는 용어이다. 이것은 정보이론 분야에서 정보라는 무형의 대상을 정량화하기 위해 도입한 개념이다.

엔트로피는 특정 확률의 역수로 나타낸다. 확률의 역수를 생각해 보면 확률이 높으면 엔트로피가 낮고, 반대로 확률이 낮으면 엔트로피가 높게되는 관계를 가지게된다. 이 말을 쉽게 쓰면 확률이 높으면 정보 양이 작고, 확률이 낮으면 정보의 양이 많다라고 쓸 수 있다.

엔트로피를 수식으로 나타내기 위해 앞에서 설명한 것들을 기호로 정리하면 엔트로피 $h(x)$ 는 이벤트 $x$가 발생할 확률 $p(x)$ 의 역수로 나타낼 수 있다.

$$h(x) = \frac{1}{p(x)}$$

 

위와 같은 분수꼴 모양을 사람들이 싫어 하기 때문에 $\log$ 를 취하게 되면 다음과 같은 형태가 된다.

 

$$h(x)=\log \frac {1}{p(x)} = -\log p(x)$$

 

쉬운 예를 하나 들면 오늘 비가 올 확률이 10%이고 비가 오지 않을 확률이 90%일 때 각각의 엔트로피를 구해 보자.

$$h(0.1)_{비올확률}=-\log 0.1= 2.3\\ h(0.9)_{비안올확률}=-\log 0.9 = 0.105\\$$

 

위에서 구한 엔트로피 결과로 어떤 것을 알 수 있을까?

결과를 다시 적어 보면 오늘 비가 올 확률이 10%일때 엔트로피는2.3으로 그 반대의 경우 엔트로피는 0.105가 된다. 여기서 90%의 확률로 비가 오지 않을 것이라는 것에 대한 엔트로피가 0.105의 낮은 엔트로피를 갖는 것에 대한 의미는 비가 안올것을 뻔히 예상 하고 있기 때문에 비가 안온다는 것에 놀랄 만항 정보가 정보가 없다라는 것을 의미한다. 반대로 여기서 10%의 확률로 비가 올것에 대한 엔트로피는 2.3으로 높은 엔트로피를 갖는데 이것은 예상하지 못한 비가 올 때 놀랄만 정보를 제공 했다라는 의미를 포함하고 있다.

즉 엔트로피가 낮다라는 것은 이미 상태가 정해져 있는 것을 의미하고 반대로 앤트로피가 높다는 것은 상태가 정해져 있지 않다라는 것을 의미한다.