基本情報技術者 予想問題｜A 第22問

解説

シャノンの情報理論では、確率pで起こる事象の情報量を−log2(p)と定義し、その期待値（平均情報量）をエントロピーと呼ぶ。対数の底を2とするため単位はビット（bit）であり、「ビット」が正解である。例えば確率1/2の事象の情報量は−log2(1/2)＝1ビット、確率1/8の事象なら−log2(1/8)＝3ビットとなる。エントロピーは情報源の不確かさを表し、すべての事象が等確率のときに最大となる。バイトは8ビットをまとめたデータ量の単位、ワードはCPUが一度に処理するビット数を表す単位、オクテットは8ビットの並びを指す通信分野の用語であり、いずれもエントロピーの単位としては用いない。基本情報技術者試験では、情報量の定義式を使った計算問題（発生確率から情報量を求める）が頻出ポイントである。