応用情報技術者 予想問題｜練習問題 第8問

解説

シャノンの情報量は、発生確率Pの事象が起きたことを知ったとき得られる情報の量をI＝−log₂P（ビット）で定義する。P＝1/4を代入すると、I＝−log₂(1/4)＝log₂4＝2ビットとなる。これは、4つの等確率の候補から1つを特定するには、2択の質問（1ビット）を2回行えばよいことに対応する。1ビットはP＝1/2、3ビットはP＝1/8、4ビットはP＝1/16の場合の値であり、確率の読み違いや対数計算の誤りによる誤答である。定義式から、確率が低い（珍しい）事象ほど情報量は大きく、確率1の必ず起こる事象の情報量は0となる。各事象の情報量を発生確率で重み付けした期待値が平均情報量（エントロピー）であることも、情報理論分野の頻出知識として併せて覚えておきたい。