イラストで学ぶ情報理論の考え方　改訂第2版

内容紹介

目次

第1章　情報理論の概要
1.1 情報源の符号化
1.2 通信路の符号化

第2章　情報の表現
2.1 集合
2.2 2進数
2.3 アルファベットと符号化
2.4 ASCII符号

第3章　確率の基礎
3.1 事象と確率
3.2 条件付き確率と事象の独立性
3.3 確率変数と確率分布
3.4 平均と分散

第4章　情報量
4.1 エントロピー
4.2 同時エントロピーと条件付きエントロピー
4.3 ダイバージェンスと相互情報量

第5章　情報量の性質
5.1 エントロピーの加法性
5.2 相互情報量の性質
5.3 イェンゼンの不等式とその応用
5.4 ダイバージェンスの性質とその応用
5.5 対数和不等式とその応用

第6章　情報源のモデルとエントロピーレート
6.1 情報源のモデル
6.2 マルコフ情報源
6.3 エントロピーレート
6.4 英文の情報源モデル
6.5 定常情報源のエントロピーレート

第7章　典型系列とその性質
7.1 大数の法則
7.2 漸近等分割性と無記憶情報源の典型系列
7.3 典型系列の応用

第8章　情報源の符号化
8.1 符号の例
8.2 クラフトの不等式
8.3 平均符号語長の限界

第9章　ハフマン符号とLZ符号
9.1 ハフマン符号
9.2 LZ 符号

第10章　通信路のモデルと通信路容量
10.1 情報通信のモデル
10.2 通信路
10.3 通信路容量
10.4 対称通信路の通信路容量

第11章　通信路符号化定理
11.1 通信路符号と通信路符号化定理
11.2 同時典型系列とその性質
11.3 通信路符号化定理の証明
11.4 ファノの不等式と通信路符号化逆定理

第12章　誤り訂正符号
12.1 2元体
12.2 単一パリティ検査符号と線形符号
12.3 ハミング符号
12.4 最小距離と誤り訂正能力
12.5 復号誤り率が零に収束する符号列の構成法