前半では、情報通信ネットワークの数学的モデルを自由に取り扱えるようになるために、学部で学習した情報理論の基礎を復習した後、幾つかの情報量の尺度の定義とその性質を学ぶ。次に、定常性やエルゴード性を仮定しない最も一般的な情報源/通信路である一般情報源/通信路を取り上げ、符号化定理とその意味を理解する。更に、上で述べた定理の応用として、情報源符号化と乱数生成の関係、歪みを許した情報源符号化法の限界、相関を有する複数の情報源や多ユーザ間の通信路の符号化問題についても学習する。後半では、符号理論の基礎を復習した後に、符号化と復号に必要な計算量を比較し、低計算量で実装可能な誤り訂正符号の重要性を理解する。Sum-ProductアルゴリズムとLow-Density Parity-Check符号を定義し、アルゴリズムの導出原理と性能解析法を学習する。さらに、通信路容量を達成する符号の設計法と、有記憶通信路の符号化、情報圧縮、パケット消失訂正への応用について学習する。
本講義を履修することにより、以下の知識と能力を修得する。
1)各種の情報量の尺度の定義とその関係を理解することで、情報通信ネットワークの数学的モデルを自由に取り扱えるようになる。
2)最も一般的な情報源/通信路における情報理論を理解し、その基本的手法を習得できる。
3)確率推論を用いた低計算量で実装可能な誤り訂正符号の理論の理解と設計法を習得できる。
情報理論、一般情報源、一般通信路、情報源符号化定理、通信路符号化定理、乱数生成問題、レート歪み関数、多端子符号化定理、符号理論、Sum-Productアルゴリズム、Low-Density Parity-Check符号、性能解析法、符号設計法、有記憶通信路の符号化、情報圧縮、パケット消失訂正
✔ 専門力 | 教養力 | コミュニケーション力 | 展開力(探究力又は設定力) | ✔ 展開力(実践力又は解決力) |
毎回、講師がトピックスの解説を行う。
授業計画 | 課題 | |
---|---|---|
第1回 | 情報理論の基礎 | 情報理論を復習せよ |
第2回 | 様々な情報量の尺度 | 各種情報量の定義と性質を説明せよ |
第3回 | 一般情報源の符号化 | 一般情報源の定義と情報源符号化定理を説明せよ |
第4回 | 乱数生成 | 乱数生成問題と基本定理を説明せよ |
第5回 | 一般通信路の符号化 | 一般通信路の定義と通信路符号化定理を説明せよ |
第6回 | 歪みを許した符号化 | レート歪み関数の定義と、その表現について説明せよ |
第7回 | 多端子情報理論 | 相関を有する情報源や多重アクセス通信路の定義とそれらに関する符号化定理を説明せよ |
第8回 | 符号理論の基礎 | |
第9回 | 復号と計算量・Sum-Productアルゴリズム | |
第10回 | 線形符号の反復復号 | |
第11回 | Low-Density Parity-Check符号の定義 | |
第12回 | Low-Density Parity-Check符号の性質 | |
第13回 | 通信路容量を達成する符号の設計 | |
第14回 | 有記憶通信路の符号化と情報圧縮 | |
第15回 | パケット消失訂正とレートレス符号 |
講義資料を配布する。
韓太舜, 情報理論における情報スペクトル的方法,培風館 1998.
T. Richardson and R. Urbanke, Modern Coding Theory, Cambridge University Press, 2008.
期末試験 70%
レポート 30%
特になし