前半では、情報通信ネットワークの数学的モデルを自由に取り扱えるようになるために、学部で学習した情報理論の基礎を復習した後、幾つかの情報量の尺度の定義とその性質を学ぶ。次に、定常性やエルゴード性を仮定しない最も一般的な情報源/通信路である一般情報源/通信路を取り上げ、符号化定理とその意味を理解する。後半では、符号理論の基礎を復習した後に、符号化と復号に必要な計算量を比較し、低計算量で実装可能な誤り訂正符号の重要性を理解する。Sum-ProductアルゴリズムとLow-Density Parity-Check符号を定義し、アルゴリズムの導出原理と性能解析法を学習する。さらに、通信路容量を達成する符号の設計法と、有記憶通信路の符号化、情報圧縮、パケット消失訂正への応用について学習する。
本講義を履修することにより、以下の知識と能力を修得する。
1)各種の情報量の尺度の定義とその関係を理解することで、情報通信ネットワークの数学的モデルを自由に取り扱えるようになる。
2)最も一般的な情報源/通信路における情報理論を理解し、その基本的手法を習得できる。
3)確率推論を用いた低計算量で実装可能な誤り訂正符号の理論の理解と設計法を習得できる。
情報理論、一般情報源、一般通信路、情報源符号化定理、通信路符号化定理、符号理論、Sum-Productアルゴリズム、Low-Density Parity-Check符号、性能解析法、符号設計法、有記憶通信路の符号化、情報圧縮、パケット消失訂正
✔ 専門力 | 教養力 | コミュニケーション力 | 展開力(探究力又は設定力) | ✔ 展開力(実践力又は解決力) |
毎回、講師がトピックスの解説を行う。講義の最後には、その日の教授内容に関する演習あるいはレポートを課す。
授業計画 | 課題 | |
---|---|---|
第1回 | 情報理論の基礎 | 情報理論を復習せよ |
第2回 | 一般情報源の符号化 | 各種情報量の定義と性質を説明せよ |
第3回 | 一般情報源のε符号化 | 一般情報源の定義と情報源符号化定理を説明せよ |
第4回 | 無記憶通信路の符号化 | ε符号化問題と基本定理を説明せよ |
第5回 | 一般通信路の符号化 | 無記憶通信路の定義と通信路符号化定理を説明せよ |
第6回 | 通信路符号化における誤り指数 | 一般通信路の定義と通信路符号化定理を説明せよ |
第7回 | 信頼性関数の性質 | 誤り指数を説明せよ |
第8回 | 符号理論の基礎 | 限界距離復号では通信路容量を達成できないことを説明せよ |
第9回 | 復号と計算量・Sum-Productアルゴリズム | Sum-Productアルゴリズムを説明せよ |
第10回 | 線形符号の復号問題にSum-Productアルゴリズムを適用 | 線形符号の復号問題にSum-Productアルゴリズムを適用する方法を説明せよ |
第11回 | Low-Density Parity-Check符号の定義 | Low-Density Parity-Check符号の定義を説明せよ |
第12回 | Low-Density Parity-Check符号の性質 | Low-Density Parity-Check符号の性質を説明せよ |
第13回 | 通信路容量を達成する符号の設計 | 通信路容量を達成する符号の設計を説明せよ |
第14回 | 有記憶通信路の符号化と情報圧縮 | 有記憶通信路の符号化と情報圧縮を説明せよ |
第15回 | パケット消失訂正とレートレス符号 | パケット消失訂正とレートレス符号を説明せよ |
第1回〜第7回の講義資料は、事前にOCW-iにアップする。
第8回以降の講義資料は授業中に配布する。
韓太舜, 情報理論における情報スペクトル的方法,培風館 1998.
T. Richardson and R. Urbanke, Modern Coding Theory, Cambridge University Press, 2008.
小テスト 45%
期末試験 35%
レポート 20%
特になし