国立大学法人 東京工業大学

講義の概要とねらい

前半では、情報通信ネットワークの数学的モデルを自由に取り扱えるようになるために、学部で学習した情報理論の基礎を復習した後、幾つかの情報量の尺度の定義とその性質を学ぶ。次に、定常性やエルゴード性を仮定しない最も一般的な情報源／通信路である一般情報源／通信路を取り上げ、符号化定理とその意味を理解する。更に、上で述べた定理の応用として、情報源符号化と乱数生成の関係、歪みを許した情報源符号化法の限界、相関を有する複数の情報源や多ユーザ間の通信路の符号化問題についても学習する。後半では、符号理論の基礎を復習した後に、符号化と復号に必要な計算量を比較し、低計算量で実装可能な誤り訂正符号の重要性を理解する。Sum-ProductアルゴリズムとLow-Density Parity-Check符号を定義し、アルゴリズムの導出原理と性能解析法を学習する。さらに、通信路容量を達成する符号の設計法と、有記憶通信路の符号化、情報圧縮、パケット消失訂正への応用について学習する。

到達目標

本講義を履修することにより、以下の知識と能力を修得する。
１）各種の情報量の尺度の定義とその関係を理解することで、情報通信ネットワークの数学的モデルを自由に取り扱えるようになる。
２）最も一般的な情報源／通信路における情報理論を理解し、その基本的手法を習得できる。
３）確率推論を用いた低計算量で実装可能な誤り訂正符号の理論の理解と設計法を習得できる。

キーワード

情報理論、一般情報源、一般通信路、情報源符号化定理、通信路符号化定理、乱数生成問題、レート歪み関数、多端子符号化定理、符号理論、Sum-Productアルゴリズム、Low-Density Parity-Check符号、性能解析法、符号設計法、有記憶通信路の符号化、情報圧縮、パケット消失訂正

学生が身につける力(ディグリー・ポリシー)

授業の進め方

毎回、講師がトピックスの解説を行う。

授業計画・課題

教科書

講義資料を配布する。

参考書、講義資料等

韓太舜, 情報理論における情報スペクトル的方法，培風館　1998.
T. Richardson and R. Urbanke, Modern Coding Theory, Cambridge University Press, 2008.

成績評価の基準及び方法

期末試験　70%
レポート　30%

関連する科目

• ICT.C205 ： 通信理論（情報通信）
• ICT.C209 ： 代数系と符号理論

履修の条件(知識・技能・履修済科目等)

特になし