主に,情報理論の柱である情報源符号化と通信路符号化について学習します.
まず,確率の基礎を復習し,エントロピーや相互情報量等の情報量を定義します.その上で,情報源符号化で実現できるデータ圧縮の限界がエントロピーで与えられること,通信路符号化で誤りが無視できる通信の伝送速度の限界が相互情報量の最大値として与えられることを学習します.また,具体的な符号化の方法を学習します.最後に,通信の安全を実現する方法として暗号の基礎理論を学習します.
情報や通信路を,抽象化された数学モデルとして扱うことで,情報通信に関する基礎理論を体系的に学びます.
本講義を履修することによって、次の能力を習得する。
1)情報や通信路を,抽象化された数学モデルとして扱うことができる.
2)情報源符号化で実現できるデータ圧縮の限界と,エントロピーとの関係を説明できる.
3)通信路符号化で誤りが無視できる通信の伝送速度と,相互情報量との関係を説明できる.
4)基本的な情報源符号化の方法,通信路符号化の方法,並びに暗号化の方法を説明できる.
情報源符号化,通信路符号化,情報量,情報源符号化定理,通信路符号化定理,暗号
✔ 専門力 | 教養力 | コミュニケーション力 | 展開力(探究力又は設定力) | 展開力(実践力又は解決力) |
適宜,理解度を確認するための課題を与える.
授業計画 | 課題 | |
---|---|---|
第1回 | 情報理論の概要:情報源符号化と通信路符号化 | 講義の目的を理解する. |
第2回 | 情報の表現と確率の基礎 | 確率の基礎を復習する. |
第3回 | 情報量:エントロピー,相互情報量,ダイバージェンス | 学習した概念を理解する. |
第4回 | 情報源のモデルとエントロピーレート:定常情報源,マルコフ情報源,エントロピーレート | 学習した概念を理解する. |
第5回 | クラフトの不等式,情報源符号化逆定理 | 情報源符号化逆定理を理解する |
第6回 | 平均符号化長の限界,ハフマン符号 | 平均符号長の限界とハフマン符号化を理解する. |
第7回 | 情報源符号化定理 | 情報源符号化定理を理解する |
第8回 | 中間試験とこれまでの復習 | これまでの復習をする. |
第9回 | 通信路のモデル | 通信路モデルを理解する |
第10回 | 通信路容量 | 通信路容量を説明する |
第11回 | 通信路符号化定理 | 通信路符号化定理を理解する. |
第12回 | 通信路逆符号化定理 | 通信路逆符号化定理を理解する. |
第13回 | 誤り訂正符号:ハミング符号 | 誤り訂正とハミング符号の仕組みを理解する. |
第14回 | 暗号の基礎:共通鍵暗号と公開鍵暗号 | 暗号のモデルを理解する. |
第15回 | 暗号方式 | 具体的な暗号方式を理解する. |
授業で扱う全ての資料は、事前にOCW-i にアップする,または授業中に配布する。
植松友彦、イラストで学ぶ 情報理論の考え方、オーム社、2010年
坂庭好一, 笠井健太,通信理論入門,コロナ社, 2014年
中間(50%)・期末試験(50%)により,到達目標の達成度を評価する.
特になし