当たり前過ぎて普段意識することすらないかもしれませんが,実世界に存在する物質には重さや長さといったヒトが身体的に数量化できる属性が自然に備わっています.こうした属性に着目することで,物理学や化学,生物学といった自然を数量的かつ客観的に論じる学問体系が発展してきました.では,こうした学問体系を抽象世界に存在する「情報」に展開することはできるのでしょうか?その一つの答えが,「情報理論」です.情報の記録や伝達に要する「符号長」という量に着目することで,情報を数量的かつ客観的に論じることが可能になります.具体的な講義項目は情報源のモデル化,自己情報量とエントロピー,情報源符号化,通信路符号化などです.
【到達目標】情報量概念を理解し,それを用いて情報を数量的に扱う技術を修得することが目標です.
【テーマ】次の3つの事柄を理解することが目的になります.①自己情報量,エントロピー(平均情報量),結合エントロピー,条件付きエントロピー,相互情報量といった情報量概念の意味.②情報源符号化の原理.③通信路符号化の原理.
自己情報量,エントロピー,相互情報量,情報源符号化,通信路符号化
✔ 専門力 | 教養力 | コミュニケーション力 | 展開力(探究力又は設定力) | ✔ 展開力(実践力又は解決力) |
板書とプロジェクタを併用する.
授業計画 | 課題 | |
---|---|---|
第1回 | 情報理論とは | 情報理論に関する概要を知る. |
第2回 | 情報源モデル | 情報源の確率統計的性質,代表的な情報源モデルを理解する. |
第3回 | エントロピー(1): エントロピーの導出,エントロピーの性質 | エントロピーの定義.関連する種々の関係式を理解する. |
第4回 | エントロピー(2): エントロピーの拡張,マルコフ情報源のエントロピー | 拡大情報源のエントロピー.結合エントロピー,条件付きエントロピー. マルコフ情報源のエントロピーを理解する. |
第5回 | 情報源符号化の方法 | 符号化と復号化の例,望ましい性質,符号の木と語頭条件を理解する. |
第6回 | クラフトの不等式と平均符号長の下界 | クラフトの不等式.平均符号長の下界を理解する. |
第7回 | 情報源符号化定理 | シャノン符号とファノ符号,情報源符号化定理,ハフマン符号化を理解する. |
第8回 | 理解度確認総合演習 | 第1回〜第7回の内容に関する演習を行う. |
第9回 | 通信路モデル,相互情報量 | 通信路モデルの確率統計的性質,代表的な通信路モデルを知る.相互情報量と通信との関係を理解する |
第10回 | 通信路容量,通信路符号化の方法 | 代表的な通信路モデルに対する通信容量を理解する.符号化と符号パラメータ,復号化と復号誤り率について理解する. |
第11回 | 漸近等分配性と典型系列 | 漸近等分配性と典型集合,典型集合と情報源符号化定理,同時典型集合について理解する. |
第12回 | 通信路符号化定理(I) | 通信路符号化順定理を理解する. |
第13回 | 通信路符号化定理(II) | 通信路符号化逆定理を理解する. |
学修効果を上げるため,教科書や配布資料等の該当箇所を参照し,「毎授業」授業内容に関する予習と復習(課題含む)をそれぞれ概ね100分を目安に行うこと。
授業内容のスライドをOCW-iを通じて配布します.
平澤茂一著『情報理論入門』培風館 ISBN: 9784563014865
Thomas M. Cover, Joy A. Thomas 著/山本博資,古賀弘樹,有村光晴,岩本貢訳『情報理論 基礎と広がり』共立出版 ISBN: 978-4-320-12300-7
情報量概念の考え方,計算法及び情報源符号化,通信路符号化などそれらの応用に関する理解度を評価する.期末試験 (70%),演習(30%)にもとづいて評価する.
確率基礎論,数理統計学を履修していること.または,同等の知識を有していること.