当たり前過ぎて普段意識することすらないかもしれませんが,実世界に存在する物質には重さや長さといったヒトが身体的に数量化できる属性が自然に備わっています.こうした属性に着目することで,物理学や化学,生物学といった自然を数量的かつ客観的に論じる学問体系が発展してきました.では,こうした学問体系を抽象世界に存在する「情報」に展開することはできるのでしょうか?その一つの答えが,「情報理論」です.情報の記録や伝達に要する「符号長」という量に着目することで,情報を数量的かつ客観的に論じることが可能になります.具体的な講義項目は情報源のモデル化,自己情報量とエントロピー,情報源符号化,通信路符号化などです.
【到達目標】情報量概念を理解し,それを用いて情報を数量的に扱う技術を修得することが目標です. 【テーマ】次の3つの事柄を理解することが目的になります.①自己情報量,エントロピー(平均情報量),結合エントロピー,条件付きエントロピー,相互情報量といった情報量概念の意味.②情報源符号化の原理.③通信路符号化の原理.
自己情報量,エントロピー,相互情報量,情報源符号化,通信路符号化
✔ 専門力 | 教養力 | コミュニケーション力 | 展開力(探究力又は設定力) | ✔ 展開力(実践力又は解決力) |
講義の後半に基本的な内容に関する演習を行います.
授業計画 | 課題 | |
---|---|---|
第1回 | 情報理論とは | 情報理論に関する概要の説明 |
第2回 | 情報源モデル | 確率による情報源のモデル化.情報量の定義.冗長性と符号化. |
第3回 | エントロピー(1): エントロピーの導出,エントロピーの性質 | エントロピーの定義.関連する種々の関係式の導出. |
第4回 | エントロピー(2): エントロピーの拡張,マルコフ情報源のエントロピー | 拡大情報源のエントロピー.結合エントロピー,条件付きエントロピー. マルコフ情報源のエントロピー. |
第5回 | 情報源符号化の方法 | 符号化の性質,語頭条件,クラフトの不等式 |
第6回 | 符号化法の例 | シャノン・ファノ符号,ハフマン符号 |
第7回 | 情報源符号化定理 | 情報源符号化定理の導出 |
第8回 | 理解度確認総合演習 | 第1回〜第7回の内容に関する演習を行い,解答を解説. |
第9回 | 通信路モデル | 確率による通信路のモデル化.その特徴に応じた通信路の分類. |
第10回 | 相互情報量と通信容量 | 相互情報量と通信容量を定義.定常無記憶通信路に対して具体的に評価. |
第11回 | 通信路符号化の方法 | 通信路符号化を定義.線形符号の原理. |
第12回 | 通信路符号化定理 | 通信路符号化定理の導出 |
第13回 | 復号誤り確率の評価 | ランダム符号化にもとづく信頼性関数の評価 |
第14回 | 漸近等分配性(1): 漸近等分配性,典型系列 | 典型系列の定義.典型系列の個数を評価. |
第15回 | 漸近等分配性(2): 漸近等分配性から見た情報源符号化定理/通信路符号化定理 | 典型系列を用いて情報源符号化定理/通信路符号化定理を再導出. |
平澤茂一著『情報理論入門』培風館 ISBN: 9784563014865
Thomas M. Cover, Joy A. Thomas 著/山本博資,古賀弘樹,有村光晴,岩本貢訳『情報理論 基礎と広がり』共立出版 ISBN: 978-4-320-12300-7
情報量概念の考え方,計算法及び情報源符号化,通信路符号化などそれらの応用に関する理解度を評価する.期末試験 (80%),演習(20%)にもとづいて評価する.
確率基礎論,数理統計学を履修していること.または,同等の知識を有していること.