- 開講元
- 数理・計算科学系
- 担当教員名
- 樺島 祥介
- 授業形態
- 講義
- メディア利用科目
- 曜日・時限(講義室)
- 火1-2(W934) 金1-2(W934)
- クラス
- -
- 科目コード
- MCS.T333
- 単位数
- 2
- 開講年度
- 2021年度
- 開講クォーター
- 3Q
- シラバス更新日
- 2021年9月30日
- 講義資料更新日
- -
- 使用言語
- 日本語
- アクセスランキング
-
media
講義の概要とねらい
当たり前過ぎて普段意識することすらないかもしれませんが，実世界に存在する物質には重さや長さといったヒトが身体的に数量化できる属性が自然に備わっています．こうした属性に着目することで，物理学や化学，生物学といった自然を数量的かつ客観的に論じる学問体系が発展してきました．では，こうした学問体系を抽象世界に存在する「情報」に展開することはできるのでしょうか？その一つの答えが，「情報理論」です．情報の記録や伝達に要する「符号長」という量に着目することで，情報を数量的かつ客観的に論じることが可能になります．具体的な講義項目は情報源のモデル化，自己情報量とエントロピー，情報源符号化，通信路符号化などです．
到達目標
【到達目標】情報量概念を理解し，それを用いて情報を数量的に扱う技術を修得することが目標です．
【テーマ】次の３つの事柄を理解することが目的になります．①自己情報量，エントロピー（平均情報量），結合エントロピー，条件付きエントロピー，相互情報量といった情報量概念の意味．②情報源符号化の原理．③通信路符号化の原理．
キーワード
自己情報量，エントロピー，相互情報量，情報源符号化，通信路符号化
学生が身につける力(ディグリー・ポリシー)
| ✔ 専門力 | 教養力 | コミュニケーション力 | 展開力(探究力又は設定力) | ✔ 展開力(実践力又は解決力) |
授業の進め方
Zoom によりオンラインで講義する
授業計画・課題
| 授業計画 | 課題 | |
|---|---|---|
| 第1回 | 情報理論とは | 情報理論に関する概要を知る． |
| 第2回 | 情報源モデル | 情報源の確率統計的性質，代表的な情報源モデルを理解する． |
| 第3回 | エントロピー（１）： エントロピーの導出，エントロピーの性質 | エントロピーの定義．関連する種々の関係式を理解する． |
| 第4回 | エントロピー（２）： エントロピーの拡張，マルコフ情報源のエントロピー | 拡大情報源のエントロピー．結合エントロピー，条件付きエントロピー． マルコフ情報源のエントロピーを理解する． |
| 第5回 | 情報源符号化の方法 | 符号化と復号化の例，望ましい性質，符号の木と語頭条件を理解する． |
| 第6回 | クラフトの不等式と平均符号長の下界 | クラフトの不等式．平均符号長の下界を理解する． |
| 第7回 | 情報源符号化定理 | シャノン符号とファノ符号，情報源符号化定理を理解する． |
| 第8回 | ハフマン符号 | ハフマン符号化ができるようになる．ハフマン符号化の最適性を理解する． |
| 第9回 | 通信路モデル，通信路容量 | 通信路モデルの確率統計的性質，代表的な通信路モデルを知る．相互情報量と通信との関係を理解する |
| 第10回 | 通信路容量（続き），通信路符号化の方法 | 代表的な通信路モデルに対する通信容量を理解する．符号化と符号パラメータ，復号化と復号誤り率について理解する． |
| 第11回 | 漸近等分配性と典型系列 | 漸近等分配性と典型集合，典型集合と情報源符号化定理，同時典型集合について理解する． |
| 第12回 | 通信路符号化定理(I) | 通信路符号化順定理を理解する． |
| 第13回 | 通信路符号化定理(II)，賭けと情報理論 | 通信路符号化逆定理を理解する．賭けと情報理論の関係を理解する |
授業時間外学修（予習・復習等）
学修効果を上げるため，教科書や配布資料等の該当箇所を参照し，「毎授業」授業内容に関する予習と復習（課題含む）をそれぞれ概ね100分を目安に行うこと。
教科書
授業内容のスライドをOCW-iを通じて配布します．
参考書、講義資料等
平澤茂一著『情報理論入門』培風館 ISBN: 9784563014865
Thomas M. Cover, Joy A. Thomas 著／山本博資，古賀弘樹，有村光晴，岩本貢訳『情報理論 基礎と広がり』共立出版 ISBN: 978-4-320-12300-7
成績評価の基準及び方法
情報量概念の考え方，計算法及び情報源符号化，通信路符号化などそれらの応用に関する理解度をレポートにもとづき評価する．
関連する科目
- MCS.T212 ： 確率論基礎
- MCS.T223 ： 数理統計学
- MCS.T312 ： マルコフ解析
- MCS.T332 ： データ解析
履修の条件(知識・技能・履修済科目等)
確率基礎論，数理統計学を履修していること．または，同等の知識を有していること．
