- 開講元
- 数理・計算科学系
- 授業形態
- 講義
- メディア利用科目
- 曜日・時限(講義室)
- 火5-6(W834) 金5-6(W834)
- クラス
- -
- 科目コード
- MCS.T333
- 単位数
- 2
- 開講年度
- 2017年度
- 開講クォーター
- 4Q
- シラバス更新日
- 2017年11月15日
- 講義資料更新日
- -
- 使用言語
- 日本語
- アクセスランキング
-
media
講義の概要とねらい
当たり前過ぎて普段意識することすらないかもしれませんが，実世界に存在する物質には重さや長さといったヒトが身体的に数量化できる属性が自然に備わっています．こうした属性に着目することで，物理学や化学，生物学といった自然を数量的かつ客観的に論じる学問体系が発展してきました．では，こうした学問体系を抽象世界に存在する「情報」に展開することはできるのでしょうか？その一つの答えが，「情報理論」です．情報の記録や伝達に要する「符号長」という量に着目することで，情報を数量的かつ客観的に論じることが可能になります．具体的な講義項目は情報源のモデル化，自己情報量とエントロピー，情報源符号化，通信路符号化などです．
到達目標
【到達目標】情報量概念を理解し，それを用いて情報を数量的に扱う技術を修得することが目標です．
【テーマ】次の３つの事柄を理解することが目的になります．①自己情報量，エントロピー（平均情報量），結合エントロピー，条件付きエントロピー，相互情報量といった情報量概念の意味．②情報源符号化の原理．③通信路符号化の原理．
キーワード
自己情報量，エントロピー，相互情報量，情報源符号化，通信路符号化
学生が身につける力(ディグリー・ポリシー)
| ✔ 専門力 | 教養力 | コミュニケーション力 | 展開力(探究力又は設定力) | ✔ 展開力(実践力又は解決力) |
授業の進め方
板書とプロジェクタを併用する．
授業計画・課題
| 授業計画 | 課題 | |
|---|---|---|
| 第1回 | 情報理論とは | 情報理論に関する概要の説明 |
| 第2回 | 情報源モデル | 情報源の確率統計的性質，代表的な情報源モデル |
| 第3回 | エントロピー（１）： エントロピーの導出，エントロピーの性質 | エントロピーの定義．関連する種々の関係式の導出． |
| 第4回 | エントロピー（２）： エントロピーの拡張，マルコフ情報源のエントロピー | 拡大情報源のエントロピー．結合エントロピー，条件付きエントロピー． マルコフ情報源のエントロピー． |
| 第5回 | 情報源符号化の方法 | 符号化と復号化の例，望ましい性質，符号の木と語頭条件 |
| 第6回 | クラフトの不等式と平均符号長の下界 | クラフトの不等式．平均符号長の下界 |
| 第7回 | 情報源符号化定理 | シャノン符号とファノ符号，情報源符号化定理，ハフマン符号化． |
| 第8回 | 理解度確認総合演習 | 第１回〜第７回の内容に関する演習を行い，解答を解説． |
| 第9回 | 通信路モデル | 通信路モデルの確率統計的性質，代表的な通信路モデルの紹介 |
| 第10回 | 相互情報量と通信容量 | 相互情報量と通信との関係づけ，代表的な通信路モデルに対する通信容量の評価 |
| 第11回 | 通信路符号化の方法 | 符号化と符号パラメータ，復号化と復号誤り率 |
| 第12回 | 漸近等分配性と典型系列 | 漸近等分配性と典型集合，典型集合と情報源符号化定理，同時典型集合 |
| 第13回 | 通信路符号化定理(I) | 通信路符号化順定理の導出． |
| 第14回 | 通信路符号化定理(II) | 通信路符号化逆定理の証明 |
| 第15回 | 線形符号 | 誤り検出・訂正の仕組み，線形符号 |
教科書
授業内容のスライドをOCW-iを通じて配布します．
参考書、講義資料等
平澤茂一著『情報理論入門』培風館 ISBN: 9784563014865
Thomas M. Cover, Joy A. Thomas 著／山本博資，古賀弘樹，有村光晴，岩本貢訳『情報理論 基礎と広がり』共立出版 ISBN: 978-4-320-12300-7
成績評価の基準及び方法
情報量概念の考え方，計算法及び情報源符号化，通信路符号化などそれらの応用に関する理解度を評価する．期末試験 (80%)，演習(20%)にもとづいて評価する．
関連する科目
- MCS.T212 ： 確率論基礎
- MCS.T223 ： 数理統計学
- MCS.T312 ： マルコフ解析
- MCS.T332 ： データ解析
履修の条件(知識・技能・履修済科目等)
確率基礎論，数理統計学を履修していること．または，同等の知識を有していること．
