- 開講元
- 数理・計算科学系
- 授業形態
- 講義
- メディア利用科目
- 曜日・時限(講義室)
- 月5-6(W834) 木5-6(W834)
- クラス
- -
- 科目コード
- MCS.T333
- 単位数
- 2
- 開講年度
- 2016年度
- 開講クォーター
- 4Q
- シラバス更新日
- 2016年1月11日
- 講義資料更新日
- -
- 使用言語
- 日本語
- アクセスランキング
-
media
講義の概要とねらい
当たり前過ぎて普段意識することすらないかもしれませんが，実世界に存在する物質には重さや長さといったヒトが身体的に数量化できる属性が自然に備わっています．こうした属性に着目することで，物理学や化学，生物学といった自然を数量的かつ客観的に論じる学問体系が発展してきました．では，こうした学問体系を抽象世界に存在する「情報」に展開することはできるのでしょうか？その一つの答えが，「情報理論」です．情報の記録や伝達に要する「符号長」という量に着目することで，情報を数量的かつ客観的に論じることが可能になります．具体的な講義項目は情報源のモデル化，自己情報量とエントロピー，情報源符号化，通信路符号化などです．
到達目標
【到達目標】情報量概念を理解し，それを用いて情報を数量的に扱う技術を修得することが目標です． 【テーマ】次の３つの事柄を理解することが目的になります．①自己情報量，エントロピー（平均情報量），結合エントロピー，条件付きエントロピー，相互情報量といった情報量概念の意味．②情報源符号化の原理．③通信路符号化の原理．
キーワード
自己情報量，エントロピー，相互情報量，情報源符号化，通信路符号化
学生が身につける力(ディグリー・ポリシー)
| ✔ 専門力 | 教養力 | コミュニケーション力 | 展開力(探究力又は設定力) | ✔ 展開力(実践力又は解決力) |
授業の進め方
講義の後半に基本的な内容に関する演習を行います．
授業計画・課題
| 授業計画 | 課題 | |
|---|---|---|
| 第1回 | 情報理論とは | 情報理論に関する概要の説明 |
| 第2回 | 情報源モデル | 確率による情報源のモデル化．情報量の定義．冗長性と符号化． |
| 第3回 | エントロピー（１）： エントロピーの導出，エントロピーの性質 | エントロピーの定義．関連する種々の関係式の導出． |
| 第4回 | エントロピー（２）： エントロピーの拡張，マルコフ情報源のエントロピー | 拡大情報源のエントロピー．結合エントロピー，条件付きエントロピー． マルコフ情報源のエントロピー． |
| 第5回 | 情報源符号化の方法 | 符号化の性質，語頭条件，クラフトの不等式 |
| 第6回 | 符号化法の例 | シャノン・ファノ符号，ハフマン符号 |
| 第7回 | 情報源符号化定理 | 情報源符号化定理の導出 |
| 第8回 | 理解度確認総合演習 | 第１回〜第７回の内容に関する演習を行い，解答を解説． |
| 第9回 | 通信路モデル | 確率による通信路のモデル化．その特徴に応じた通信路の分類． |
| 第10回 | 相互情報量と通信容量 | 相互情報量と通信容量を定義．定常無記憶通信路に対して具体的に評価． |
| 第11回 | 通信路符号化の方法 | 通信路符号化を定義．線形符号の原理． |
| 第12回 | 通信路符号化定理 | 通信路符号化定理の導出 |
| 第13回 | 復号誤り確率の評価 | ランダム符号化にもとづく信頼性関数の評価 |
| 第14回 | 漸近等分配性（１）： 漸近等分配性，典型系列 | 典型系列の定義．典型系列の個数を評価． |
| 第15回 | 漸近等分配性（２）： 漸近等分配性から見た情報源符号化定理／通信路符号化定理 | 典型系列を用いて情報源符号化定理／通信路符号化定理を再導出． |
教科書
平澤茂一著『情報理論入門』培風館 ISBN: 9784563014865
参考書、講義資料等
Thomas M. Cover, Joy A. Thomas 著／山本博資，古賀弘樹，有村光晴，岩本貢訳『情報理論 基礎と広がり』共立出版 ISBN: 978-4-320-12300-7
成績評価の基準及び方法
情報量概念の考え方，計算法及び情報源符号化，通信路符号化などそれらの応用に関する理解度を評価する．期末試験 (80%)，演習(20%)にもとづいて評価する．
関連する科目
- MCS.T212 ： 確率論基礎
- MCS.T223 ： 数理統計学
- MCS.T312 ： マルコフ解析
- MCS.T332 ： データ解析
履修の条件(知識・技能・履修済科目等)
確率基礎論，数理統計学を履修していること．または，同等の知識を有していること．
