2020年度 情報理論   Information Theory

文字サイズ 

アップデートお知らせメールへ登録 お気に入り講義リストに追加
開講元
数理・計算科学系
担当教員名
樺島 祥介 
授業形態
講義
曜日・時限(講義室)
月1-2(W834)  木1-2(W834)  
クラス
-
科目コード
MCS.T333
単位数
2
開講年度
2020年度
開講クォーター
1Q
シラバス更新日
2020年3月24日
講義資料更新日
-
使用言語
日本語
アクセスランキング
media

講義の概要とねらい

当たり前過ぎて普段意識することすらないかもしれませんが,実世界に存在する物質には重さや長さといったヒトが身体的に数量化できる属性が自然に備わっています.こうした属性に着目することで,物理学や化学,生物学といった自然を数量的かつ客観的に論じる学問体系が発展してきました.では,こうした学問体系を抽象世界に存在する「情報」に展開することはできるのでしょうか?その一つの答えが,「情報理論」です.情報の記録や伝達に要する「符号長」という量に着目することで,情報を数量的かつ客観的に論じることが可能になります.具体的な講義項目は情報源のモデル化,自己情報量とエントロピー,情報源符号化,通信路符号化などです.

到達目標

【到達目標】情報量概念を理解し,それを用いて情報を数量的に扱う技術を修得することが目標です.                 
【テーマ】次の3つの事柄を理解することが目的になります.①自己情報量,エントロピー(平均情報量),結合エントロピー,条件付きエントロピー,相互情報量といった情報量概念の意味.②情報源符号化の原理.③通信路符号化の原理.

キーワード

自己情報量,エントロピー,相互情報量,情報源符号化,通信路符号化

学生が身につける力

国際的教養力 コミュニケーション力 専門力 課題設定力 実践力または解決力

授業の進め方

板書とプロジェクタを併用する.

授業計画・課題

  授業計画 課題
第1回 情報理論とは 情報理論に関する概要を知る.
第2回 情報源モデル 情報源の確率統計的性質,代表的な情報源モデルを理解する.
第3回 エントロピー(1): エントロピーの導出,エントロピーの性質 エントロピーの定義.関連する種々の関係式を理解する.
第4回 エントロピー(2): エントロピーの拡張,マルコフ情報源のエントロピー 拡大情報源のエントロピー.結合エントロピー,条件付きエントロピー. マルコフ情報源のエントロピーを理解する.
第5回 情報源符号化の方法 符号化と復号化の例,望ましい性質,符号の木と語頭条件を理解する.
第6回 クラフトの不等式と平均符号長の下界 クラフトの不等式.平均符号長の下界を理解する.
第7回 情報源符号化定理 シャノン符号とファノ符号,情報源符号化定理,ハフマン符号化を理解する.
第8回 理解度確認総合演習 第1回〜第7回の内容に関する演習を行う.
第9回 通信路モデル,相互情報量 通信路モデルの確率統計的性質,代表的な通信路モデルを知る.相互情報量と通信との関係を理解する
第10回 通信路容量,通信路符号化の方法 代表的な通信路モデルに対する通信容量を理解する.符号化と符号パラメータ,復号化と復号誤り率について理解する.
第11回 漸近等分配性と典型系列 漸近等分配性と典型集合,典型集合と情報源符号化定理,同時典型集合について理解する.
第12回 通信路符号化定理(I) 通信路符号化順定理を理解する.
第13回 通信路符号化定理(II) 通信路符号化逆定理を理解する.

教科書

授業内容のスライドをOCW-iを通じて配布します.

参考書、講義資料等

平澤茂一著『情報理論入門』培風館 ISBN: 9784563014865
Thomas M. Cover, Joy A. Thomas 著/山本博資,古賀弘樹,有村光晴,岩本貢訳『情報理論 基礎と広がり』共立出版 ISBN: 978-4-320-12300-7

成績評価の基準及び方法

情報量概念の考え方,計算法及び情報源符号化,通信路符号化などそれらの応用に関する理解度を評価する.期末試験 (70%),演習(30%)にもとづいて評価する.

関連する科目

  • MCS.T212 : 確率論基礎
  • MCS.T223 : 数理統計学
  • MCS.T312 : マルコフ解析
  • MCS.T332 : データ解析

履修の条件(知識・技能・履修済科目等)

確率基礎論,数理統計学を履修していること.または,同等の知識を有していること.

このページのトップへ