マルチメディアは,音声,画像,文書から,いろいろなセンサから集められる情報まで,様々な種類のデジタル化された情報をコンピュータを用いて統合化したものである。本講義では,音声や画像処理の基礎となるフーリエ変換についての復習,マルチメディアの統合技術やビッグデータの分析技術を教え,実際にマルチメディアが使われるているモバイル端末や博物館での取り組みを例示する。学生には,マルチメディアの取り扱い方,さらには複合的な物の見方を身につける手助けをする。
マルチメディア情報の取り扱い方について説明でき,マルチメディアを用いたシステムの設計ができる。
フーリエ変換,波動光学,波動方程式,デジタルドキュメンテーション、モバイルセンサ,行動理解,オープンデータ,デジタルミュージアム,フィールドミュージアム
✔ 専門力 | 教養力 | コミュニケーション力 | 展開力(探究力又は設定力) | 展開力(実践力又は解決力) |
各講義の前半で,原理や仕組みを解説し,後半では,応用例を示す。実習は,グループワーク形式で行います。
授業計画 | 課題 | |
---|---|---|
第1回 | フーリエ変換 | フーリエ変換,離散的フーリエ変換の復習 |
第2回 | 光による像形成ー回折 | 光を波として取り扱った場合の回折現象の説明およびピンホールカメラによる像形成の説明 |
第3回 | 光による像形成 ー レンズの作用 | レンズの作用および光学的フーリエ変換の説明 |
第4回 | 波動による像形成と画像処理 | 波動方程式のフーリエ変換から,観測信号から像形成を行う過程の導出 |
第5回 | 2次元データのフーリエ変換の実習 | 縦横のサイズの異なる2次元画像,縦軸が時間・横軸が空間というような2次元データの離散的フーリエ変換の実習とプレゼンテーション |
第6回 | モバイルセンサデータの概要 | モバイル端末のセンサの概要を予習 |
第7回 | モバイルセンサデータに基づく行動理解(屋内測位) | モバイル端末の屋内測位の概要を予習 |
第8回 | モバイルセンサデータに基づく行動理解(動作認識) | モバイル端末を用いた動作認識に関して予習 |
第9回 | 複合マルチメディアの理解 | 複数のメディアの認識・理解の概要に関して予習 |
第10回 | 複合マルチメディア理解のための数理 | 複数のメディア認識・理解の数理に関して予習 |
第11回 | デジタルドキュメンテーション ー 文化資源のデジタルのデジタルドキュメンテーション | 文化資源についてと,そのデジタル化と利活用について説明 |
第12回 | データベースとweb技術 | Webの登場により,データベースがどのように変容したかを理解 |
第13回 | オープンデータ | Wikipediaに代表されるオープンデータの出現が文化や博物館に与えた影響について考察 |
第14回 | 博物館とマルチメディア ー マルチモーダル情報の活用 | 複合マルチメディアの活用が活発な博物館の現状を知る |
第15回 | 博物館とマルチメディア ー 館を飛び出す博物館 | フィールドミュージアムやジオパークといった新しい博物館とマルチメディアの関係について理解 |
特になし
講義資料を配布する。
3通のレポート(90%, @30%)と演習(10%)により評価する。
とくに設けない。
特になし.