- 開講元
- 知能情報コース
- 授業形態
- 講義
- メディア利用科目
- 曜日・時限(講義室)
- 火3-4 金3-4
- クラス
- -
- 科目コード
- ART.T458
- 単位数
- 2
- 開講年度
- 2021年度
- 開講クォーター
- 2Q
- シラバス更新日
- 2021年3月19日
- 講義資料更新日
- -
- 使用言語
- 英語
- アクセスランキング
-
media
講義の概要とねらい
本講義では、機械学習および深層学習における基本的な概念について述べる。
到達目標
【到達目標】
・識別的機械学習の基本的な概念（分類や凸最適化など）や手法（確率的勾配降下法や誤差逆伝搬法など）を理解する
・ツールやプログラムを用いて機械学習を実践する
【テーマ】本講義の前半では．線形モデルを題材に最適化の基本的な考え方を習得する．後半では，深層学習の基礎と実践について理解する．
キーワード
機械学習・回帰・分類・最適化・線形モデル・ニューラルネット・深層学習
学生が身につける力(ディグリー・ポリシー)
| ✔ 専門力 | 教養力 | コミュニケーション力 | 展開力(探究力又は設定力) | 展開力(実践力又は解決力) |
授業の進め方
講義の中で機械学習のツールについても説明する．
授業計画・課題
| 授業計画 | 課題 | |
|---|---|---|
| 第1回 | イントロダクション | 機械学習のタスクの概要 |
| 第2回 | 線形モデル１ | 損失関数，経験損失最小化，過剰適合，正則化，バイアスとバリアンス，線形モデル （線形回帰） |
| 第3回 | 最適化基礎１ | 問題設定・勾配法・制約付き最適化 |
| 第4回 | 最適化基礎２ | 凸最適化，双対性 |
| 第5回 | 線形モデル２ | 線形モデル（分類），ロジスティック回帰，（線形・カーネル）サポートベクタマシン |
| 第6回 | 線形モデル３ | L1正則化，スパース学習，Lasso |
| 第7回 | スケーラブルな学習 | 確率勾配・加速度項付き勾配・モーメント・ミニバッチ・分散並列学習 |
| 第8回 | 深層学習の概要 | 実世界における適用事例 |
| 第9回 | フィードフォワードネットワーク (1) | 二値分類, しきい値論理ユニット, 単層パーセプトロン, パーセプトロン, シグモイド関数, 確率的勾配降下法, 多層パーセプトロン, 誤差逆伝搬法, 計算グラフ, 自動微分, 万能近似定理 |
| 第10回 | フィードフォワードネットワーク (2) | 多値分類, 線形多値分類, ソフトマックス関数, 確率的勾配降下法, ミニバッチ学習, ロス関数, 活性化関数, ドロップアウト |
| 第11回 | 畳み込みニューラルネットワーク | 畳み込み演算, 画像フィルタ, プーリング, 畳み込みニューラルネットワーク, ImageNet, AlexNet, ResNet |
| 第12回 | 単語ベクトル | 単語埋め込み, 分散表現, 分布仮設, 相互情報量, 特異値分解, word2vec, 単語のアナロジー, GloVe, fastText |
| 第13回 | 構造化データのための深層ニューラルネットワークモデル | 再帰型ニューラルネットワーク (RNNs), 勾配消失／勾配爆発, Long Short-Term Memory (LSTM), Gated Recurrent Units (GRUs), Recursive Neural Network, Tree-structured LSTM |
| 第14回 | エンコーダ・デコーダ | 言語モデル, 再帰型ニューラル言語モデル, エンコーダ・デコーダモデル, 系列モデル, 注意機構, 畳み込み系列モデル, Transformer, ELMo, BERT |
授業時間外学修（予習・復習等）
学修効果を上げるため，教科書や配布資料等の該当箇所を参照し，「毎授業」授業内容に関する予習と復習（課題含む）をそれぞれ概ね100分を目安に行うこと。
教科書
授業で適宜資料を配布する．
参考書、講義資料等
英語版シラバスを参照．
成績評価の基準及び方法
レポート課題（70%）や演習等（30%）で成績を評価する．
関連する科目
- MCS.T507 ： 統計数理
- MCS.T403 ： 統計的学習理論
- CSC.T352 ： パターン認識
- CSC.T272 ： 人工知能
- CSC.T242 ： 確率論・統計学
履修の条件(知識・技能・履修済科目等)
特になし
その他
特になし
