2020年度 先端機械学習   Advanced Machine Learning

文字サイズ 

アップデートお知らせメールへ登録 お気に入り講義リストに追加
開講元
知能情報コース
担当教員名
岡崎 直観  下坂 正倫 
授業形態
講義
メディア利用
Zoom
曜日・時限(講義室)
火3-4(W933,J232)  金3-4(W933,J232)  
クラス
-
科目コード
ART.T458
単位数
2
開講年度
2020年度
開講クォーター
2Q
シラバス更新日
2020年3月25日
講義資料更新日
-
使用言語
日本語
アクセスランキング
media

講義の概要とねらい

本講義では、機械学習および深層学習における基本的な概念について述べる。

到達目標

【到達目標】
・識別的機械学習の基本的な概念(分類や凸最適化など)や手法(確率的勾配降下法や誤差逆伝搬法など)を理解する
・ツールやプログラムを用いて機械学習を実践する
【テーマ】本講義の前半では.線形モデルを題材に最適化の基本的な考え方を習得する.後半では,深層学習の基礎と実践について理解する.

実務経験のある教員等による授業科目等

-

キーワード

機械学習・回帰・分類・最適化・線形モデル・ニューラルネット・深層学習

学生が身につける力(ディグリー・ポリシー)

専門力 教養力 コミュニケーション力 展開力(探究力又は設定力) 展開力(実践力又は解決力)

授業の進め方

講義の中で機械学習のツールについても説明する.

授業計画・課題

  授業計画 課題
第1回 イントロダクション 機械学習のタスクの概要
第2回 線形モデル1 損失関数,経験損失最小化,過剰適合,正則化,バイアスとバリアンス,線形モデル (線形回帰)
第3回 最適化基礎1 問題設定・勾配法・制約付き最適化
第4回 最適化基礎2 凸最適化,双対性
第5回 線形モデル2 線形モデル(分類),ロジスティック回帰,(線形・カーネル)サポートベクタマシン
第6回 線形モデル3 L1正則化,スパース学習,Lasso
第7回 スケーラブルな学習 確率勾配・加速度項付き勾配・モーメント・ミニバッチ・分散並列学習
第8回 深層学習の概要 実世界における適用事例
第9回 フィードフォワードネットワーク (1) 二値分類, しきい値論理ユニット, 単層パーセプトロン, パーセプトロン, シグモイド関数, 確率的勾配降下法, 多層パーセプトロン, 誤差逆伝搬法, 計算グラフ, 自動微分, 万能近似定理
第10回 フィードフォワードネットワーク (2) 多値分類, 線形多値分類, ソフトマックス関数, 確率的勾配降下法, ミニバッチ学習, ロス関数, 活性化関数, ドロップアウト
第11回 単語ベクトル 単語埋め込み, 分散表現, 分布仮設, 相互情報量, 特異値分解, word2vec, 単語のアナロジー, GloVe, fastText
第12回 構造化データのための深層ニューラルネットワークモデル 再帰型ニューラルネットワーク (RNNs), 勾配消失/勾配爆発, Long Short-Term Memory (LSTM), Gated Recurrent Units (GRUs), Recursive Neural Network, Tree-structured LSTM, Convolutional Neural Networks (CNNs)
第13回 エンコーダ・デコーダ (1) 言語モデル, 再帰型ニューラル言語モデル, エンコーダ・デコーダモデル, 系列モデル, 注意機構, 読解問題, 質問応答, ヘッドライン生成, マルチタスク学習
第14回 エンコーダ・デコーダ (2) 文字レベルRNN, byte-pairエンコーディング, 畳み込み系列モデル, Transformer, ELMo, BERT

教科書

授業で適宜資料を配布する.

参考書、講義資料等

英語版シラバスを参照.

成績評価の基準及び方法

レポート課題(70%)や演習等(30%)で成績を評価する.

関連する科目

  • MCS.T507 : 統計数理
  • MCS.T403 : 統計的学習理論
  • CSC.T352 : パターン認識
  • CSC.T272 : 人工知能
  • CSC.T242 : 確率論・統計学

履修の条件(知識・技能・履修済科目等)

特になし

その他

特になし

このページのトップへ