統計的機械学習
担当者小林 靖之
学年・開講期1年次 通年  [情報科学専攻 (通信教育課程)修士課程]
科目の種類専門
クラステキスト授業
区分・単位選択 2単位
科目ナンバー

授業の概要(ねらい)

昨今の機械学習の性能向上により、様々な分野で機械学習の応用が進んでいます。機械学習の手法には様々ありますが、この科目では統計的機械学習の概要を修得します。不確定さをもつ現象を扱うため、統計的アプローチによって高確率で予測できる安定なモデルを得る統計的機械学習の様々な手法の基礎的概念を簡単なコンピュータ実習とともに学びます。
この科目は、ディプロマポリシーDP3に関連します。

授業の到達目標

ディプロマポリシーDP3に則り、学部レベルの人工知能等の関連科目や数理統計学の履修を前提として、昨今脚光を浴びている統計的機械学習の様々な手法を理解と簡単な利用法に基づき操作できることを目標とします。

成績評価の方法および基準

レポート課題は科目修得試験の受験条件としてのみ取り扱い、成績には考慮しません。
科目修得試験は100点満点中60点以上を合格とします。成績評価は学年末に試験100%で行います。
フィードバック方法として、提出された課題レポートを添削します。

教科書・参考文献

種別書名著者・編者発行所
教科書指導書と演習用Excelマクロプログラムを用います。
参考文献“The Elements of Statistical Learning, 2nd. Ed.” (ISBN 978-0387848570) 2009年T. Hastie et al.Springer
参考文献「統計的学習の基礎」(ISBN 978-4-320-12362-5) 2014年, “The Elements of Statistical Learning, 2nd. Ed.”の和訳書杉山他監訳共立出版
参考文献「入門パターン認識と機械学習」(ISBN 978-4-339-02479-1) 2014年後藤・小林コロナ社
参考文献「統計的機械学習」 (ISBN 978-4-274-50248-4) 2009年杉山オーム社
参考文献「道具としてのベイズ統計」(ISBN 978-4-534-04647-5) 2009年涌井良幸日本実業出版社
参考文献「これならわかる!ベイズ統計学」(ISBN 978-4-8163-5181-5) 2012年涌井良幸・涌井貞美ナツメ社
参考文献主な参考書は以上のとおりです。
他にも良い参考書がありますので、各自の目的に応じて入手してください。

準備学修の内容

各回授業では、予習として直前回に当たる指導書を読んだ上での例題解答(約1時間)、復習として当日回に当たる指導書の復習または課題レポートの該当部分解答(約2時間)を要します。

その他履修上の注意事項

LMSを利用します。
課題レポートの設問中には、LMSに掲示するWindows版Excelマクロによる演習プログラムを各自のパソコンへダウンロードして実行させる問題があります。インターネットに接続されたWindowsパソコンでExcel2007以降の動作可能な環境を準備してください。
統計的機械学習の授業内で簡単に解説しますが、もしも統計的機械学習の前提知識に相当する科目「多変量解析」の知識が全く無いならば、多変量解析の履修を希望します。
統計的機械学習は、多変量解析と同様に、知識を覚えるだけでなく、実際に計算を体験することが非常に重要です。指導書に記載された簡単な例題に取組んで、覚えた知識を活用して下さい。

授業内容

授業内容
第1回統計的機械学習とは 統計的機械学習の概念を解説します。
予習として、指導書「1.統計的機械学習とは」を読んで定理等を確認し例題を解いてください。
復習として、統計的機械学習の適用例を探してまとめてください。
第2回教師あり学習(1) 線形回帰モデル(単回帰分析、重回帰分析)を解説します。
予習として、指導書「2.線形回帰モデル」を読んで定理等を確認し例題を解いてください。
復習として、指導書「2.線形回帰モデル」にある演習課題に取組んでください。
第3回教師あり学習(2) ロジスティック回帰モデル(ロジスティック回帰分析)を解説します。
予習として、指導書「3.ロジスティック回帰モデル」を読んで定理等を確認し例題を解いてください。
復習として、指導書「3.ロジスティック回帰モデル」にある演習課題に取組んでください。
第4回教師あり学習(3) 過学習現象とモデルの評価・選択(過学習と正則化、交差検証法・情報量基準)を解説します。
予習として、指導書「4.過学習現象とモデルの評価・選択」を読んで定理等を確認し例題を解いてください。
復習として、過学習と正則化、交差検証法・情報量基準の具体的な適用例を探してまとめてください。
第5回教師あり学習(4) リッジ回帰モデルを解説します。
予習として、指導書「5.縮小推定による回帰分析の改善」の2章までを読んで定理等を確認し例題を解いてください。
復習として、課題レポートにあるリッジ回帰モデルの課題に取組んでください。
第6回教師あり学習(5) PLS回帰モデルを解説します。
予習として、指導書「5.縮小推定による回帰分析の改善」の3,4章までを読んで定理等を確認し例題を解いてください。
復習として、PLS回帰モデルの具体的な適用例を探してまとめてください。
第7回教師あり学習(6) LASSO回帰モデルを解説します。
予習として、指導書「5.縮小推定による回帰分析の改善」の5章までを読んで定理等を確認し例題を解いてください。
復習として、課題レポートにあるLASSO回帰モデルの課題に取組んでください。
第8回教師なし学習(1) 主成分分析を解説します。
予習として、指導書「6.主成分分析」を読んで定理等を確認し例題を解いてください。
復習として、主成分分析の具体的な適用例を探してまとめてください。
第9回教師なし学習(2) 独立成分分析を解説します。
予習として、指導書「7.独立成分分析」を読んで定理等を確認し例題を解いてください。
復習として、課題レポートにある7.独立成分分析の課題に取組んでください。
第10回教師なし学習(3) クラスター分析とk-means法を解説します。
予習として、指導書「8.クラスター分析とk-means法」を読んで定理等を確認し例題を解いてください。
復習として、課題レポートにあるk-means法の課題に取組んでください。
第11回教師なし学習(4) 混合ガウスモデルとEMアルゴリズムを解説します。
予習として、指導書「9.混合ガウスモデルとEMアルゴリズム」を読んで定理等を確認し例題を解いてください。
復習として、課題レポートにある混合ガウスモデルの課題に取組んでください。
第12回教師なし学習(5) グラフィカルモデリングとGLASSOを解説します。
予習として、指導書「10.グラフィカルモデリングとGLASSO」を読んで定理等を確認し例題を解いてください。
復習として、課題レポートにあるGLASSOの課題に取組んでください。
第13回ベイズ統計(1) ベイズ統計の概念を解説します。
予習として、指導書「11.ベイズ統計の基礎(1)」の2章までを読んで定理等を確認し例題を解いてください。
復習として、ベイズ統計の応用例を探してまとめてください。
第14回ベイズ統計(2) ベイズの定理、ナイーブベイズ法 他を解説します。
予習として、指導書「11.ベイズ統計の基礎(1)」の3章以降を読んで定理等を確認し例題を解いてください。
復習として、課題レポートにあるベイズの定理やナイーブベイズ法の課題に取組んでください。
第15回ベイズ統計(3) 自然共役な事前分布 他を解説します。
予習として、指導書「12.ベイズ統計の基礎(2)」を読んで定理等を確認し例題を解いてください。
復習として、課題レポートにある自然共役な事前分布の課題に取組んでください。