1. 什么是機器學習？

機器學習就是找函數的公式，如何輸入一段語音，找到這段語音對應的函數，如果輸入一個圖片，那么就找到這個圖片的像素點所對應的函數。

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html

首先，根據所要輸出的類型，可以簡單的把機器學習的問題分為兩大類，回歸（regression）與分類（classification）。如果輸出的數值是連續(xù)的變量，那么該問題就是一個回歸問題，如果輸出的數值是離散的，比如只有yes or no兩類，那么就是二分類問題，如果輸出為多個類別，就是多分類問題。

除此以外，隨著機器學習的發(fā)展，機器不僅僅可以完成上述兩項任務，還可以進行“創(chuàng)造”，比如翻譯問題，比如生成一個圖片。

2. 如何告訴“告訴機器”你想要找的函數表達式

2.1 監(jiān)督學習（supervised learning）

如果預先告訴機器，你想要的函數的理想的輸出是什么，這種學習方式就叫做有監(jiān)督的學習，換句話說，就是每個輸出值都有了標簽（label）。

然后機器會根據設定好的損失函數（loss function），可以不斷評價目前的函數的“好壞”，不斷迭代優(yōu)化，使得函數的loss越來越小

2.2 強化學習（reinforcement learning）

與監(jiān)督學習不同，強化學習不會給機器理想的輸出和結果，而是讓機器自行探索，如果獲得了想要的答案，就給予reward，通過這種方法讓機器越來越精確。

2.3 無監(jiān)督學習（unsupervised learning）

既沒有l(wèi)abel也沒有reward，在這種情況下讓機器進行學習。

3. 機器怎么找出你想要的函數表達式

3.1 給定搜尋的范圍

在回歸和分類問題中，我們假定要找的函數式為線性函數（Liner function）。在RNN和CNN問題中，搜尋范圍是網絡結構（network architecture）。

3.2 范圍中搜尋函數

通過一些算法：梯度下降（Gradient Descent）來求解，或者Pytorch等深度學習框架中的算法。

4. 前沿研究

Explainable AI（可解釋人工智能）、Adversarial Attack（對抗攻擊）、Network Compression（網絡壓縮）、Anomaly Detection（異常檢測）、Transfer Learning（遷移學習）、Meta Learning（元學習）

著作權歸作者所有。商業(yè)轉載請聯系作者獲得授權，非商業(yè)轉載請注明出處。

李宏毅 (Hung-yi Lee) received the M.S. and Ph.D. degrees from National Taiwan University (NTU), Taipei, Taiwan, in 2010 and 2012, respectively. From September 2012 to August 2013, he was a postdoctoral fellow in Research Center for Information Technology Innovation, Academia Sinica. From September 2013 to July 2014, he was a visiting scientist at the Spoken Language Systems Group of MIT Computer Science and Artificial Intelligence Laboratory (CSAIL). He is currently an associate professor of the Department of Electrical Engineering of National Taiwan University, with a joint appointment at the Department of Computer Science & Information Engineering of the university. His research focuses on machine learning (especially deep learning), spoken language understanding, and speech recognition. He owns a YouTube channel teaching deep learning in Mandarin (more than 4M Total Views and 48k Subscribers).

作業(yè)編號線上學習作業(yè)範例作業(yè)說明助教補充繳交時間

課程簡介Introduction (slide), Rule (slide)Google Drive 檔案存取

作業(yè)一Regression (slide), Basic Concept (slide)Regressionslide, video (助教：楊舒涵)3/26

Gradient DescentGradient Descent 1 2 3 (slide)More about Gradient Descent 1 2 (slide)

作業(yè)二Classification 1 2 (slide 12)Classificationslide, video (助教：簡仲明)3/26

DL預備DL (slide), Backprop (slide), Tips (slide), Why Deep (slide)PyTorch 教學 ( slide, colab, video, cheatsheet)助教：劉記良、陳建成

作業(yè)三CNN(slide)CNNslide, video (助教：邱譯、趙崇皓)GNN 1 2 (slide)4/30

作業(yè)四RNN 1 2 (slide), Semi-supervised (slide), Word Embedding (slide)RNNslide, video (助教：黃冠博、邱譯)4/30

作業(yè)五Explainable AI (slide)Explainable AIslide, video (助教：楊書文)More about Explainable AI (slide)4/30

作業(yè)六Adversarial Attack (slide)Adversarial Attackslide, video (助教：林政豪)More about Adversarial Attack 1, 2 (slide)4/30

作業(yè)七Network Compression (slide)Network Compression 1 2 3 4slide, video (助教：劉俊緯、楊晟甫)More about Network Compression 1, 2 (slide)5/21

作業(yè)八Seq2seq (slide), Pointer (option) (slide), Recursive (option) (slide), Transformer (slide)Seq2seqslide, video (助教：黃子賢)Transformer and its variant (slide)5/21

作業(yè)九Dimension Reduction (slide), Neighbor Embedding (slide), Auto-encoder (slide), More Auto-encoder (slide), BERT (slide)Unsupervised Learningslide, video (助教：陳延昊、楊晟甫)Self-supervised Learning (slide)5/21

作業(yè)十Anomaly Detection (slide)Anomaly Detectionslide, video (助教：謝濬丞)More about Anomaly Detection (slide)6/11

作業(yè)十一GAN (10 videos) (slide 1 2 3 4 5 6 7 8 9 10), Flow-based (slide)GANslide, video (助教：陳延昊、吳宗翰)More about GAN (slide)6/11

作業(yè)十二Transfer Learning (slide)Transfer Learningslide, video (助教：劉俊緯、黃冠博)Domain Adaptation 1 2 (slide)6/11

作業(yè)十三Meta Learning - MAML(slide), Meta Learning - Gradient Descent and Metric-based (option)(slide)Meta 1 2slide, video 1 2 3 (助教：姜成翰、高瑋聰)More about Meta 1 2 (slide)7/02

作業(yè)十四Life-long Learning (slide)Life-longslide, video (助教：紀伯翰、黃子賢)More about Life-long (slide)7/02

作業(yè)十五RL 1 2 3 (slide), Advanced Version (8 videos, option) (slide 1 2 3 4 5)