1. 什么是機(jī)器學(xué)習(xí)？

機(jī)器學(xué)習(xí)就是找函數(shù)的公式，如何輸入一段語音，找到這段語音對(duì)應(yīng)的函數(shù)，如果輸入一個(gè)圖片，那么就找到這個(gè)圖片的像素點(diǎn)所對(duì)應(yīng)的函數(shù)。

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html

首先，根據(jù)所要輸出的類型，可以簡單的把機(jī)器學(xué)習(xí)的問題分為兩大類，回歸（regression）與分類（classification）。如果輸出的數(shù)值是連續(xù)的變量，那么該問題就是一個(gè)回歸問題，如果輸出的數(shù)值是離散的，比如只有yes or no兩類，那么就是二分類問題，如果輸出為多個(gè)類別，就是多分類問題。

除此以外，隨著機(jī)器學(xué)習(xí)的發(fā)展，機(jī)器不僅僅可以完成上述兩項(xiàng)任務(wù)，還可以進(jìn)行“創(chuàng)造”，比如翻譯問題，比如生成一個(gè)圖片。

2. 如何告訴“告訴機(jī)器”你想要找的函數(shù)表達(dá)式

2.1 監(jiān)督學(xué)習(xí)（supervised learning）

如果預(yù)先告訴機(jī)器，你想要的函數(shù)的理想的輸出是什么，這種學(xué)習(xí)方式就叫做有監(jiān)督的學(xué)習(xí)，換句話說，就是每個(gè)輸出值都有了標(biāo)簽（label）。

然后機(jī)器會(huì)根據(jù)設(shè)定好的損失函數(shù)（loss function），可以不斷評(píng)價(jià)目前的函數(shù)的“好壞”，不斷迭代優(yōu)化，使得函數(shù)的loss越來越小

2.2 強(qiáng)化學(xué)習(xí)（reinforcement learning）

與監(jiān)督學(xué)習(xí)不同，強(qiáng)化學(xué)習(xí)不會(huì)給機(jī)器理想的輸出和結(jié)果，而是讓機(jī)器自行探索，如果獲得了想要的答案，就給予reward，通過這種方法讓機(jī)器越來越精確。

2.3 無監(jiān)督學(xué)習(xí)（unsupervised learning）

既沒有l(wèi)abel也沒有reward，在這種情況下讓機(jī)器進(jìn)行學(xué)習(xí)。

3. 機(jī)器怎么找出你想要的函數(shù)表達(dá)式

3.1 給定搜尋的范圍

在回歸和分類問題中，我們假定要找的函數(shù)式為線性函數(shù)（Liner function）。在RNN和CNN問題中，搜尋范圍是網(wǎng)絡(luò)結(jié)構(gòu)（network architecture）。

3.2 范圍中搜尋函數(shù)

通過一些算法：梯度下降（Gradient Descent）來求解，或者Pytorch等深度學(xué)習(xí)框架中的算法。

4. 前沿研究

Explainable AI（可解釋人工智能）、Adversarial Attack（對(duì)抗攻擊）、Network Compression（網(wǎng)絡(luò)壓縮）、Anomaly Detection（異常檢測(cè)）、Transfer Learning（遷移學(xué)習(xí)）、Meta Learning（元學(xué)習(xí)）

著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系作者獲得授權(quán)，非商業(yè)轉(zhuǎn)載請(qǐng)注明出處。

李宏毅 (Hung-yi Lee) received the M.S. and Ph.D. degrees from National Taiwan University (NTU), Taipei, Taiwan, in 2010 and 2012, respectively. From September 2012 to August 2013, he was a postdoctoral fellow in Research Center for Information Technology Innovation, Academia Sinica. From September 2013 to July 2014, he was a visiting scientist at the Spoken Language Systems Group of MIT Computer Science and Artificial Intelligence Laboratory (CSAIL). He is currently an associate professor of the Department of Electrical Engineering of National Taiwan University, with a joint appointment at the Department of Computer Science & Information Engineering of the university. His research focuses on machine learning (especially deep learning), spoken language understanding, and speech recognition. He owns a YouTube channel teaching deep learning in Mandarin (more than 4M Total Views and 48k Subscribers).

作業(yè)編號(hào)線上學(xué)習(xí)作業(yè)範(fàn)例作業(yè)說明助教補(bǔ)充繳交時(shí)間

課程簡介Introduction (slide), Rule (slide)Google Drive 檔案存取

作業(yè)一Regression (slide), Basic Concept (slide)Regressionslide, video (助教：楊舒涵)3/26

Gradient DescentGradient Descent 1 2 3 (slide)More about Gradient Descent 1 2 (slide)

作業(yè)二Classification 1 2 (slide 12)Classificationslide, video (助教：簡仲明)3/26

DL預(yù)備DL (slide), Backprop (slide), Tips (slide), Why Deep (slide)PyTorch 教學(xué) ( slide, colab, video, cheatsheet)助教：劉記良、陳建成

作業(yè)三CNN(slide)CNNslide, video (助教：邱譯、趙崇皓)GNN 1 2 (slide)4/30

作業(yè)四RNN 1 2 (slide), Semi-supervised (slide), Word Embedding (slide)RNNslide, video (助教：黃冠博、邱譯)4/30

作業(yè)五Explainable AI (slide)Explainable AIslide, video (助教：楊書文)More about Explainable AI (slide)4/30

作業(yè)六Adversarial Attack (slide)Adversarial Attackslide, video (助教：林政豪)More about Adversarial Attack 1, 2 (slide)4/30

作業(yè)七Network Compression (slide)Network Compression 1 2 3 4slide, video (助教：劉俊緯、楊晟甫)More about Network Compression 1, 2 (slide)5/21

作業(yè)八Seq2seq (slide), Pointer (option) (slide), Recursive (option) (slide), Transformer (slide)Seq2seqslide, video (助教：黃子賢)Transformer and its variant (slide)5/21

作業(yè)九Dimension Reduction (slide), Neighbor Embedding (slide), Auto-encoder (slide), More Auto-encoder (slide), BERT (slide)Unsupervised Learningslide, video (助教：陳延昊、楊晟甫)Self-supervised Learning (slide)5/21

作業(yè)十Anomaly Detection (slide)Anomaly Detectionslide, video (助教：謝濬丞)More about Anomaly Detection (slide)6/11

作業(yè)十一GAN (10 videos) (slide 1 2 3 4 5 6 7 8 9 10), Flow-based (slide)GANslide, video (助教：陳延昊、吳宗翰)More about GAN (slide)6/11

作業(yè)十二Transfer Learning (slide)Transfer Learningslide, video (助教：劉俊緯、黃冠博)Domain Adaptation 1 2 (slide)6/11

作業(yè)十三Meta Learning - MAML(slide), Meta Learning - Gradient Descent and Metric-based (option)(slide)Meta 1 2slide, video 1 2 3 (助教：姜成翰、高瑋聰)More about Meta 1 2 (slide)7/02

作業(yè)十四Life-long Learning (slide)Life-longslide, video (助教：紀(jì)伯翰、黃子賢)More about Life-long (slide)7/02

作業(yè)十五RL 1 2 3 (slide), Advanced Version (8 videos, option) (slide 1 2 3 4 5)