- 2021 機(jī)器學(xué)習(xí)相關(guān)規(guī)定
- 第一節(jié) (上) - 機(jī)器學(xué)習(xí)基本概念簡(jiǎn)介
- (下) - 深度學(xué)習(xí)基本概念簡(jiǎn)介
- Google Colab教學(xué)
- Pytorch 教學(xué) part 1
- Pytorch 教學(xué) part 2(英文有字幕)
- 作業(yè)說(shuō)明 HW1 slides
- (選修)To Learn More - 深度學(xué)習(xí)簡(jiǎn)介
- (選修)To Learn More - 反向傳播(Backpropagation)
- 第二節(jié) 機(jī)器學(xué)習(xí)任務(wù)攻略
- 類神經(jīng)網(wǎng)絡(luò)訓(xùn)練不起來(lái)怎么辦(一) 局部最小值 (local minima) 與鞍點(diǎn) (saddle point)
- 類神經(jīng)網(wǎng)絡(luò)訓(xùn)練不起來(lái)怎么辦(二) 批次 (batch) 與動(dòng)量 (momentum)
- 類神經(jīng)網(wǎng)絡(luò)訓(xùn)練不起來(lái)怎么辦(三) 自動(dòng)調(diào)整學(xué)習(xí)率 (Learning Rate)
- 類神經(jīng)網(wǎng)絡(luò)訓(xùn)練不起來(lái)怎么辦(四) 損失函數(shù) (Loss) 也可能有影響
- 類神經(jīng)網(wǎng)絡(luò)訓(xùn)練不起來(lái)怎么辦 (五) 批次標(biāo)準(zhǔn)化 (Batch Normalization)
- (選修)To Learn More - Optimization for Deep Learning (1_2)
- (選修)To Learn More - Optimization for Deep Learning (2_2)
- (選修)To Learn More - Classification
- (選修)To Learn More - Logistic Regression
- 作業(yè)說(shuō)明 HW2中文低畫質(zhì)版
- 作業(yè)說(shuō)明 HW2-英文有字幕高清版
- 第三節(jié) 卷積神經(jīng)網(wǎng)絡(luò)(CNN)
- 自注意力機(jī)制(Self-attention)(上)
- 自注意力機(jī)制 (Self-attention) (下)
- (選修)To Learn More - Unsupervised Learning - Word Embedding
- (選修)To Learn More - Spatial Transformer Layer
- (選修)To Learn More - Recurrent Neural Network
- (選修)To Learn More - Graph Neural Network(1_2)
- (選修)To Learn More - Graph Neural Network(2_2)
- 作業(yè)說(shuō)明 HW3 中文低畫質(zhì)
- 作業(yè)說(shuō)明 HW3 英文高畫質(zhì)有字幕
- 作業(yè)說(shuō)明 HW4-中文低畫質(zhì)版
- 作業(yè)說(shuō)明 HW4-英文無(wú)字幕高清版
- 第五節(jié) Transformer (上)
- Transformer (下)
- (選修)To Learn More - Non-Autoregressive Sequence Generation
- 作業(yè)說(shuō)明 HW5 中文 + Judgeboi講解
- 作業(yè)說(shuō)明 HW5 slides tutorial -英文版機(jī)翻
- 作業(yè)說(shuō)明 HW5 code tutorial -英文版機(jī)翻
- 第六節(jié) 生成式對(duì)抗網(wǎng)絡(luò)(GAN) (一) – 基本概念介紹
- 生成式對(duì)抗網(wǎng)絡(luò)(GAN) (二) – 理論介紹與WGAN
- 生成式對(duì)抗網(wǎng)絡(luò)(GAN) (三) – 生成器效能評(píng)估與條件式生成
- 生成式對(duì)抗網(wǎng)絡(luò)(GAN) (四) – Cycle GAN
- (選修)To Learn More - Unsupervised Learning - Deep Generative Model (Part I)
- (選修)To Learn More - Unsupervised Learning - Deep Generative Model (Part II)
- (選修)To Learn More - Flow-based Generative Model
- 作業(yè)說(shuō)明 HW6 中文版低畫質(zhì)
- 作業(yè)說(shuō)明 HW6 英文版高畫質(zhì)有字幕
- 第七節(jié) 自監(jiān)督式學(xué)習(xí) (一) – 芝麻街與進(jìn)擊的巨人
- 自監(jiān)督式學(xué)習(xí) (二) – BERT簡(jiǎn)介
- 自監(jiān)督式學(xué)習(xí) (三) – BERT的奇聞?shì)W事
- 自監(jiān)督式學(xué)習(xí) (四) – GPT的野望
- 自編碼器 (Auto-encoder) (上) – 基本概念
- 自編碼器 (Auto-encoder) (下) – 領(lǐng)結(jié)變聲器與更多應(yīng)用
- (選修)To Learn More - BERT and its family - Introduction and Fine-tune
- (選修)To Learn More - ELMo BERT GPT XLNet MASS BART UniLM ELECTRA others
- (選修)To Learn More - Multilingual BERT
- (選修)To Learn More - 來(lái)自獵人暗黑大陸的模型 GPT-3
- (選修)To Learn More - Unsupervised Learning - Linear Methods
- (選修)To Learn More - Unsupervised Learning - Neighbor Embedding
- 作業(yè)說(shuō)明 HW7 中文版低畫質(zhì)
- 作業(yè)說(shuō)明 HW8 中文版低畫質(zhì)
- 第八節(jié) 來(lái)自人類的惡意攻擊 (Adversarial Attack) (上) – 基本概念
- 來(lái)自人類的惡意攻擊 (Adversarial Attack) (下) – 類神經(jīng)網(wǎng)絡(luò)能否躲過(guò)人類深不見(jiàn)底的惡意
- 機(jī)器學(xué)習(xí)的可解釋性 (Explainable ML) (上) – 為什么神經(jīng)網(wǎng)絡(luò)可以正確分辨寶可夢(mèng)和數(shù)碼寶貝
- 機(jī)器學(xué)習(xí)的可解釋性 (Explainable ML) (下) –機(jī)器心中的貓長(zhǎng)什么樣子
- (選修)To Learn More - More about Adversarial Attack (1_2)
- (選修)To Learn More - More about Adversarial Attack (2_2)
- 作業(yè)說(shuō)明 HW9 中文版低畫質(zhì)
- 作業(yè)說(shuō)明 HW10 中文版低畫質(zhì)
- 第九節(jié) 概述領(lǐng)域自適應(yīng) (Domain Adaptation)
- 作業(yè)說(shuō)明 HW11 Domain Adaptation 作業(yè)講解
- 第十節(jié) 概述增強(qiáng)式學(xué)習(xí)(一) – 增強(qiáng)式學(xué)習(xí)和機(jī)器學(xué)習(xí)一樣都是三個(gè)步驟
- 概述增強(qiáng)式學(xué)習(xí) (二) – Policy Gradient 與修課心情
- 概述增強(qiáng)式學(xué)習(xí) (三) – Actor-Critic
- 概述增強(qiáng)式學(xué)習(xí) (四) – 回饋非常罕見(jiàn)的時(shí)候怎么辦?機(jī)器的望梅止渴
- 概述增強(qiáng)式學(xué)習(xí) (五) – 如何從示范中學(xué)習(xí)?逆向增強(qiáng)式學(xué)習(xí) (Inverse RL)
- 作業(yè)說(shuō)明 HW12 中文高清
- (選修)To Learn More - Deep Reinforcement Learning
- (選修)To Learn More - Proximal Policy Optimization (PPO)
- (選修)To Learn More - Q-learning (Basic Idea)
- (選修)To Learn More - Q-learning (Advanced Tips)
- (選修)To Learn More - Q-learning (Continuous Action)
- 第十二節(jié) 機(jī)器終身學(xué)習(xí) (一) - 為什么今日的人工智能無(wú)法成為天網(wǎng)?災(zāi)難性遺忘(Catastrophic Forgetting)
- 機(jī)器終身學(xué)習(xí) (二) - 災(zāi)難性遺忘(Catastrophic Forgetting)
- 神經(jīng)網(wǎng)絡(luò)壓縮 (一) - 類神經(jīng)網(wǎng)絡(luò)剪枝(Pruning) 與大樂(lè)透假說(shuō)(Lottery Ticket Hypothesis)
- 神經(jīng)網(wǎng)絡(luò)壓縮 (二) - 從各種不同的面向來(lái)壓縮神經(jīng)網(wǎng)絡(luò)
- 作業(yè)說(shuō)明 HW13 中文高清
- 作業(yè)說(shuō)明 HW14 中文高清
- (選修)To Learn More - Geometry of Loss Surfaces (Conjecture)
- 第十三節(jié) 元學(xué)習(xí) Meta Learning (一) - 元學(xué)習(xí)和機(jī)器學(xué)習(xí)一樣也是三個(gè)步驟
- 元學(xué)習(xí) Meta Learning (二) - 萬(wàn)物皆可 Meta
- (選修)To Learn More - Meta Learning – MAML (1)
- (選修)To Learn More - Meta Learning – MAML (2)
- (選修)To Learn More - Meta Learning – MAML (3)
- (選修)To Learn More - Meta Learning – MAML (4)
- (選修)To Learn More - Meta Learning – MAML (5)
- (選修)To Learn More - Meta Learning – MAML (6)
- (選修)To Learn More - Meta Learning – MAML (7)
- (選修)To Learn More - Meta Learning – MAML (8)
- (選修)To Learn More - Meta Learning – MAML (9)
- (選修)To Learn More - Meta Learning – Metric-based (1)
- (選修)To Learn More - Meta Learning – Metric-based (2)
- (選修)To Learn More - Meta Learning – Metric-based (3)
- (選修)To Learn More - Meta Learning - Train+Test as RNN
在機(jī)器學(xué)習(xí)教育領(lǐng)域,臺(tái)灣大學(xué)電機(jī)工程系助理教授李宏毅以鮮明的個(gè)人風(fēng)格獨(dú)樹(shù)一幟。在課堂上,他經(jīng)常用增強(qiáng)現(xiàn)實(shí)游戲「寶可夢(mèng) Go」舉例,不僅語(yǔ)言風(fēng)趣幽默,PPT 的可視化也做得非常用心。最重要的是,他的授課語(yǔ)言是中文(標(biāo)準(zhǔn)臺(tái)灣普通話)。因此,不少人將其推薦為入門機(jī)器學(xué)習(xí)的首選課程。
2、3 月份是新學(xué)期的開(kāi)始,李宏毅老師也宣布了他的《機(jī)器學(xué)習(xí)》課程上新的消息。新課程從 2 月 26 日正式開(kāi)始,6 月中旬正式結(jié)束,視頻、PPT 都會(huì)上傳到課程主頁(yè)上。
課程主頁(yè):https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.html
在內(nèi)容方面,這門課程重點(diǎn)講解的是深度學(xué)習(xí)。雖然深度學(xué)習(xí)是一門相對(duì)進(jìn)階的技術(shù),但李宏毅老師表示,這仍然不會(huì)改變這門課「機(jī)器學(xué)習(xí)入門課」的屬性,仍然會(huì)讓絕大多數(shù)人聽(tīng)得懂,「你可以將它作為你機(jī)器學(xué)習(xí)的第一門課」。如果你還學(xué)過(guò)林軒田的《機(jī)器學(xué)習(xí)基石與技法》,你會(huì)發(fā)現(xiàn)這兩門課其實(shí)可以很好地銜接。
「從最基本的觀念講到最前瞻的技術(shù)」是這門課最重要的一個(gè)特色,從課程目錄中我們也可以大致看出來(lái):
課程介紹
深度學(xué)習(xí)
自注意力
機(jī)器學(xué)習(xí)理論
Transformer
生成式模型
自監(jiān)督學(xué)習(xí)
可解釋 AI / 對(duì)抗攻擊
域自適應(yīng) / 強(qiáng)化學(xué)習(xí)
量子機(jī)器學(xué)習(xí)
終身壓縮
元學(xué)習(xí)
第二堂課主要介紹深度學(xué)習(xí)的一些基本概念,如過(guò)擬合、局部最小值、鞍點(diǎn)、批次、動(dòng)量等,幫你解答為什么有時(shí)候網(wǎng)絡(luò)訓(xùn)練不起來(lái),還會(huì)傳授一些訓(xùn)練技巧。這堂課昨天才剛剛上傳,現(xiàn)在去聽(tīng)?wèi)?yīng)該還能搶到前排。
上課之前需要具備哪些基礎(chǔ)知識(shí)?
雖然是一門入門課程,但這門課也要求掌握一些數(shù)學(xué)、編程、硬件等方面的基礎(chǔ)知識(shí)。
在數(shù)學(xué)方面,你需要掌握微積分、線性代數(shù)和概率。
在編程方面,課程會(huì)提供一些基于 Python 的范例代碼,如果想在這門課中學(xué)得比較好,你需要能夠讀懂并修改這些范例代碼。老師會(huì)默認(rèn)你已經(jīng)學(xué)過(guò) Python 相關(guān)語(yǔ)法、套件。
在硬件方面,所有的作業(yè)都可以在 Google Colab 上完成,無(wú)需自己配備 GPU 等硬件。
如果想了解課程的更多內(nèi)容,可以參見(jiàn)以下視頻:
視頻鏈接:https://www.youtube.com/watch?v=IHk7z51zOLw
「寶可夢(mèng)大師」李宏毅
李宏毅現(xiàn)任臺(tái)灣大學(xué)電氣工程助理教授,研究重點(diǎn)是機(jī)器學(xué)習(xí),特別是深度學(xué)習(xí)領(lǐng)域。很多人選擇的機(jī)器學(xué)習(xí)入門學(xué)習(xí)材料都是李宏毅老師的臺(tái)大公開(kāi)課視頻。
因?yàn)榻?jīng)常把精靈寶可夢(mèng)或涼宮春日等各種動(dòng)漫作為算法案例,我們親切地稱他為「精靈寶可夢(mèng)大師」。
因?yàn)檎n程形象生動(dòng),又不缺數(shù)學(xué)推導(dǎo)的嚴(yán)謹(jǐn),李宏毅老師的課程視頻可以說(shuō)是中文世界中最好的機(jī)器學(xué)習(xí)資源。
李老師以幽默風(fēng)趣的上課風(fēng)格讓很多晦澀難懂的機(jī)器學(xué)習(xí)理論變得輕松易懂,例如「史上第一次手推」循環(huán)神經(jīng)網(wǎng)絡(luò)計(jì)算過(guò)程,利用精靈寶可夢(mèng)等形象生動(dòng)地解釋神經(jīng)網(wǎng)絡(luò)背地里到底都干了些什么。
此外,課程會(huì)與時(shí)俱進(jìn),前年 ML 課程就新增了 Transformer、流模型 Glow 和對(duì)抗攻擊等新內(nèi)容。相信今年課程對(duì)最近流行的模型會(huì)有更多的介紹。
機(jī)器學(xué)習(xí)平臺(tái)—Amazon SageMaker 200美元大禮包
ML訓(xùn)練成本降90%,被全球上萬(wàn)家公司使用,Amazon SageMaker是全托管機(jī)器學(xué)習(xí)平臺(tái),支持絕大多數(shù)機(jī)器學(xué)習(xí)框架與算法,并且用 IDE 寫代碼、可視化、Debug一氣呵成。
現(xiàn)在,我們準(zhǔn)備了200美元的免費(fèi)額度,開(kāi)發(fā)者可以親自上手體驗(yàn),讓開(kāi)發(fā)高質(zhì)量模型變得更加輕松,非常值得開(kāi)發(fā)者入手一試。
