入門階段

• 高等數(shù)學(xué)

• 函數(shù)與極限：理解函數(shù)的概念、性質(zhì)和常見函數(shù)類型，掌握極限的定義、計(jì)算方法以及極限在描述函數(shù)趨勢(shì)中的作用。

• 導(dǎo)數(shù)與微分：學(xué)習(xí)導(dǎo)數(shù)的定義、幾何意義和物理意義，掌握基本函數(shù)的求導(dǎo)公式和求導(dǎo)法則，了解微分的概念和應(yīng)用，導(dǎo)數(shù)在機(jī)器學(xué)習(xí)中用于計(jì)算梯度，是優(yōu)化算法的基礎(chǔ)。

• 積分：包括不定積分和定積分的概念、計(jì)算方法以及基本積分公式，積分在一些概率分布的計(jì)算和機(jī)器學(xué)習(xí)的理論推導(dǎo)中會(huì)有所涉及。

• 線性代數(shù)

• 矩陣與向量：掌握矩陣的定義、運(yùn)算（加法、乘法、轉(zhuǎn)置等），了解特殊矩陣（如對(duì)角矩陣、單位矩陣等），熟悉向量的概念、運(yùn)算以及向量與矩陣的關(guān)系，矩陣和向量是表示和處理數(shù)據(jù)的重要工具。

• 矩陣的秩、逆矩陣與行列式：理解矩陣秩的概念，掌握求逆矩陣的方法（如果存在），了解行列式的定義和性質(zhì)，這些概念在分析矩陣的性質(zhì)和求解線性方程組中起著關(guān)鍵作用。

• 特征值與特征向量：學(xué)習(xí)特征值和特征向量的定義、計(jì)算方法以及它們的幾何意義，在機(jī)器學(xué)習(xí)中，特征值分解和奇異值分解等技術(shù)常用于數(shù)據(jù)降維和特征提取。

• 概率論與數(shù)理統(tǒng)計(jì)

• 概率基礎(chǔ)：掌握概率的基本定義、性質(zhì)和概率空間的概念，理解條件概率、聯(lián)合概率和全概率公式，熟悉常見的概率分布（如伯努利分布、二項(xiàng)分布、均勻分布、正態(tài)分布等）及其性質(zhì)和應(yīng)用2。

• 隨機(jī)變量與數(shù)字特征：學(xué)習(xí)離散型和連續(xù)型隨機(jī)變量的概念、概率分布函數(shù)和概率密度函數(shù)，掌握期望、方差、協(xié)方差和相關(guān)系數(shù)等數(shù)字特征的定義和計(jì)算方法，這些數(shù)字特征用于描述隨機(jī)變量的集中趨勢(shì)、離散程度和變量之間的相關(guān)性。

進(jìn)階階段

• 多元微積分

• 多元函數(shù)的導(dǎo)數(shù)與偏導(dǎo)數(shù)：將一元函數(shù)的導(dǎo)數(shù)概念推廣到多元函數(shù)，學(xué)習(xí)偏導(dǎo)數(shù)的定義、計(jì)算方法以及鏈?zhǔn)椒▌t，偏導(dǎo)數(shù)在機(jī)器學(xué)習(xí)中的梯度計(jì)算和優(yōu)化算法中經(jīng)常用到，特別是對(duì)于多個(gè)變量的函數(shù)優(yōu)化問題。

• 多元函數(shù)的極值與最值：掌握多元函數(shù)極值和最值的求解方法，包括利用拉格朗日乘數(shù)法解決約束優(yōu)化問題，這在機(jī)器學(xué)習(xí)的模型訓(xùn)練和參數(shù)調(diào)優(yōu)中具有重要應(yīng)用。

• 向量微積分：了解向量值函數(shù)的導(dǎo)數(shù)、散度、旋度等概念，向量微積分在一些高級(jí)的機(jī)器學(xué)習(xí)算法和理論推導(dǎo)中會(huì)有所涉及，如在深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)的反向傳播算法中。

• 線性代數(shù)進(jìn)階

• 矩陣分解：深入學(xué)習(xí)矩陣的各種分解方法，如奇異值分解（SVD）、QR 分解、LU 分解等，這些分解在數(shù)據(jù)處理、降維、求解線性方程組等方面有廣泛應(yīng)用，是機(jī)器學(xué)習(xí)中數(shù)據(jù)預(yù)處理和模型優(yōu)化的重要工具。

• 線性空間與線性變換：理解線性空間的定義、基和維數(shù)的概念，掌握線性變換的定義、矩陣表示以及線性變換的性質(zhì)，線性空間和線性變換的理論為機(jī)器學(xué)習(xí)中的特征工程和模型設(shè)計(jì)提供了更深入的理論基礎(chǔ)。

• 概率論與數(shù)理統(tǒng)計(jì)進(jìn)階

• 貝葉斯統(tǒng)計(jì)：深入學(xué)習(xí)貝葉斯定理、先驗(yàn)分布、后驗(yàn)分布等概念，掌握貝葉斯估計(jì)和貝葉斯決策的方法，貝葉斯統(tǒng)計(jì)在機(jī)器學(xué)習(xí)中的應(yīng)用非常廣泛，如在貝葉斯分類器、隱馬爾可夫模型等算法中。

• 信息論基礎(chǔ)：學(xué)習(xí)信息熵、聯(lián)合熵、互信息、相對(duì)熵（KL 散度）等概念，信息論為衡量數(shù)據(jù)的不確定性、特征選擇和模型評(píng)估提供了理論依據(jù)，在決策樹算法、特征工程等方面有重要應(yīng)用2。

• 隨機(jī)過程：了解常見的隨機(jī)過程（如馬爾可夫過程、泊松過程等）的定義、性質(zhì)和應(yīng)用，隨機(jī)過程在自然語(yǔ)言處理、時(shí)間序列分析等領(lǐng)域有廣泛應(yīng)用，如在隱馬爾可夫模型中用于處理序列數(shù)據(jù)。

• 最優(yōu)化理論與方法

• 優(yōu)化問題的基本概念：學(xué)習(xí)無(wú)約束優(yōu)化問題和約束優(yōu)化問題的定義、分類以及最優(yōu)解的概念，了解凸優(yōu)化問題和非凸優(yōu)化問題的區(qū)別。

• 梯度下降法及其變體：掌握梯度下降法的基本原理、迭代公式和收斂性分析，了解隨機(jī)梯度下降法、小批量梯度下降法等變體，梯度下降法是機(jī)器學(xué)習(xí)中最常用的優(yōu)化算法之一，用于求解模型的參數(shù)。

• 其他優(yōu)化算法：學(xué)習(xí)牛頓法、擬牛頓法、共軛梯度法等其他優(yōu)化算法的原理和應(yīng)用，這些算法在一些復(fù)雜的優(yōu)化問題中可能具有更好的性能。

          課程目錄
1-人工智能學(xué)習(xí)數(shù)學(xué)的必要性_微積分知識(shí)點(diǎn)
2-線性代數(shù)_概率論知識(shí)點(diǎn)
3-最優(yōu)化知識(shí)_數(shù)學(xué)內(nèi)容學(xué)習(xí)重點(diǎn)
1-導(dǎo)數(shù)的定義_左導(dǎo)數(shù)和右導(dǎo)數(shù)
2-導(dǎo)數(shù)的幾何意義和物理意義
3-常見函數(shù)的求導(dǎo)公式
4-導(dǎo)數(shù)求解的四則運(yùn)算法則
5-復(fù)合函數(shù)求導(dǎo)法則
6-推導(dǎo)激活函數(shù)的導(dǎo)函數(shù)
7-高階導(dǎo)數(shù)_導(dǎo)數(shù)判斷單調(diào)性_導(dǎo)數(shù)與極值
8-導(dǎo)數(shù)判斷凹凸性_導(dǎo)數(shù)用于泰勒展開
1-向量的意義_n維歐式空間空間
2-行向量列向量_轉(zhuǎn)置_數(shù)乘_加減乘除
3-向量的內(nèi)積_向量運(yùn)算法則
4-學(xué)習(xí)向量計(jì)算的用途舉例
5-向量的范數(shù)_范數(shù)與正則項(xiàng)的關(guān)系
6-特殊的向量
7-矩陣_方陣_對(duì)稱陣_單位陣_對(duì)角陣
8-矩陣的運(yùn)算_加減法_轉(zhuǎn)置
9-矩陣相乘
10-矩陣的逆矩陣
11-矩陣的行列式
1-多元函數(shù)求偏導(dǎo)
2-高階偏導(dǎo)數(shù)_梯度
3-雅可比矩陣_在神經(jīng)網(wǎng)絡(luò)中應(yīng)用
4-Hessian矩陣
1-二次型
2-補(bǔ)充關(guān)于正定負(fù)定的理解
3-特征值和特征向量(1)
4-特征值和特征向量(2)
5-特征值分解
6-多元函數(shù)的泰勒展開_矩陣和向量的求導(dǎo)
7-奇異值分解定義
8-求解奇異值分解中的UΣV矩陣
9-奇異值分解性質(zhì)_數(shù)據(jù)壓縮
10-SVD用于PCA降維
11-SVD用于協(xié)同過濾_求逆矩陣
1-概率論_隨機(jī)事件與隨機(jī)事件概率
2-條件概率_貝葉斯公式
3-隨機(jī)變量
4-數(shù)學(xué)期望和方差
5-常用隨機(jī)變量服從的分布
6-隨機(jī)向量_獨(dú)立性_協(xié)方差_隨機(jī)向量的正太分布
7-最大似然估計(jì)思想
1-最優(yōu)化的基本概念
2-迭代求解的原因
3-梯度下降法思路
4-梯度下降法的推導(dǎo)
5-牛頓法公式推導(dǎo)以及優(yōu)缺點(diǎn)
6-坐標(biāo)下降法_數(shù)值優(yōu)化面臨的問題
7-凸集
8-凸函數(shù)
9-凸優(yōu)化的性質(zhì)_一般表達(dá)形式
10-拉格朗日函數(shù)