入門階段

• 高等數學

• 函數與極限：理解函數的概念、性質和常見函數類型，掌握極限的定義、計算方法以及極限在描述函數趨勢中的作用。

• 導數與微分：學習導數的定義、幾何意義和物理意義，掌握基本函數的求導公式和求導法則，了解微分的概念和應用，導數在機器學習中用于計算梯度，是優(yōu)化算法的基礎。

• 積分：包括不定積分和定積分的概念、計算方法以及基本積分公式，積分在一些概率分布的計算和機器學習的理論推導中會有所涉及。

• 線性代數

• 矩陣與向量：掌握矩陣的定義、運算（加法、乘法、轉置等），了解特殊矩陣（如對角矩陣、單位矩陣等），熟悉向量的概念、運算以及向量與矩陣的關系，矩陣和向量是表示和處理數據的重要工具。

• 矩陣的秩、逆矩陣與行列式：理解矩陣秩的概念，掌握求逆矩陣的方法（如果存在），了解行列式的定義和性質，這些概念在分析矩陣的性質和求解線性方程組中起著關鍵作用。

• 特征值與特征向量：學習特征值和特征向量的定義、計算方法以及它們的幾何意義，在機器學習中，特征值分解和奇異值分解等技術常用于數據降維和特征提取。

• 概率論與數理統(tǒng)計

• 概率基礎：掌握概率的基本定義、性質和概率空間的概念，理解條件概率、聯合概率和全概率公式，熟悉常見的概率分布（如伯努利分布、二項分布、均勻分布、正態(tài)分布等）及其性質和應用2。

• 隨機變量與數字特征：學習離散型和連續(xù)型隨機變量的概念、概率分布函數和概率密度函數，掌握期望、方差、協(xié)方差和相關系數等數字特征的定義和計算方法，這些數字特征用于描述隨機變量的集中趨勢、離散程度和變量之間的相關性。

進階階段

• 多元微積分

• 多元函數的導數與偏導數：將一元函數的導數概念推廣到多元函數，學習偏導數的定義、計算方法以及鏈式法則，偏導數在機器學習中的梯度計算和優(yōu)化算法中經常用到，特別是對于多個變量的函數優(yōu)化問題。

• 多元函數的極值與最值：掌握多元函數極值和最值的求解方法，包括利用拉格朗日乘數法解決約束優(yōu)化問題，這在機器學習的模型訓練和參數調優(yōu)中具有重要應用。

• 向量微積分：了解向量值函數的導數、散度、旋度等概念，向量微積分在一些高級的機器學習算法和理論推導中會有所涉及，如在深度學習中的卷積神經網絡的反向傳播算法中。

• 線性代數進階

• 矩陣分解：深入學習矩陣的各種分解方法，如奇異值分解（SVD）、QR 分解、LU 分解等，這些分解在數據處理、降維、求解線性方程組等方面有廣泛應用，是機器學習中數據預處理和模型優(yōu)化的重要工具。

• 線性空間與線性變換：理解線性空間的定義、基和維數的概念，掌握線性變換的定義、矩陣表示以及線性變換的性質，線性空間和線性變換的理論為機器學習中的特征工程和模型設計提供了更深入的理論基礎。

• 概率論與數理統(tǒng)計進階

• 貝葉斯統(tǒng)計：深入學習貝葉斯定理、先驗分布、后驗分布等概念，掌握貝葉斯估計和貝葉斯決策的方法，貝葉斯統(tǒng)計在機器學習中的應用非常廣泛，如在貝葉斯分類器、隱馬爾可夫模型等算法中。

• 信息論基礎：學習信息熵、聯合熵、互信息、相對熵（KL 散度）等概念，信息論為衡量數據的不確定性、特征選擇和模型評估提供了理論依據，在決策樹算法、特征工程等方面有重要應用2。

• 隨機過程：了解常見的隨機過程（如馬爾可夫過程、泊松過程等）的定義、性質和應用，隨機過程在自然語言處理、時間序列分析等領域有廣泛應用，如在隱馬爾可夫模型中用于處理序列數據。

• 最優(yōu)化理論與方法

• 優(yōu)化問題的基本概念：學習無約束優(yōu)化問題和約束優(yōu)化問題的定義、分類以及最優(yōu)解的概念，了解凸優(yōu)化問題和非凸優(yōu)化問題的區(qū)別。

• 梯度下降法及其變體：掌握梯度下降法的基本原理、迭代公式和收斂性分析，了解隨機梯度下降法、小批量梯度下降法等變體，梯度下降法是機器學習中最常用的優(yōu)化算法之一，用于求解模型的參數。

• 其他優(yōu)化算法：學習牛頓法、擬牛頓法、共軛梯度法等其他優(yōu)化算法的原理和應用，這些算法在一些復雜的優(yōu)化問題中可能具有更好的性能。

          課程目錄
1-人工智能學習數學的必要性_微積分知識點
2-線性代數_概率論知識點
3-最優(yōu)化知識_數學內容學習重點
1-導數的定義_左導數和右導數
2-導數的幾何意義和物理意義
3-常見函數的求導公式
4-導數求解的四則運算法則
5-復合函數求導法則
6-推導激活函數的導函數
7-高階導數_導數判斷單調性_導數與極值
8-導數判斷凹凸性_導數用于泰勒展開
1-向量的意義_n維歐式空間空間
2-行向量列向量_轉置_數乘_加減乘除
3-向量的內積_向量運算法則
4-學習向量計算的用途舉例
5-向量的范數_范數與正則項的關系
6-特殊的向量
7-矩陣_方陣_對稱陣_單位陣_對角陣
8-矩陣的運算_加減法_轉置
9-矩陣相乘
10-矩陣的逆矩陣
11-矩陣的行列式
1-多元函數求偏導
2-高階偏導數_梯度
3-雅可比矩陣_在神經網絡中應用
4-Hessian矩陣
1-二次型
2-補充關于正定負定的理解
3-特征值和特征向量(1)
4-特征值和特征向量(2)
5-特征值分解
6-多元函數的泰勒展開_矩陣和向量的求導
7-奇異值分解定義
8-求解奇異值分解中的UΣV矩陣
9-奇異值分解性質_數據壓縮
10-SVD用于PCA降維
11-SVD用于協(xié)同過濾_求逆矩陣
1-概率論_隨機事件與隨機事件概率
2-條件概率_貝葉斯公式
3-隨機變量
4-數學期望和方差
5-常用隨機變量服從的分布
6-隨機向量_獨立性_協(xié)方差_隨機向量的正太分布
7-最大似然估計思想
1-最優(yōu)化的基本概念
2-迭代求解的原因
3-梯度下降法思路
4-梯度下降法的推導
5-牛頓法公式推導以及優(yōu)缺點
6-坐標下降法_數值優(yōu)化面臨的問題
7-凸集
8-凸函數
9-凸優(yōu)化的性質_一般表達形式
10-拉格朗日函數