Python 基礎

• 語法基礎：學習變量、數據類型（如整數、浮點數、字符串、列表、字典、元組等）、運算符、控制流語句（if - else、for 循環(huán)、while 循環(huán)等）、函數定義與調用等基礎語法知識。可以參考《Python 編程：從入門到實踐》這本書3。

• 數據結構與算法：了解常見的數據結構，如棧、隊列、鏈表、樹、圖等，以及相關的算法操作，如排序、搜索算法等。這有助于提高編程效率和解決復雜問題的能力。

• 文件操作與異常處理：掌握文件的讀取、寫入、關閉等操作，以及如何處理程序運行過程中可能出現的異常情況，使程序更加健壯。

• 模塊與包：學會使用 Python 的模塊和包來組織代碼，提高代碼的可維護性和可復用性。了解一些常用的標準模塊，如os、sys、datetime等。

• 常用庫：NumPy 是科學計算的基礎庫，提供了高效的多維數組操作；pandas 用于數據處理和分析，能方便地進行數據清洗、轉換、統(tǒng)計等操作；Matplotlib 用于數據可視化，可將數據以圖表的形式直觀地展示出來2。

機器學習算法

• 監(jiān)督學習算法2

• 線性回歸：用于預測連續(xù)數值，通過擬合數據點與線性函數之間的最佳擬合線來建立模型。

• 邏輯回歸：廣泛用于二分類問題，將線性輸出通過邏輯函數映射到概率值，以此判斷類別。

• 決策樹：基于樹狀結構，根據特征條件分割數據，用于分類和回歸任務。

• 支持向量機（SVM）：尋找最佳超平面分割數據，使不同類別數據點離超平面最遠，以提高分類性能。

• 集成算法：如隨機森林和梯度提升樹，組合多個基本模型來提高預測性能，降低過擬合風險。

• 無監(jiān)督學習算法2

• K 均值聚類（K - means）：將數據分成 K 個簇，使每個數據點與其所屬簇的聚類中心距離最小化。

• DBSCAN（密度聚類）：基于數據點密度分割簇，能識別不同密度的簇，將稀疏區(qū)域數據點標記為噪聲點。

• 主成分分析（PCA）：常用的降維技術，通過找到數據的主要方差方向，將數據投影到新坐標系，實現數據壓縮和去除冗余信息。

• 線性判別分析（LDA）：用于降維，與分類問題結合，尋找能最大化不同類別距離、最小化同一類別內部距離的特征空間。

深度學習神經網絡

• 神經網絡基礎：了解神經元的結構和工作原理，以及神經網絡如何通過神經元之間的連接和權重來學習和處理信息。學習激活函數（如 ReLU、Sigmoid、Tanh 等）的作用和特點。

• 前向傳播與反向傳播：掌握神經網絡的前向傳播過程，即輸入數據如何在網絡中逐層傳遞并產生輸出；以及反向傳播算法，用于計算損失函數關于網絡參數的梯度，以便通過優(yōu)化算法更新參數。

• 常見的神經網絡架構

• 多層感知機（MLP）：由多個全連接層組成的神經網絡，適用于簡單的分類和回歸問題。

• 卷積神經網絡（CNN）：主要用于圖像和視頻處理等領域，通過卷積層、池化層和全連接層等結構，自動提取數據的特征。

• 循環(huán)神經網絡（RNN）：包括簡單的 RNN、長短期記憶網絡（LSTM）和門控循環(huán)單元（GRU）等，適用于處理序列數據，如自然語言處理中的文本序列。

• 深度學習框架：如 PyTorch 和 TensorFlow，掌握這些框架的基本操作，如創(chuàng)建模型、定義損失函數、選擇優(yōu)化器、訓練模型和評估模型等。以 PyTorch 為例，要熟悉張量（Tensor）的操作、模型的定義和封裝、數據加載器（DataLoader）的使用等1。

          課程目錄
第一章：Python開發(fā)環(huán)境搭建 1-下載Miniconda運行環(huán)境
2-Miniconda安裝和測試
3-Pycharm安裝和代碼運行
4-Jupyter安裝和代碼運行
5-Jupyter常用快捷鍵
6-Conda虛擬環(huán)境創(chuàng)建與Python模塊安裝
7-關聯虛擬環(huán)境運行代碼
第二章：Python基礎語法 1-Python是強類型的動態(tài)腳本語言
2-Python_控制語句_單雙分支
3-Python_控制語句_多分支_三元條件運算符
4-Python_控制語句_while循環(huán)
5-Python_控制語句_for循環(huán)
6-Python_控制語句_嵌套循環(huán)
7-Python_控制語句_break_continue
8-Python_切片操作
9-Python_數據類型
10-Python_集合操作_列表
11-Python_集合操作_列表的基本操作
12-Python_集合操作_列表的常用方法
13-Python_集合操作_元組
14-Python_集合操作_字典和常見操作
15-Python_集合操作_字典keys方法_enumerate函數
16-Python_os模塊_shutil模塊
17-Python_打開并讀取文件_中文編碼問題
18-Python_函數_定義_調用_返回值_注釋
19-Python_函數_局部變量_全局變量
20-Python_函數_默認參數_可變參數
21-Python_函數_遞歸
22-Python_函數式編程_高階函數
23-Python_函數式編程_map_reduce_filter_匿名函數
24-Python_函數_閉包
25-Python_函數_裝飾器
26-Python_類對象_定義與實例化對象
27-Python_類對象_實例屬性和方法_類屬性和方法
28-Python_類對象_內置方法
29-Python_類對象_運算符重載_私有對象方法_isinstance函數
30-Python_類對象_面向對象三大特性_類的繼承
31-Python_類對象_子類復用父類構造器和方法_方法重寫
第三章：機器學習-線性回歸 1-理解簡單線性回歸
2-最優(yōu)解_損失函數_MSE
3-擴展到多元線性回歸
4-理解多元線性回歸表達式幾種寫法的原因
5-理解維度這個概念
6-理解回歸一詞_中心極限定理_正太分布和做預測
7-假設誤差服從正太分布_最大似然估計MLE
8-引入正太分布的概率密度函數
9-明確目標通過最大總似然求解θ
10-對數似然函數_推導出損失函數MSE
11-把目標函數按照線性代數的方式去表達
12-推導出目標函數的導函數形式
13-θ解析解的公式_是否要考慮損失函數是凸函數
14-Python開發(fā)環(huán)境版本的選擇及下載
15-Anaconda環(huán)境安裝_Pycharm環(huán)境安裝
16-Pycharm創(chuàng)建腳本并測試python開發(fā)環(huán)境
17-解析解的方式求解多元線性回歸_數據Xy
18-解析解的方式求解多元線性回歸_求解模型_使用模型_繪制圖形
19-解析解的方式求解多元線性回歸_擴展隨機種子概念_增加維度代碼的變換
20-Scikit-learn模塊的介紹
21-調用Scikit-learn中的多元線性回歸求解模型(上)
22-調用Scikit-learn中的多元線性回歸求解模型(下)
1-梯度下降法產生的目的和原因以及思想
2-梯度下降法公式
3-學習率設置的學問_全局最優(yōu)解
4-梯度下降法迭代流程總結
5-多元線性回歸下的梯度下降法
6-全量梯度下降
7-隨機梯度下降_小批量梯度下降
8-對應梯度下降法的問題和挑戰(zhàn)
9-輪次和批次
10-代碼實現全量梯度下降第1步和第2步
11-代碼實現全量梯度下降第3步和第4步
12-代碼實現隨機梯度下降
13-代碼實現小批量梯度下降
14-代碼改進保證訓練數據全都能被隨機取到
15-代碼改進實現隨著迭代增加動態(tài)調整學習率
1-歸一化的目的_維度之間數量級不同產生的矛盾
2-歸一化的目的_舉例子來理解做歸一化和不做歸一化的區(qū)別
3-歸一化的副產品_有可能會提高模型的精度
4-最大值最小值歸一化
5-標準歸一化
6-代碼完成標準歸一化
1-正則化的目的防止過擬合
2-正則化通過損失函數加入懲罰項使得W越小越好
3-常用的L1和L2正則項以及數學意義
4-L1稀疏性和L2平滑性
5-通過L1和L2的導函數理解區(qū)別的本質原因
1-代碼調用Ridge嶺回歸
2-代碼調用Lasso回歸
3-代碼調用ElasticNet回歸
4-升維的意義_多項式回歸
5-多項式升維代碼實戰(zhàn)_傳入不同超參數對比
6-多項式升維代碼實戰(zhàn)_訓練模型和評估
7-實戰(zhàn)保險花銷預測_數據介紹和加載數據
8-實戰(zhàn)保險花銷預測_數據預處理
9-實戰(zhàn)保險花銷預測_模型訓練和評估_選擇非線性算法改進
10-實戰(zhàn)保險花銷預測_特征選擇思路
11-實戰(zhàn)保險花銷預測_特征工程
12-實戰(zhàn)保險花銷預測_模型訓練和評估
第四章：機器學習-邏輯回歸 1-邏輯回歸_Sigmoid函數
2-sigmoid函數作用
3-邏輯回歸為什么用sigmoid函數_預備知識
4-證明伯努利分布是指數族分布_推導出邏輯回歸公式
5-回想多元線性回歸公式其實也是從廣義線性回歸推導出來的
6-推導邏輯回歸損失函數_得到總似然的公式
7-推導邏輯回歸損失函數_得到最終形式
8-繪制邏輯回歸損失函數_讀入數據計算最優(yōu)解模型_實現邏輯回歸預測_實現邏輯回歸損失函數
9-繪制邏輯回歸損失函數_探索單個參數和損失的關系
10-繪制邏輯回歸損失函數_探索兩個參數和損失函數變換關系
11-繪制邏輯回歸損失函數_繪制3D的圖形_分析X1X2兩個維度的重要度
12-對邏輯回歸函數進行求導_結論在后面會用到
13-對邏輯回歸的損失函數求導_推導出導函數的形式
14-實戰(zhàn)邏輯回歸對鳶尾花數據集進行二分類
15-OneVsRest將多分類問題轉化成多個二分類問題
16-實戰(zhàn)邏輯回歸對鳶尾花數據集進行多分類
第五章：機器學習-無監(jiān)督學習 1-KMeans聚類流程_距離測度歐式距離和余弦距離
2-距離測度歐式距離和余弦距離的場景_TFIDF
3-KMeans的一些變形_KMeans的損失函數推導及假設
4-mini-batchKMeans_Canopy聚類_聚類評估指標
5-KMeans代碼測試不同情況下的聚類效果
6-層次聚類_密度聚類_譜聚類
第六章：機器學習-決策樹與隨機森林1-決策樹模型的特點
2-決策樹的數學表達
3-如何構建一顆決策樹
4-什么是更好的一次劃分
5-Gini系數
6-信息增益
7-熵與Gini系數關系_信息增益率
8-預剪枝以及相關超參數
9-代碼實戰(zhàn)決策樹對鳶尾花數據集分類
10-繪制決策樹模型_尋找最優(yōu)樹深度
11-代碼訓練回歸樹擬合SineWave
12-后剪枝的意義
13-CCP代價復雜度后剪枝
14-CCP代價復雜度剪枝_α超參數設定
1-不同聚合方式_生成不同弱學習器方式
2-Bagging_Boosting_Stacking
3-隨機森林
4-代碼實戰(zhàn)隨機森林對鳶尾花數據集分類
5-OOB袋外數據
6-Adaboost算法思路
7-調整數據權重讓權重正確率達到50%
8-Adaboost如何調整樣本權重和求基模型權重
第七章：機器學習與大數據-Kaggle競賽實戰(zhàn)1-Rossmann藥店銷量預測_kaggle的介紹
2-對數據字段的介紹_導包
3-自定義損失函數
4-對數據里面的目標變量sales的一個分析
5-數據的預處理
6-模型的訓練_評估
7-kaggle競賽網站學習
第八章：深度學習與神經網絡 1-神經網絡是有監(jiān)督的算法_生物神經元到人工神經元
2-三種常見的激活函數_網絡拓撲介紹_優(yōu)化算法
3-單層神經網絡正向傳播計算過程_用神經網絡理解邏輯回歸做多分類
4-用神經網絡理解Softmax回歸
5-隱藏層的意義_隱藏層相當于去做預處理_升維降維
6-多節(jié)點網絡輸出_sklearn中NN模塊的介紹
7-sklearn中NN模型的代碼使用
8-隱藏層激活函數必須是非線性的
9-tensorflow概要_conda創(chuàng)建虛擬環(huán)境_CPU版本的tensorflow安裝
第九章：計算機視覺圖像識別原理 1-圖像識別任務_古典目標檢測
2-使用OpenCV調用分類器找到目標框
3-IOU以及python計算的代碼
4-R-CNN和SPP-net
5-從FastRCNN引入FasterRCNN
1-回顧RCNN_SPPnet_Fast-RCNN
2-FasterRNN的核心RPN_正向傳播的框過濾_NMS
3-NMS代碼實現流程_mAP目標檢測平均指標
4-FasterRCNN論文講解_從介紹到RPN的loss
5-FasterRCNN論文講解_從RPN損失到評估指標對比
1-基于CascadeClassifier來提取目標框做車牌識別代碼詳解_01
2-基于CascadeClassifier來提取目標框做車牌識別代碼詳解_02
3-基于CascadeClassifier來提取目標框做車牌識別代碼詳解_03
4-基于CascadeClassifier來提取目標框做車牌識別代碼詳解_04
5-車牌識別項目關于目標檢測的問題
1-圖片風格融合項目_架構_代碼實現要點_1
2-圖片風格融合項目_架構_代碼實現要點_2
3-圖片風格融合項目_架構_代碼實現要點_3
4-圖片風格融合項目_架構_代碼實現要點_4
第十章：NLP自然語言處理原理和進階 1-N-gram語言模型
2-NPLM神經網絡語言模型
3-詞向量的作用
4-CBOW模型思想和計算過程
5-Skip-gram模型思想和計算過程
6-Huffman樹_分層Softmax的思想
7-分層Softmax應用到CBOW模型上
8-負采樣和負采樣應用到CBOW模型上
1-理解RNN循環(huán)神經網絡拓撲結構
2-理解RNN循環(huán)神經網絡計算流程
3-利用RNN循環(huán)神經網絡對MNIST手寫數字識別
4-理解LSTM長短時記憶_記住Topo和公式
5-VanillaRNN的回顧復習
6-補充講一下為什么RNN中鏈越長越容易梯度消失
7-LSTM的回顧復習_LSTM手寫數字識別
8-雙向RNN_LSTM
9-RNN里面應用的Topology結構
1-從AI寫唐詩到Seq2Seq再到Encoder-Decoder
2-Seq2Seq版Chatbot的數據預處理
3-Seq2Seq版Chatbot訓練和模型使用
GPT2閑聊機器人
1-BERT新浪新聞10分類項目