課程目錄
1-1 課程內容介紹
1-2 課程大綱
1-3 課程計劃
1-4 自然語言處理基礎--基礎與應用
1-5 自然語言處理基礎--詞表示與語言模型
1-6 大模型基礎--大模型之旅
1-7 大模型基礎--大模型背后的范式
1-8 大模型基礎--實例
1-9 編程環(huán)境和GPU服務器介紹
2-1 課程內容介紹
2-2 神經(jīng)網(wǎng)絡基礎--大綱介紹
2-3 神經(jīng)網(wǎng)絡的基本組成元素
2-4 如何訓練神經(jīng)網(wǎng)絡
2-5 詞向量：Word2vec
2-6 循環(huán)神經(jīng)網(wǎng)絡（RNN）
2-7 門控循環(huán)單元（GRU）
2-8 長短期記憶網(wǎng)絡（LSTM）
2-9 雙向RNN
2-10 卷積神經(jīng)網(wǎng)絡（CNN）
2-11 演示：使用PyTorch訓練模型
3-1 課程內容介紹
3-2 注意力機制--原理介紹
3-3 注意力機制--注意力機制的各種變式
3-4 注意力機制--注意力機制的特點
3-5 Transformer結構--概述
3-6 Transformer結構--輸入編碼（BPE,PE）
3-7 Transformer結構--Encoder Block
3-8 Transformer結構--Decoder Block
3-9 Transformer結構--優(yōu)化Tricks
3-10 Transformer結構--試驗結果以及可視化
3-11 Transformer結構--Transformer優(yōu)缺點
3-12 預訓練語言模型--語言建模概述
3-13 預訓練語言模型--PLM介紹
3-14 預訓練語言模型--MLM任務的應用
3-15 預訓練語言模型--前沿大模型介紹
3-16 Transformers教程--Introduction
3-17 Transformers教程--使用Transformers的Pipeline
3-18 Transformers教程--Tokenization
3-19 Transformers教程--常用API介紹
3-20 Transformers教程--Demo講解
4-1 課程內容介紹
4-2 Prompt-Learning和Delta-Tuning--背景和概覽
4-3 Prompt-Learning--基本組成與流程介紹
4-4 Prompt-Learning--PTM選取
4-5 Prompt-Learning--Template構造
4-6 Prompt-Learning--Verbalizer構造
4-7 Prompt-Learning--訓練新范式
4-8 Prompt-Learning--應用
4-9 Prompt-Learning--總結
4-10 Delta-Tuning--背景與介紹
4-11 Delta-Tuning--增量式tuning
4-12 Delta-Tuning--指定式tuning
4-13 Delta-Tuning--重參數(shù)化tuning
4-14 Delta-Tuning--統(tǒng)一tuning框架及理論聯(lián)系
4-15 Delta-Tuning--總結
4-16 OpenPrompt--介紹與用法
4-17 OpenDelta--介紹與用法
5-1 課程內容介紹
5-2 BMTrain--背景介紹
5-3 BMTrain--Data Parallel (數(shù)據(jù)并行)
5-4 BMTrain--Model Parallel（模型并行）
5-5 BMTrain--ZeRO
5-6 BMTrain--Pipeline Parallel (流水線并行)
5-7 BMTrain--混合精度訓練
5-8 BMTrain--Offloading
5-9 BMTrain--Overlapping
5-10 BMTrain--Checkpointing
5-11 BMTrain--使用介紹
5-12  BMCook--背景介紹
5-13 BMCook--知識蒸餾
5-14 BMCook--模型剪枝
5-15 BMCook--模型量化
5-16 其它模型壓縮方法--Weight Sharing
5-17 其它模型壓縮方法--Low-rank Approximation
5-18 其它模型壓縮方法--Architecture Search (結構搜索)
5-19 BMCook--使用介紹
5-20 BMInf--背景介紹
5-21 BMInf--深入理解Transformer
5-22 BMInf--Quantization (量化)
5-23 BMInf--Memory Scheduling
5-24 BMInf--BMInf使用介紹
6-1 基于大模型文本理解和生成介紹
6-2 信息檢索--背景
6-3 信息檢索--定義和評測
6-4 信息檢索--傳統(tǒng)方法
6-5 信息檢索--神經(jīng)網(wǎng)絡方法（大模型）
6-6 信息檢索--前沿熱點
6-7 機器問答--QA介紹
6-8 機器問答--閱讀理解
6-9 機器問答--開放域QA
6-10 文本生成--介紹
6-11 文本生成--文本生成任務
6-12 文本生成--神經(jīng)網(wǎng)絡文本生成
6-13 文本生成--受控文本生成
6-14 文本生成--文本生成測評
6-15 文本生成--挑戰(zhàn)
7-1 課程內容介紹安排
7-2  生物醫(yī)學自然語言處理介紹
7-3 生物醫(yī)學文本挖掘的任務
7-4 生物醫(yī)學文本挖掘的PLMs
7-5 生物醫(yī)學文本挖掘的知識構建
7-6 生物醫(yī)學文本挖掘的應用
7-7 生物醫(yī)學輔助診療--介紹
7-8 生物醫(yī)學輔助診療--文本分類
7-9 生物醫(yī)學輔助診療--對話
7-10 生物醫(yī)學輔助診療總結
7-11 生物醫(yī)學特定物質表征過程
7-12 生物醫(yī)學特定物質表征--DNA
7-13 生物醫(yī)學特定物質表征--Protein
7-14 生物醫(yī)學特定物質表征--Chemicals
7-15 Project
7-16 生物醫(yī)學NLP--未來方向
8-1 大模型與法律應用Outline
8-2 背景介紹
8-3 法律智能應用
8-4 兩條研究路線
8-5 數(shù)據(jù)驅動方法
8-6 法律預訓練語言模型
8-7 知識指導方法
8-8 法理量化分析
8-9 法律智能未來方向
8-10 法律智能未來挑戰(zhàn)
9-1 腦科學及大模型--主題介紹
9-2 人腦與大模型--背景介紹
9-3 人腦與大模型--人腦如何構建知識
9-4 人腦與大模型--語言處理原則
9-5 人腦與大模型--揭示語言的魔力
9-6 大模型中的神經(jīng)元--背景介紹
9-7 大模型中的神經(jīng)元--激活情況分析
9-8 大模型中的神經(jīng)元--轉換模型架構MOE
9-9 大模型神經(jīng)元的應用--學到的特定功能
9-10 大模型神經(jīng)元的應用--作為遷移指標
9-11 大模型神經(jīng)元的應用--表示情感
9-12 大模型認知能力--介紹
9-13 大模型認知能力--下游任務實例
9-14 大模型認知能力--挑戰(zhàn)與限制
9-15 課程總結