課程目錄
1-1 課程內(nèi)容介紹
1-2 課程大綱
1-3 課程計(jì)劃
1-4 自然語(yǔ)言處理基礎(chǔ)--基礎(chǔ)與應(yīng)用
1-5 自然語(yǔ)言處理基礎(chǔ)--詞表示與語(yǔ)言模型
1-6 大模型基礎(chǔ)--大模型之旅
1-7 大模型基礎(chǔ)--大模型背后的范式
1-8 大模型基礎(chǔ)--實(shí)例
1-9 編程環(huán)境和GPU服務(wù)器介紹
2-1 課程內(nèi)容介紹
2-2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)--大綱介紹
2-3 神經(jīng)網(wǎng)絡(luò)的基本組成元素
2-4 如何訓(xùn)練神經(jīng)網(wǎng)絡(luò)
2-5 詞向量：Word2vec
2-6 循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）
2-7 門控循環(huán)單元（GRU）
2-8 長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）
2-9 雙向RNN
2-10 卷積神經(jīng)網(wǎng)絡(luò)（CNN）
2-11 演示：使用PyTorch訓(xùn)練模型
3-1 課程內(nèi)容介紹
3-2 注意力機(jī)制--原理介紹
3-3 注意力機(jī)制--注意力機(jī)制的各種變式
3-4 注意力機(jī)制--注意力機(jī)制的特點(diǎn)
3-5 Transformer結(jié)構(gòu)--概述
3-6 Transformer結(jié)構(gòu)--輸入編碼（BPE,PE）
3-7 Transformer結(jié)構(gòu)--Encoder Block
3-8 Transformer結(jié)構(gòu)--Decoder Block
3-9 Transformer結(jié)構(gòu)--優(yōu)化Tricks
3-10 Transformer結(jié)構(gòu)--試驗(yàn)結(jié)果以及可視化
3-11 Transformer結(jié)構(gòu)--Transformer優(yōu)缺點(diǎn)
3-12 預(yù)訓(xùn)練語(yǔ)言模型--語(yǔ)言建模概述
3-13 預(yù)訓(xùn)練語(yǔ)言模型--PLM介紹
3-14 預(yù)訓(xùn)練語(yǔ)言模型--MLM任務(wù)的應(yīng)用
3-15 預(yù)訓(xùn)練語(yǔ)言模型--前沿大模型介紹
3-16 Transformers教程--Introduction
3-17 Transformers教程--使用Transformers的Pipeline
3-18 Transformers教程--Tokenization
3-19 Transformers教程--常用API介紹
3-20 Transformers教程--Demo講解
4-1 課程內(nèi)容介紹
4-2 Prompt-Learning和Delta-Tuning--背景和概覽
4-3 Prompt-Learning--基本組成與流程介紹
4-4 Prompt-Learning--PTM選取
4-5 Prompt-Learning--Template構(gòu)造
4-6 Prompt-Learning--Verbalizer構(gòu)造
4-7 Prompt-Learning--訓(xùn)練新范式
4-8 Prompt-Learning--應(yīng)用
4-9 Prompt-Learning--總結(jié)
4-10 Delta-Tuning--背景與介紹
4-11 Delta-Tuning--增量式tuning
4-12 Delta-Tuning--指定式tuning
4-13 Delta-Tuning--重參數(shù)化tuning
4-14 Delta-Tuning--統(tǒng)一tuning框架及理論聯(lián)系
4-15 Delta-Tuning--總結(jié)
4-16 OpenPrompt--介紹與用法
4-17 OpenDelta--介紹與用法
5-1 課程內(nèi)容介紹
5-2 BMTrain--背景介紹
5-3 BMTrain--Data Parallel (數(shù)據(jù)并行)
5-4 BMTrain--Model Parallel（模型并行）
5-5 BMTrain--ZeRO
5-6 BMTrain--Pipeline Parallel (流水線并行)
5-7 BMTrain--混合精度訓(xùn)練
5-8 BMTrain--Offloading
5-9 BMTrain--Overlapping
5-10 BMTrain--Checkpointing
5-11 BMTrain--使用介紹
5-12  BMCook--背景介紹
5-13 BMCook--知識(shí)蒸餾
5-14 BMCook--模型剪枝
5-15 BMCook--模型量化
5-16 其它模型壓縮方法--Weight Sharing
5-17 其它模型壓縮方法--Low-rank Approximation
5-18 其它模型壓縮方法--Architecture Search (結(jié)構(gòu)搜索)
5-19 BMCook--使用介紹
5-20 BMInf--背景介紹
5-21 BMInf--深入理解Transformer
5-22 BMInf--Quantization (量化)
5-23 BMInf--Memory Scheduling
5-24 BMInf--BMInf使用介紹
6-1 基于大模型文本理解和生成介紹
6-2 信息檢索--背景
6-3 信息檢索--定義和評(píng)測(cè)
6-4 信息檢索--傳統(tǒng)方法
6-5 信息檢索--神經(jīng)網(wǎng)絡(luò)方法（大模型）
6-6 信息檢索--前沿?zé)狳c(diǎn)
6-7 機(jī)器問答--QA介紹
6-8 機(jī)器問答--閱讀理解
6-9 機(jī)器問答--開放域QA
6-10 文本生成--介紹
6-11 文本生成--文本生成任務(wù)
6-12 文本生成--神經(jīng)網(wǎng)絡(luò)文本生成
6-13 文本生成--受控文本生成
6-14 文本生成--文本生成測(cè)評(píng)
6-15 文本生成--挑戰(zhàn)
7-1 課程內(nèi)容介紹安排
7-2  生物醫(yī)學(xué)自然語(yǔ)言處理介紹
7-3 生物醫(yī)學(xué)文本挖掘的任務(wù)
7-4 生物醫(yī)學(xué)文本挖掘的PLMs
7-5 生物醫(yī)學(xué)文本挖掘的知識(shí)構(gòu)建
7-6 生物醫(yī)學(xué)文本挖掘的應(yīng)用
7-7 生物醫(yī)學(xué)輔助診療--介紹
7-8 生物醫(yī)學(xué)輔助診療--文本分類
7-9 生物醫(yī)學(xué)輔助診療--對(duì)話
7-10 生物醫(yī)學(xué)輔助診療總結(jié)
7-11 生物醫(yī)學(xué)特定物質(zhì)表征過程
7-12 生物醫(yī)學(xué)特定物質(zhì)表征--DNA
7-13 生物醫(yī)學(xué)特定物質(zhì)表征--Protein
7-14 生物醫(yī)學(xué)特定物質(zhì)表征--Chemicals
7-15 Project
7-16 生物醫(yī)學(xué)NLP--未來方向
8-1 大模型與法律應(yīng)用Outline
8-2 背景介紹
8-3 法律智能應(yīng)用
8-4 兩條研究路線
8-5 數(shù)據(jù)驅(qū)動(dòng)方法
8-6 法律預(yù)訓(xùn)練語(yǔ)言模型
8-7 知識(shí)指導(dǎo)方法
8-8 法理量化分析
8-9 法律智能未來方向
8-10 法律智能未來挑戰(zhàn)
9-1 腦科學(xué)及大模型--主題介紹
9-2 人腦與大模型--背景介紹
9-3 人腦與大模型--人腦如何構(gòu)建知識(shí)
9-4 人腦與大模型--語(yǔ)言處理原則
9-5 人腦與大模型--揭示語(yǔ)言的魔力
9-6 大模型中的神經(jīng)元--背景介紹
9-7 大模型中的神經(jīng)元--激活情況分析
9-8 大模型中的神經(jīng)元--轉(zhuǎn)換模型架構(gòu)MOE
9-9 大模型神經(jīng)元的應(yīng)用--學(xué)到的特定功能
9-10 大模型神經(jīng)元的應(yīng)用--作為遷移指標(biāo)
9-11 大模型神經(jīng)元的應(yīng)用--表示情感
9-12 大模型認(rèn)知能力--介紹
9-13 大模型認(rèn)知能力--下游任務(wù)實(shí)例
9-14 大模型認(rèn)知能力--挑戰(zhàn)與限制
9-15 課程總結(jié)