蘑菇書EasyRL
李宏毅老師的《深度強化學習》是強化學習領域經典的中文視頻之一。李老師幽默風趣的上課風格讓晦澀難懂的強化學習理論變得輕松易懂，他會通過很多有趣的例子來講解強化學習理論。比如老師經常會用玩 Atari 游戲的例子來講解強化學習算法。此外，為了教程的完整性，我們整理了周博磊老師的《強化學習綱要》、李科澆老師的《世界冠軍帶你從零實踐強化學習》以及多個強化學習的經典資料作為補充。對于想入門強化學習又想看中文講解的人來說絕對是非常推薦的。
本教程也稱為“蘑菇書”，寓意是希望此書能夠為讀者注入活力，讓讀者“吃”下這本蘑菇之后，能夠饒有興致地探索強化學習，像馬里奧那樣愈加強大，繼而在人工智能領域覓得意外的收獲。
使用trl庫做微調時, 對數據集的要求是:
如果是多輪對話場景:
jsonl 文件，且需符合以下要求:
1.每行是一個獨立的 JSON 對象;
2 每個對象須包含一個鍵名為 messages 的數組，數組不能為空;
3.messages 中每個元素必須包含 role 和 content 兩個字段:
4.role 只能是 system,user 或 assisiant;
5.如果有 system 角色消息, 需在數組首位;
6.第一條非 system 消息必須是 user 角色;
7.user 和 assisiant 角色的消息應當交替、成對出現，不少于1對;
如果是指令微調場景:
jsonl 文件，且需符合以下要求:
1.每行是一個獨立的 JSON 對象;
2 每個對象須包含且只能包含一個鍵名為 text 的鍵值對，值不能為空;
大模型開發出來后, 一般要經過以下幾個階段的訓練:
預訓練(Pre-Trained)
單純提供文本: {"text":"..."}
訓練模型由第一個文字開始, 預測后面的文字, 直到結束.
這種模型只會做完成文本的任務
監督微調(Supervised Fine Turning)
為了使模型能完成根據指令完成回答, 而不是隨機生成回答
提供的文本: {"instruction":"...", "output":"..."}
高效參數微調(Parameter Efficient Fine Turning)
只調整部分參數, 具體實現方法有LoRA
參考:
大模型微調后的評估指標是衡量模型性能的關鍵，通常根據任務類型和具體需求選擇不同的評估指標。以下是一些常見的評估指標及其適用場景：
1. 分類任務
- 準確率（Accuracy）：預測正確的樣本占總樣本的比例。
- 精確率（Precision）：預測為正類的樣本中，實際為正類的比例。
- 適用場景：關注減少假陽性（False Positive）的任務。
- 召回率（Recall）：實際為正類的樣本中，預測為正類的比例。
- 適用場景：關注減少假陰性（False Negative）的任務。
- F1分數（F1 Score）：精確率和召回率的調和平均值。
- 適用場景：類別不平衡或需要平衡精確率和召回率的任務。
- ROC-AUC：ROC曲線下的面積，衡量模型區分正負類的能力。
2. 回歸任務
- 均方誤差（MSE, Mean Squared Error）：預測值與真實值之差的平方的平均值。
- 均方根誤差（RMSE, Root Mean Squared Error）：MSE的平方根。
- 平均絕對誤差（MAE, Mean Absolute Error）：預測值與真實值之差的絕對值的平均值。
- R²（決定系數）：模型解釋目標變量方差的比例。
3. 生成任務
- BLEU（Bilingual Evaluation Understudy）：衡量生成文本與參考文本的n-gram重疊程度。
- ROUGE（Recall-Oriented Understudy for Gisting Evaluation）：衡量生成文本與參考文本的重疊程度，側重于召回率。
- METEOR：綜合考慮精確率、召回率和詞序的評估指標。
- Perplexity（困惑度）：衡量模型預測概率分布的不確定性。
4. 多標簽任務
- Hamming Loss：預測錯誤的標簽比例。
- Jaccard Similarity：預測標簽與真實標簽的交集與并集之比。
5. 排序任務
- NDCG（Normalized Discounted Cumulative Gain）：衡量排序結果的相關性。
- MAP（Mean Average Precision）：平均精確率的均值。
6. 其他指標
- 訓練時間：模型微調所需的時間。
- 推理速度：模型生成結果的速度。
- 資源消耗：模型運行所需的計算資源（如GPU內存、CPU使用率）。
- 魯棒性：模型對噪聲、異常值或對抗樣本的抵抗能力。
7. 領域特定指標
- 醫學領域：敏感性（Sensitivity）、特異性（Specificity）、AUC-ROC。
- 金融領域：收益曲線、夏普比率（Sharpe Ratio）。
- 計算機視覺：mAP（mean Average Precision）、IoU（Intersection over Union）。
8. 人類評估
- 人工評分：通過人工評估生成結果的質量（如流暢性、相關性、準確性）。
- 用戶滿意度：通過用戶反饋評估模型的實際效果。
9. 模型對比
- 基線對比：與未微調的模型或基線模型進行性能對比。
- 消融實驗：評估微調過程中不同組件（如數據、超參數）對性能的影響。
10. 綜合評估
- 多指標綜合：根據任務需求，結合多個指標進行綜合評估。
- 任務特定指標：針對特定任務設計自定義指標。
在實際應用中，選擇合適的評估指標需要結合任務目標、數據特點和業務需求，同時注意避免單一指標的局限性。