使用trl庫(kù)做微調(diào)時(shí), 對(duì)數(shù)據(jù)集的要求是:
如果是多輪對(duì)話場(chǎng)景:
jsonl 文件，且需符合以下要求:
1.每行是一個(gè)獨(dú)立的 JSON 對(duì)象;
2 每個(gè)對(duì)象須包含一個(gè)鍵名為 messages 的數(shù)組，數(shù)組不能為空;
3.messages 中每個(gè)元素必須包含 role 和 content 兩個(gè)字段:
4.role 只能是 system,user 或 assisiant;
5.如果有 system 角色消息, 需在數(shù)組首位;
6.第一條非 system 消息必須是 user 角色;
7.user 和 assisiant 角色的消息應(yīng)當(dāng)交替、成對(duì)出現(xiàn)，不少于1對(duì);
如果是指令微調(diào)場(chǎng)景:
jsonl 文件，且需符合以下要求:
1.每行是一個(gè)獨(dú)立的 JSON 對(duì)象;
2 每個(gè)對(duì)象須包含且只能包含一個(gè)鍵名為 text 的鍵值對(duì)，值不能為空;