资讯

在LoRA中,每一个专家都会被训练;而ESFT会优先微调适合做某个任务的专家,其他专家不会被过拟合,因此相比LoRA会有更强的泛化能力——让专业的 ...