Expert-Specialized Fine-Tuning (ESFT) 是一种针对具有混合专家（MoE）架构的大型语言模型（LLMs）的参数高效微调（PEFT）方法。该方法通过微调与下游任务最相关的专家，显著提高了微调效率和性能。ESFT 不仅能够匹配甚至超越全参数微调的效果，还深入分析了MoE架构对专家专门化微调的影响，使得更细粒度的专家选择成为可能，从而在相关专家组合的选择上更具优势。