计算与智能创新学院杨卫东团队（大数据与知识工程实验室）在LLM for Software Engineering方向上取得突破，围绕“小模型缺知识、大模型落地难”这一核心问题，提出了适用于终端场景的多专家协同知识蒸馏框架（LUK），以及适用于云端协同推理的大小模型自适应分析框架（AdaptiveLog）。研究成果分别发表于软件工程领域国际顶级期刊IEEE Transactions on Software Engineering（TSE）与ACM Transactions on Software Engineering and Methodology（TOSEM）。
大语言模型（LLM，如ChatGPT等）在软件工程相关特定任务（LLM for Software Engineering）中展现出巨大前景。大语言模型知识丰富、能力强，但在专用领域成本高、响应延迟；传统的小型语言模型（SLM，如 BERT等）高效却能力有限，难以深入理解专业知识与语义上下文。
为应对上述挑战，杨卫东团队借鉴软件工程中的瀑布模型，通过“总监——执行者——评估者”三类角色提示，以日志分析为专用任务，引导大模型协作构建精准、完整的日志领域知识体系。实验结果表明，经LUK增强后的小模型（如110M参数的BERT）在多项日志理解任务中展现出接近专家的分析能力。仅需使用1%的标注数据，其性能便可逼近全量监督学习的水平，同时，其推理速度比直接调用GPT-4o快700倍以上，为在资源受限的边缘终端部署强大的日志分析能力提供了可能。
来源：计算与智能创新学院
