大模型轻量化文献综述

调研日期: 2026-05-03
研究方向: 大模型轻量化 (Large Language Model Compression)

执行摘要

大模型轻量化是当前AI领域的关键研究方向，主要解决LLM在资源受限环境下的部署问题。当前主流技术路线包括：知识蒸馏、结构化剪枝、量化、参数高效微调和稀疏激活（MoE）。最新研究表明，这些技术的组合顺序对最终效果有显著影响，量化提供了最佳的整体权衡，而剪枝在特定场景下有效。

文献分类与分析

1. 压缩技术综合研究

关键发现:

• 量化是当前最有效的单一技术，提供最佳压缩率/性能权衡
• 组合顺序很重要：先量化后剪枝优于先剪枝后量化
• 剪枝的收益在高压缩率下才显现，低压缩率时不如量化

2. 知识蒸馏方向

关键发现:

• 低秩特征蒸馏可以显著减少持续预训练的token数量（从数十亿降低）
• 蒸馏+剪枝联合优化比单独应用更高效
• 知识蒸馏在保持推理能力方面表现优异

3. 量化技术

关键发现:

• 无数据量化方法降低了部署门槛
• 量化与剪枝的联合优化可以进一步提升压缩率
• 低秩特性是量化成功的关键

4. 参数高效微调 (PEFT)

关键发现:

• QLoRA将内存需求降低10-20倍，同时保持90-95%的质量
• 自适应秩和位宽策略优于固定配置
• PEFT与量化的结合是资源受限场景的最佳选择

5. 稀疏激活与混合专家 (MoE)

关键发现:

• 神经元级MoE比传统层级MoE更高效（50%激活率）
• 密集模型可以转换为MoE而无需大规模重训练
• MoE在超大模型上的效率优势更明显

6. 边缘设备部署

关键发现:

• 协同边缘计算可以部署超出单设备内存容量的LLM
• 模型分布式推理是边缘部署的关键技术
• 边缘-云混合架构平衡了延迟和计算能力

7. 工具与框架

研究空白与机会

1. 组合策略的自动化优化 ⭐⭐⭐

• 现状: 当前研究主要关注单一技术或固定组合顺序
• 空白: 缺乏针对特定模型和任务自动搜索最优压缩策略的方法
• 机会: 开发自适应压缩流程，根据模型特性和资源约束自动选择技术组合

2. 无数据/少数据压缩 ⭐⭐⭐

• 现状: 大多数方法需要大量校准数据
• 空白: 在完全无数据或极少数据场景下的压缩效果不佳
• 机会: 利用模型内在结构（低秩、稀疏性）进行无监督压缩

3. 压缩感知训练 ⭐⭐

• 现状: 压缩通常是训练后的独立步骤
• 空白: 训练时未考虑后续压缩需求
• 机会: 在预训练阶段就引入压缩友好的结构（如低秩约束、稀疏激活）

4. 动态压缩 ⭐⭐⭐

• 现状: 压缩率通常是静态的
• 空白: 无法根据输入复杂度动态调整压缩程度
• 机会: 开发输入自适应的动态压缩机制（简单输入用更激进的压缩）

5. 跨模态压缩迁移 ⭐

• 现状: 大多数研究聚焦于纯文本LLM
• 空白: 多模态模型（VLM）的压缩研究较少
• 机会: 将文本LLM的压缩技术迁移到视觉-语言模型

6. 压缩对推理能力的影响 ⭐⭐

• 现状: 评估主要关注困惑度和准确率
• 空白: 压缩对复杂推理（如数学、代码）的影响研究不足
• 机会: 系统评估压缩技术对不同能力维度的影响

7. 边缘-云协同的智能调度 ⭐⭐⭐

• 现状: 边缘部署主要关注模型压缩
• 空白: 缺乏智能的边缘-云任务分配策略
• 机会: 开发基于任务复杂度和网络状况的动态卸载机制

技术趋势总结

主导技术路线

1. 量化 - 当前最成熟、效果最好的单一技术
2. PEFT (LoRA/QLoRA) - 微调场景的标准选择
3. MoE稀疏激活 - 超大模型的未来方向

新兴方向

1. 神经元级稀疏 - 比层级稀疏更细粒度
2. 密集转MoE - 无需重训练的架构转换
3. 自适应压缩 - 根据输入/资源动态调整

实践建议

• 资源充足场景: 量化 + 蒸馏
• 资源受限场景: QLoRA + 量化
• 边缘部署: 量化 + 模型分布式推理
• 超大模型: MoE + 量化

下一步行动

基于文献分析，建议重点探索以下方向：

1. 自适应组合压缩 - 自动搜索最优技术组合和顺序
2. 无数据压缩 - 利用模型内在结构的无监督方法
3. 动态压缩 - 输入自适应的压缩机制
4. 边缘-云协同 - 智能任务分配与卸载

Sources

压缩技术综合

• A Systematic Study of Compression Ordering for Large Language Models
• A Unified Evaluation of Large Language Model Compression via Pruning, Quantization, and Distillation
• Contemporary Model Compression on Large Language Models Inference
• Model Compression and Efficient Inference for Large Language Models
• Optimizing LLMs for Resource-Constrained Environments
• A Survey on Transformer Compression

知识蒸馏

• Compact Language Models via Pruning and Knowledge Distillation
• A Survey on Knowledge Distillation of Large Language Models
• Large Language Models Compression via Low-Rank Feature Distillation
• Demystifying Low-Rank Knowledge Distillation in Large Language Models
• Exploring the Limits of Model Compression in LLMs
• On the Compression of Language Models for Code

量化

• Data-free Weight Compress and Denoise for Large Language Models
• Bayesian DNN Compression through Sparse Quantized Sub-distributions
• Integrating Pruning with Quantization for Efficient Deep Neural Networks Compression

参数高效微调

• Parameter Efficient Quantization-Aware Fine-Tuning on Large Language Models
• Efficient Fine-Tuning of Quantized Models via Adaptive Rank and Bitwidth
• Accurate and Efficient Fine-Tuning of Quantized Large Language Models Through Optimal Balance
• Slimming Down LLMs Without Losing Their Minds
• Efficient and Effective Low Rank Representation Fine-tuning
• Efficient Fine-tuning of Language Models via Residual Learning

混合专家

• Mixture of Grouped Experts for Efficient Sparsity
• Mixture of Neuron Experts
• Converting Mixture-of-Experts from Dense to Accelerate LLM Inference
• Efficient Mixture-of-Experts Inference on Consumer GPU with Mixture of Big Little Experts
• Faster MoE LLM Inference for Extremely Large Models
• Rethinking Training of Mixture-of-Experts Language Models
• End-to-End Training of a Lightweight Mixture of Low-Rank Adaptation Experts
• Benchmarking Cost, Accuracy and Performance of Sparse Mixture-of-Experts Systems
• Exploiting Activation Sparsity with Dense to Dynamic-k Mixture-of-Experts Conversion

边缘部署

• Fine-Tuning and Deploying Large Language Models Over Edges
• Model-Distributed Inference for Large Language Models at the Edge
• On-Device Language Models
• A Generic Inference Engine for Fast Large Language Model Deployment on Mobile Devices
• Compact LLM Deployment and World Model Assisted Offloading in Mobile Edge Computing
• Efficient LLM Inference via Collaborative Edge Computing
• Characterizing Reasoning LLM Deployment on Edge GPUs
• Vision-Language Models for Edge Networks

工具与框架

• AngelSlim: A more accessible, comprehensive, and efficient toolkit for large model compression
• Understanding the Effects of LLMs Compression on Large Reasoning Models