深度扩展（Depth Up-Scaling，简称 DUS）是在论文「SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling 」中提出的，其中包括深度扩展和持续预训练。与其他使用专家混合的 LLM 升级方法相比，DUS 不需要进行复杂的更改即可有效地训练和推理。研究团队通过实验证明，DUS 简单而有效，可以将小型 LLM 扩展到高性能 LLM 。