语音到语音的大语言模型（SLLMs）正受到越来越多的关注。这类模型源于基于文本的大语言模型（LLMs），但在知识掌握和推理能力方面往往出现性能下降。我们假设，这一局限性的根源在于当前SLLM的训练范式未能有效弥合特征表示空间中的声学-语义鸿沟。为解决这一问题，我们提出EchoX，该模型利用语义表征并动态生成语音训练目标。该方法融合了声学与语义学习，使EchoX在保持强大推理能力的同时，具备优秀的语音语言模型性能。实验结果表明，仅使用约六千小时的训练数据，EchoX在多个基于知识的问答基准测试中均取得了先进水平的表现。项目代码已开源，地址为：https://github.com/FreedomIntelligence/EchoX。