大型语言模型（LLMs）已经展示了强大的问题解决能力，尤其是在组织为多智能体系统时。然而，这类系统的出现也引发了一系列关于复杂智能体网络能否有效自我组织和协作的问题。尽管在标准推理基准上的性能测量可以表明多智能体系统解决问题的能力，但这些系统是否能够充分利用其网络拓扑结构尚不清楚。为此，我们提出了AgentsNet，一种新的多智能体推理基准。通过借鉴分布式系统和图论中的经典问题，AgentsNet评估了多智能体系统在给定网络拓扑结构下协同形成问题解决策略、自我组织和有效沟通的能力。我们对多种基线方法进行了评估，包括首先需要就基本组织和通信协议达成一致的同质化智能体网络。研究发现，一些前沿的LLMs在小型网络中已经表现出强劲的性能，但随着网络规模的扩大，其表现开始下降。现有的多智能体基准测试最多涵盖2-5个智能体，而AgentsNet在规模上几乎不受限制，并且可以随着新一代LLMs的发展而扩展。因此，我们也对前沿模型在多达100个智能体的设置中进行了测试。