人工智能研究代理在加速科学进步方面展现出巨大潜力，通过自动化设计、实施和训练机器学习模型来实现这一目标。本文重点关注改进代理在MLE-bench上的表现的方法，这是一个具有挑战性的基准测试，其中代理在Kaggle竞赛中竞争解决实际的机器学习问题。我们将人工智能研究代理形式化为搜索策略，这些策略在候选解决方案空间中导航，并通过操作符迭代修改这些解决方案。通过设计并系统地改变不同的操作符集和搜索策略（贪婪算法、蒙特卡洛树搜索、进化算法），我们展示了它们之间的相互作用对于实现高性能至关重要。我们的最佳搜索策略与操作符集组合在MLE-bench lite上取得了最先进的结果，将获得Kaggle奖牌的成功率从39.6%提高到47.7%。我们的研究表明，在推进自动机器学习的过程中，综合考虑搜索策略、操作符设计和评估方法的重要性。