在传统Q学习算法基础上引入多智能体系统，提出了多智能体联合Q学习算法。该算法是在同一评价函数下进行多智能体的学习，并且学习过程考虑了参与协作的所有智能体的学习结果。在RoboCup-2D足球仿真比赛中通过引入球场状态分解法减少了状态分量，采用联合学习得到的最优状态作为多智能体协作的最优动作组，有效解决了仿真中各智能体之间的传球策略及其协作问题，仿真和实验结果证明了算法的有效性和可靠性。