现有的有状态网络协议模糊测试技术在测试时,辅助类型报文重复交互,测试效率低,且为确保测试用例有效性,仅向协议实体输入报文类型与被测状态相对应的测试用例,导致无法发现由报文异常输入顺序所引出的协议缺陷。针对这些问题,基于Q-学习算法设计出一种有状态网络协议模糊测试方法,不需要引导状态的辅助报文,且能在确保一定的测试用例有效性前提下,进行报文异常输入顺序测试。实验结果表明,所提出的模糊测试方法可以显著提高测试效率和漏洞挖掘能力。