针对异构蜂窝网络下微蜂窝密集部署的不规则性，提出了一种基于强化学习的自优化控制系统，通过微蜂窝功率控制解决微蜂窝密集部署下的网络的容量与覆盖问题。将模糊逻辑与Q学习算法相结合，综合考虑网络的平均用户性能、边缘用户性能和网络环境相互影响来设计模糊逻辑与Q学习算法的联合瞬时回报奖惩值，进行网络容量与覆盖的联合自优化。仿真结果表明，该方法能实现密集化微蜂窝部署下的容量与覆盖自优化，有效提高系统平均用户吞吐量和边缘用户吞吐量。