针对自然场景图像背景复杂和文本方向不确定的问题，提出一种多方向自然场景文本检测的方法。该方法利用颜色增强的最大稳定极值区域（C-MSER）方法对图像中的字符候选区域进行提取，并利用启发式规则和LIBSVM分类器对非字符区域进行消除；然后设计位置颜色模型将被误滤除的字符找回，并利用字符区域中心进行拟合估计文本行倾斜角度；最后通过一个CNN分类器得到精确的结果。该算法在两个标准数据集上（ICDAR2011和ICDAR2013）测试，得到F-score分别为0.81和0.82，证明了该方法的有效性。