对于传统实时彩色图像边缘检测算法具有较弱的抗噪能力,并且对于方向较为敏感,获得的边缘细节信息比较粗等问题,本文利用对彩色图像的特点进行分析,提出基于FPGA的实时彩色图像边缘检测系统。利用边缘检测算法方向模板的扩展,使算子对于具有复杂纹理的图像抵抗噪声及适应能力提高。最后对设计的系统进行实验,通过实验结果表示,此系统在处理过程中只是占用了2%的系统硬件资源,资源占用较为合理,并且图像的边缘定位较为精准,具有较强抗造能力,能够将彩色图像边缘提取出来。