爬虫是一种按照某种特定的规则，自动抓取万维网信息的程序或者脚本。反爬虫是运用各种技术阻止爬虫抓取数据的同时还能让正常用户获取数据。随着爬虫技术进步，程序很难能完全分辨出请求者是否为爬虫，由此反爬虫技术衍生出了一个新的分支---内容反爬。