社交网络数据抓取,以及CRM系统 基于Java实现。 项目内容 项目简介 项目起因 本项目主要服务于社交网络数据抓取替代架构。 项目框架 sns-dao :数据接口层 sns-hdfs :HDFS服务层 sns-parser :页面解析层 sns-core :系统sns-core层 sns-web :API接口服务层 备注:框架持续更新中。 API文档 备注: API文档统一放在公司的wiki上。 项目架构 解析器:用于页面解析。 MySQL:用于存储基本爬虫数据。 Redis:用于数据去重,基本思想是存储每条数据的md5(key),根据该值进行数据插入更新判断。 常见约束词 物品 价值 道 接口接口层 领域 数据 持续的 恒定 实用程序 工具 示例代码 ** Redis层调用 ** // 对象申明 RedisCache redisCa