xieleigg

linux-结构化成行成列-小文件循环合并成大文件--方便上传hadoop: 文件到达门限后上传,或者文件时间戳超过门限时间,上传HDFS,防止小文件过多上传。

对于熟悉Scala开发的人来说，对于spark-sql的使用，直接jar包中写入代码处理就能轻松实现动态语句的执行。但是对于我，不打算学习Scala和Java语言，但是又想定时执行时间推延的周期、定时任务，该肿么办？spark-sqlCLI几个参数，完全满足我等非专业人员。

通过文件大小和MD5校验批量识别重复文件

之前一直在网上找社区版hadoop的配置，发现CDH安装直接界面搞定，自动生成配置。供检查学习。

RStudio安装完成后，如何初始化sparkR？CDH5不能用sparkR？CDH5只要hdfs和hive，spark直接公网下载最新版本，然后直接sparkonyarn.sparkR初始化即可调测。