剔除文本文件中相同的记录,剔重工具;类似select distinct,将文本文件中一行作为一条记录,字段之间用“|”分隔(最后一字字段后必须要有“|”),剔重的时候可以按某字段进行剔重或者按所有字段(文本中的一行)进行剔重