cat file1.txt  file2.txt fileN.txt > allfile.txt
sort allfile.txt | uniq >newfile.txt
效果不错，测试了一下2500w数据，2分钟不到就去重并排序完毕。