mysql 有load data infile 语法可以直接把文件中的数据导入数据库。
去重的话你是跨文件去重？还是单个文件内去重？
跨文件去重的话，又要高效又要去重，做不到。
单个文件去重的话，不知道load data infile 语法能否支持，我没试过。
可以先入库在去重，效率应该会高些。
