我用python+txt处理过1.7亿条数据，压力不算特别大，可以接受。
有几点要注意：
1、不要用python写循环，1.7亿的循环跑到你电脑没电。
2、多用pandas和numpy，用他们自带的查找方法。
3、如果内存不够，pandas.readcsv时要用iterator，当然这时分线程意义也不大了，因为你的瓶颈是IO。
