想问下万能的蛋友数据存储的问题。
现在一个案子里有数据每天都会更新，一天新进的文件大概60+个，每个1G，csv格式。这一坨数据每天我都要进行一个预处理，就是把这每天的60多个文件抽取其中某些列，汇成一个文件。空闲能用的一台机器内存30G，试过 mysql，存一会儿机器就死掉了；还用 Python 的 pickle 试了下，但 pickle 存到超过内存的话，再读，一下就炸了。这个有啥好办法
CSV格式？纯文本还有啥纠结。有本老迈年高的已经过时的跟不上时代的钦定被历史の五对负重轮碾为齑粉的《sed与awk》，不知道当代与时俱进童年才俊看过没有。