有个处理 csv 的问题，想了好几个晚上，都没有办法解决，请教各位

pandas 了解一下？

外部表。。。

@mengzx 谢谢啦

awk + grep 呢

10w 行的表，awk 如果写得高效，跑起来飞快。
还能多进程并行！
在几十个核心的服务器上跑个几秒就解决了。

数据的东西交给 pandas

才 10w 行，800 列，也没有多少数据嘛。
简单的匹配 grep, awk。复杂点的匹配，就 python 等处理，很方便的啊。

刚 python3 写了一个, 10 多行的事情：
wget https://ahui132.github.io/bin/grepcolumn
chmod u+x grepcolumn


echo 'name=Jack,gender=male,job=coder' | grepcolumn - 'job,name'

echo 'Jack,male,coder' | grepcolumn - 'job,name' -c 'name,gender,job'

echo 'Jack||male||coder' | grepcolumn - 'job,name' -c 'name,gender,job' -d '||'

看字段内容吧，如果是一般的字段，还是导入数据库方便，我曾处理过一次复杂文本的 csv，字段用逗号隔开，但是某个字段是富文本，里面一大堆换行 和逗号，不知道为什么用 Excel 引擎导入只能处理一部分，最后还是写个软件 处理后批量插入数据库

csv 的话 pands 最方便：

dataFrame = pandas.read_csv("./marks.csv", sep=",")
dataFrame = pandas.read_table("./marks.csv", sep=",")

spss 了解一下？

数据库操作

像是中软杯（滑稽）

10W 多行不算大，pandas 就可以处理

@thedrwu 这么好的工具为啥大伙都不用

试试 apache drill，先把 csv 里需要的字段抽出来

MySQL，loadCSV，6 百万行也是几分钟的事