n******t 发帖数: 4406 | 1 2G數據,一行一個數,或者一個字符串,類型相同,這個總會做了吧?
這還要花半個小時,或者十分鐘啥的,我也沒辦法了。。 |
s*********n 发帖数: 34 | 2 awk, Python, Perl都行。
我觉得awk做这个顺手。
【在 n******t 的大作中提到】 : 2G數據,一行一個數,或者一個字符串,類型相同,這個總會做了吧? : 這還要花半個小時,或者十分鐘啥的,我也沒辦法了。。
|
y****w 发帖数: 3747 | 3 不说cpu硬盘速度其实是刷流氓。我以前在一个1.x主频烂存储(不记得是什么了不是
hd也远不如ssd快)的上网本上刷4g左右的文本,perl 四十秒,python两分钟。 所以
那个
帖子的10g随
便怎么搞搞十分钟也该跑出来了。
把十分钟当笑谈吧 比这个更慢需要反省
【在 n******t 的大作中提到】 : 2G數據,一行一個數,或者一個字符串,類型相同,這個總會做了吧? : 這還要花半個小時,或者十分鐘啥的,我也沒辦法了。。
|
y****w 发帖数: 3747 | 4 这个领域我觉得perl基本无敌。 但现在还会perl的人太少。
【在 s*********n 的大作中提到】 : awk, Python, Perl都行。 : 我觉得awk做这个顺手。
|
n******t 发帖数: 4406 | 5 我之所以問這個,是因為這個問題和那個csv parsing其實沒有很多人想像的那麼大。
【在 s*********n 的大作中提到】 : awk, Python, Perl都行。 : 我觉得awk做这个顺手。
|
s*********n 发帖数: 34 | 6 我不是IT专业人士,只说我的认识层次。
如果数据只需要简单处理的话,我的第一反应就是用awk。需要的话再加上其它的Bash
命令。
如果处理得复杂,用awk显得麻烦,就上Python,有处理csv的module可用。
很久不用Perl了。为了一点速度,不值得再去翻看Perl文档。
【在 n******t 的大作中提到】 : 我之所以問這個,是因為這個問題和那個csv parsing其實沒有很多人想像的那麼大。
|
g****t 发帖数: 31659 | 7 文件是怎么回事?要有点OS知识。就算你只用python,迟早会碰到。
其他的,文本文件怎么回事?unicode怎么回事?这些基础问题。python写得多了,也
迟早会碰到。
Bash
【在 s*********n 的大作中提到】 : 我不是IT专业人士,只说我的认识层次。 : 如果数据只需要简单处理的话,我的第一反应就是用awk。需要的话再加上其它的Bash : 命令。 : 如果处理得复杂,用awk显得麻烦,就上Python,有处理csv的module可用。 : 很久不用Perl了。为了一点速度,不值得再去翻看Perl文档。
|
s*********n 发帖数: 34 | 8 取决于做什么。
先干完活了,有时间再去学相关的知识。
对于我来说,优先考虑的是项目进展,代码只是个工具,哪个顺手用哪个。代码不需要
完美,只要把手头的事情做好就行,不考虑以后出现的其它边角情况。以后遇到老代码
处理不了的新的格式,那时候再改代码吧。
【在 g****t 的大作中提到】 : 文件是怎么回事?要有点OS知识。就算你只用python,迟早会碰到。 : 其他的,文本文件怎么回事?unicode怎么回事?这些基础问题。python写得多了,也 : 迟早会碰到。 : : Bash
|
g****t 发帖数: 31659 | 9 开始不搞好设计,出问题再修,这个方法论对马工要求非常高。因为最后问题往往是几
个couple在一起的。
你不可能每次都让别人帮你修。从这个角度来讲,能在startup里生存超过一年的乱拳
师,
往往都是水准以上的工程师。
【在 s*********n 的大作中提到】 : 取决于做什么。 : 先干完活了,有时间再去学相关的知识。 : 对于我来说,优先考虑的是项目进展,代码只是个工具,哪个顺手用哪个。代码不需要 : 完美,只要把手头的事情做好就行,不考虑以后出现的其它边角情况。以后遇到老代码 : 处理不了的新的格式,那时候再改代码吧。
|
s*********n 发帖数: 34 | 10 打个比方吧。
我遇到的问题,就好比领导让我把后院脸盆大小的一片韭菜割了,中午做饺子用。我当
然是啥顺手用啥:剪刀、小刀、镰刀或者自己现磨个刀片。先把事情做了,完成任务,
中午吃上饺子。
你要说我用的工具不行或者对刀的认识不到位,应付不了以后经营100亩韭菜或者没法
用来砍排骨,我承认。以后到了那个时候再说吧。
【在 g****t 的大作中提到】 : 开始不搞好设计,出问题再修,这个方法论对马工要求非常高。因为最后问题往往是几 : 个couple在一起的。 : 你不可能每次都让别人帮你修。从这个角度来讲,能在startup里生存超过一年的乱拳 : 师, : 往往都是水准以上的工程师。
|
g****t 发帖数: 31659 | 11 每次都留下坑给别人填,也是经典的道路。
不少人半年一年,不停换工作,就是起因于此。
----留下的坑还没爆发,已跳槽升值加薪。
【在 s*********n 的大作中提到】 : 打个比方吧。 : 我遇到的问题,就好比领导让我把后院脸盆大小的一片韭菜割了,中午做饺子用。我当 : 然是啥顺手用啥:剪刀、小刀、镰刀或者自己现磨个刀片。先把事情做了,完成任务, : 中午吃上饺子。 : 你要说我用的工具不行或者对刀的认识不到位,应付不了以后经营100亩韭菜或者没法 : 用来砍排骨,我承认。以后到了那个时候再说吧。
|