b***m 发帖数: 5987 | 1 一个巨大的文件,XML格式,是一个access log数据库数据倒出来的结果。由于格式问
题,该XML文件不分行。有什么好办法做XML分析,目的是分析XML然后总结出里面某些
字样的出现情况。我现在用的是Perl,目前没找到特别合适的库。如果有C#的方案也可
以。大家集思广益吧。 |
t****a 发帖数: 1212 | 2 传说中的SAX就是处理大XML的啊,你肯定看过了,是不好用么?如果你的问题简单,不
需要考虑XML结构,那么直接sed效率更高。 |
b***m 发帖数: 5987 | |
t****a 发帖数: 1212 | 4 sed还是很有用的,做这种dirty things sed, grep得学会。
另外,如果你的分析是一次性的,就算TB的话sed grep几个小时到一天也该够了。如果
你需要经常干这个,并且分析不需要考虑结构的话,那么推荐你把它弄到hadoop上去,
用sed配合hadoop streaming来做,那样做起来快很多。
【在 b***m 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你说的SAX和SED俺通通不懂……
|
b***m 发帖数: 5987 | 5
grep是Linux上那个grep吗?SED给个link看看?我不知道微软内部是否允许使用啊。
【在 t****a 的大作中提到】![](/moin_static193/solenoid/img/up.png) : sed还是很有用的,做这种dirty things sed, grep得学会。 : 另外,如果你的分析是一次性的,就算TB的话sed grep几个小时到一天也该够了。如果 : 你需要经常干这个,并且分析不需要考虑结构的话,那么推荐你把它弄到hadoop上去, : 用sed配合hadoop streaming来做,那样做起来快很多。
|
t****a 发帖数: 1212 | |
b***m 发帖数: 5987 | 7
嗯,仔细看看先。
【在 t****a 的大作中提到】![](/moin_static193/solenoid/img/up.png) : wiki是好东西:http://en.wikipedia.org/wiki/Sed
|
b********a 发帖数: 300 | |
H********e 发帖数: 130 | 9 我的PhD 研究是做XML查询处理的,经常要处理GB级别的XML文件,如果需要考虑XML自
己的模式DTD的话,SAX是很好的选择
我有现成的Java代码,如果你需要的话,我可以发给你
【在 b***m 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 一个巨大的文件,XML格式,是一个access log数据库数据倒出来的结果。由于格式问 : 题,该XML文件不分行。有什么好办法做XML分析,目的是分析XML然后总结出里面某些 : 字样的出现情况。我现在用的是Perl,目前没找到特别合适的库。如果有C#的方案也可 : 以。大家集思广益吧。
|
h****e 发帖数: 928 | |
b***m 发帖数: 5987 | 11 这不是面试题啊,是我手头的工作之一。
【在 h****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 很好的面试题。LZ做完了公布一下方法吧。
|
b***m 发帖数: 5987 | 12 明天我先琢磨一下SAX这个东东。谢谢啦啊。
【在 H********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我的PhD 研究是做XML查询处理的,经常要处理GB级别的XML文件,如果需要考虑XML自 : 己的模式DTD的话,SAX是很好的选择 : 我有现成的Java代码,如果你需要的话,我可以发给你
|