t*g
发帖数: 1758 | 1 That's my director's idea. He thinks that'll be faster. Basically I'm
comparing two indices tokenized by two tokenizor.
But I think I found the way to implement it.
I take each Term can use TermDocs td = reader.termDocs(t) to get
TermDocs. Then int docNum=td.doc() to get a doc number. Is this doc number luceneid? Can I use this id to get the rest of
the fields?
need to open an index file and go through all the search keys? |
|
|
c*****1
发帖数: 3240 | 3 ☆─────────────────────────────────────☆
kzeng (寱语·无味赛百味) 于 (Sun Sep 23 01:21:31 2012, 美东) 提到:
（这是一篇关于很枯燥的技术，很枯燥的历史文本，和不太枯燥的统计的 blog）
看过一篇关于《全宋词》词频统计文章，挺有趣的，想用类似的方法处理一下《资治通
鉴》，所以就趁周末花了几个小时作了一下。
词是长短句，统计两个字组成的词频比较合适，《通鉴》是古文，文字结构不同，所以
我统计了单字频，两字词词频，三字词词频，四字词词频，和五字词词频。同时也记录
各个统计单位（字或词）出现的卷数。《通鉴》294卷，从三家分晋到五代结束共共
1362年，所以卷数可以作为时间的度量。
《全宋词》的词频是用 R 作的。R 虽然是不错的统计软件，也是我的最爱之一，但是
R 并不适合作文本分析，更不适合来作数据库操作。所以就用了 C# 和 Kdb +3.0。 C#
用来分析文本，.Net 是懒人的福音，并且多线程运算非常简单，能够大大提升文本处
理速度，Kdb+用来储存数据，它差不多是性能最好的 in-memor... 阅读全帖 |
|
