jl
发帖数: 398 | |
g*****g
发帖数: 34805 | 2 sure, but what kind of robot do you need?
【在 jl 的大作中提到】
: 大概要用那些 Class! 结构如何啊?
|
jl
发帖数: 398 | 3 网络 搜索.
【在 g*****g 的大作中提到】
: sure, but what kind of robot do you need?
|
r***l
发帖数: 67 | 4 No need to build your own. There are quite a few open source java projects
doing the same thing.
【在 jl 的大作中提到】
: 网络 搜索.
|
l*****e
发帖数: 1431 | 5 以前做过一个针对mitbbs的搜索机器人，跟某ID吵架的时候，就用它搜该ID全站的历史言
论，功效显著。那时候还没有宽带，所以都是用单线程做的，搜完全站要半个晚上。前些
天想拿出来改改，发现还留在closet的旧电脑硬盘上，就作罢了。
【在 g*****g 的大作中提到】
: sure, but what kind of robot do you need?
|
m******t
发帖数: 2416 | 6
So that was what burned out look's harddrive...
【在 l*****e 的大作中提到】
: 以前做过一个针对mitbbs的搜索机器人，跟某ID吵架的时候，就用它搜该ID全站的历史言
: 论，功效显著。那时候还没有宽带，所以都是用单线程做的，搜完全站要半个晚上。前些
: 天想拿出来改改，发现还留在closet的旧电脑硬盘上，就作罢了。
|
c**g
发帖数: 274 | 7 说起这个机器人，我准备弄一个专门搞yahoo message. 各位可能没用过Yahoo
message, 真不一般的烂，界面图功能差也就算了，这个搜索简直是乱七八糟，
绝大部分时候啥都查不出来，很少的时候能查点玩意出来，我到现在也没明白
是怎么个玩法。真是烂啊。
【在 l*****e 的大作中提到】
: 以前做过一个针对mitbbs的搜索机器人，跟某ID吵架的时候，就用它搜该ID全站的历史言
: 论，功效显著。那时候还没有宽带，所以都是用单线程做的，搜完全站要半个晚上。前些
: 天想拿出来改改，发现还留在closet的旧电脑硬盘上，就作罢了。
|
t********k
发帖数: 808 | 8 你这个是怎么做的?
用搜索引擎的构思?
总不会直接从MITBBS里取数据吧
感兴趣
能介绍一下否?
【在 l*****e 的大作中提到】
: 以前做过一个针对mitbbs的搜索机器人，跟某ID吵架的时候，就用它搜该ID全站的历史言
: 论，功效显著。那时候还没有宽带，所以都是用单线程做的，搜完全站要半个晚上。前些
: 天想拿出来改改，发现还留在closet的旧电脑硬盘上，就作罢了。
|
l*****e
发帖数: 1431 | 9 就是直接取数据，挨个版搜，后来因为太慢，改进了一点，把要搜的版名放在一个文本文
件里面，运行的时候load进去，那些可能性不大的版就不包括进去了。
史言
前些
【在 t********k 的大作中提到】
: 你这个是怎么做的?
: 用搜索引擎的构思?
: 总不会直接从MITBBS里取数据吧
: 感兴趣
: 能介绍一下否?
|
t********k
发帖数: 808 | 10 想知道你是怎么取数据的
没接触过这方面的东西
【在 l*****e 的大作中提到】
: 就是直接取数据，挨个版搜，后来因为太慢，改进了一点，把要搜的版名放在一个文本文
: 件里面，运行的时候load进去，那些可能性不大的版就不包括进去了。
:
: 史言
: 前些
|
l*****e
发帖数: 1431 | 11 General purpose的我也不知道，如果只是针对某个网站的话很容易啊，看看它的URL
pattern, 再看看HTML source基本上就知道怎么取了。更简单的，写个基本的proxy,
把IE送出去的requests intercept下来，然后照葫芦画瓢模拟IE client也可以。
本文
【在 t********k 的大作中提到】
: 想知道你是怎么取数据的
: 没接触过这方面的东西
|
t********k
发帖数: 808 | 12 基本明白了
【在 l*****e 的大作中提到】
: General purpose的我也不知道，如果只是针对某个网站的话很容易啊，看看它的URL
: pattern, 再看看HTML source基本上就知道怎么取了。更简单的，写个基本的proxy,
: 把IE送出去的requests intercept下来，然后照葫芦画瓢模拟IE client也可以。
:
: 本文
|
c**g
发帖数: 274 | 13 http, parsing html.
【在 t********k 的大作中提到】
: 想知道你是怎么取数据的
: 没接触过这方面的东西
|
