b*******r
发帖数: 28 | 1 手头有个活但不知道如何下手.
任务是到一个数据库网站,输入某个搜索条件和关键词,点击搜索后取得'搜索结果'页面
的源代码. 这个在web下很容易实现.但是我要用不同的关键词做5000次搜索,所以希望
能用Java, Perl 或者其他语言写个小程序.
我会用Java去获得静态url的源代码, 但是不知如何对付使用.aspx 结尾的动态网页.
初始界面和搜索结果界面是同样的url, 结尾都是 .aspx, 所以无法获得静态的url.
希望能给点建议,该如何入手呢? | r****y
发帖数: 26819 | 2 你指的是html代码？
我的经验，这个用python做最简单。
【在 b*******r 的大作中提到】
: 手头有个活但不知道如何下手.
: 任务是到一个数据库网站,输入某个搜索条件和关键词,点击搜索后取得'搜索结果'页面
: 的源代码. 这个在web下很容易实现.但是我要用不同的关键词做5000次搜索,所以希望
: 能用Java, Perl 或者其他语言写个小程序.
: 我会用Java去获得静态url的源代码, 但是不知如何对付使用.aspx 结尾的动态网页.
: 初始界面和搜索结果界面是同样的url, 结尾都是 .aspx, 所以无法获得静态的url.
: 希望能给点建议,该如何入手呢?
| b*******r
发帖数: 28 | 3 能再给点建议吗? 大概的思路是怎样啊?
我没用过python, 但可以学
【在 r****y 的大作中提到】
: 你指的是html代码？
: 我的经验，这个用python做最简单。
| r****y
发帖数: 26819 | 4 你是不是想抓html代码啊
【在 b*******r 的大作中提到】
: 能再给点建议吗? 大概的思路是怎样啊?
: 我没用过python, 但可以学
| c**t
发帖数: 2744 | 5 using Microsoft.mshtml, parse HTML to DOM, then you can get all URLs
【在 b*******r 的大作中提到】
: 手头有个活但不知道如何下手.
: 任务是到一个数据库网站,输入某个搜索条件和关键词,点击搜索后取得'搜索结果'页面
: 的源代码. 这个在web下很容易实现.但是我要用不同的关键词做5000次搜索,所以希望
: 能用Java, Perl 或者其他语言写个小程序.
: 我会用Java去获得静态url的源代码, 但是不知如何对付使用.aspx 结尾的动态网页.
: 初始界面和搜索结果界面是同样的url, 结尾都是 .aspx, 所以无法获得静态的url.
: 希望能给点建议,该如何入手呢?
| D******y
发帖数: 3780 | 6 you need use POST instead of GET
【在 b*******r 的大作中提到】
: 手头有个活但不知道如何下手.
: 任务是到一个数据库网站,输入某个搜索条件和关键词,点击搜索后取得'搜索结果'页面
: 的源代码. 这个在web下很容易实现.但是我要用不同的关键词做5000次搜索,所以希望
: 能用Java, Perl 或者其他语言写个小程序.
: 我会用Java去获得静态url的源代码, 但是不知如何对付使用.aspx 结尾的动态网页.
: 初始界面和搜索结果界面是同样的url, 结尾都是 .aspx, 所以无法获得静态的url.
: 希望能给点建议,该如何入手呢?
|
|
