n******e
发帖数: 50 | 1 【 以下文字转载自 Internet 讨论区 】
发信人: neaptide (tides), 信区: Internet
标 题: 如何实现批量自动下载网页上的连接？
发信站: BBS 未名空间站 (Tue Jan 15 12:14:45 2008)
我的论文工作需要从一个网站上下载大量的气象数据，这些数据都是免费的。可问题是
，我需要下载几年的数据，而网站上只提供每天数据的连接，因此我需要依此把这些连
接打开，然后再逐个把数据copy下来，实在是太浪费时间了。请问有什么好的软件或者
方法，可是实现对这些数据的自动下载？或者，能不能编写一个自动下载的网页程序来
实现这种操作？需要用何种语言？非常感谢！ |
t****e
发帖数: 329 | 2 有一个软件
好像叫webdump 或者Web Dumper
【在 n******e 的大作中提到】
: 【 以下文字转载自 Internet 讨论区 】
: 发信人: neaptide (tides), 信区: Internet
: 标 题: 如何实现批量自动下载网页上的连接？
: 发信站: BBS 未名空间站 (Tue Jan 15 12:14:45 2008)
: 我的论文工作需要从一个网站上下载大量的气象数据，这些数据都是免费的。可问题是
: ，我需要下载几年的数据，而网站上只提供每天数据的连接，因此我需要依此把这些连
: 接打开，然后再逐个把数据copy下来，实在是太浪费时间了。请问有什么好的软件或者
: 方法，可是实现对这些数据的自动下载？或者，能不能编写一个自动下载的网页程序来
: 实现这种操作？需要用何种语言？非常感谢！
|
m*****j
发帖数: 499 | 3 flashget就有批量下载的功能
【在 n******e 的大作中提到】
: 【 以下文字转载自 Internet 讨论区 】
: 发信人: neaptide (tides), 信区: Internet
: 标 题: 如何实现批量自动下载网页上的连接？
: 发信站: BBS 未名空间站 (Tue Jan 15 12:14:45 2008)
: 我的论文工作需要从一个网站上下载大量的气象数据，这些数据都是免费的。可问题是
: ，我需要下载几年的数据，而网站上只提供每天数据的连接，因此我需要依此把这些连
: 接打开，然后再逐个把数据copy下来，实在是太浪费时间了。请问有什么好的软件或者
: 方法，可是实现对这些数据的自动下载？或者，能不能编写一个自动下载的网页程序来
: 实现这种操作？需要用何种语言？非常感谢！
|
