n******e
发帖数: 50 | 1 【 以下文字转载自 Internet 讨论区 】
发信人: neaptide (tides), 信区: Internet
标 题: 如何实现批量自动下载网页上的连接？
发信站: BBS 未名空间站 (Tue Jan 15 12:14:45 2008)
我的论文工作需要从一个网站上下载大量的气象数据，这些数据都是免费的。可问题是
，我需要下载几年的数据，而网站上只提供每天数据的连接，因此我需要依此把这些连
接打开，然后再逐个把数据copy下来，实在是太浪费时间了。请问有什么好的软件或者
方法，可是实现对这些数据的自动下载？或者，能不能编写一个自动下载的网页程序来
实现这种操作？需要用何种语言？非常感谢！ |
j***n
发帖数: 301 | 2 看样子编程好了，语言嘛，任意一种高级语言都可以，java、C#……
【在 n******e 的大作中提到】
: 【 以下文字转载自 Internet 讨论区 】
: 发信人: neaptide (tides), 信区: Internet
: 标 题: 如何实现批量自动下载网页上的连接？
: 发信站: BBS 未名空间站 (Tue Jan 15 12:14:45 2008)
: 我的论文工作需要从一个网站上下载大量的气象数据，这些数据都是免费的。可问题是
: ，我需要下载几年的数据，而网站上只提供每天数据的连接，因此我需要依此把这些连
: 接打开，然后再逐个把数据copy下来，实在是太浪费时间了。请问有什么好的软件或者
: 方法，可是实现对这些数据的自动下载？或者，能不能编写一个自动下载的网页程序来
: 实现这种操作？需要用何种语言？非常感谢！
|
p*********w
发帖数: 23432 | 3 看样子是要编点小程序
【在 j***n 的大作中提到】
: 看样子编程好了，语言嘛，任意一种高级语言都可以，java、C#……
|
c*****t
发帖数: 1879 | 4 wget
【在 n******e 的大作中提到】
: 【 以下文字转载自 Internet 讨论区 】
: 发信人: neaptide (tides), 信区: Internet
: 标 题: 如何实现批量自动下载网页上的连接？
: 发信站: BBS 未名空间站 (Tue Jan 15 12:14:45 2008)
: 我的论文工作需要从一个网站上下载大量的气象数据，这些数据都是免费的。可问题是
: ，我需要下载几年的数据，而网站上只提供每天数据的连接，因此我需要依此把这些连
: 接打开，然后再逐个把数据copy下来，实在是太浪费时间了。请问有什么好的软件或者
: 方法，可是实现对这些数据的自动下载？或者，能不能编写一个自动下载的网页程序来
: 实现这种操作？需要用何种语言？非常感谢！
|
f*******e
发帖数: 65 | 5 用perl,python等脚本语言编就行了，我猜。如果你用Windows的话，建议你再装个Cygw
in，这样wget等工具就都全了
【在 n******e 的大作中提到】
: 【 以下文字转载自 Internet 讨论区 】
: 发信人: neaptide (tides), 信区: Internet
: 标 题: 如何实现批量自动下载网页上的连接？
: 发信站: BBS 未名空间站 (Tue Jan 15 12:14:45 2008)
: 我的论文工作需要从一个网站上下载大量的气象数据，这些数据都是免费的。可问题是
: ，我需要下载几年的数据，而网站上只提供每天数据的连接，因此我需要依此把这些连
: 接打开，然后再逐个把数据copy下来，实在是太浪费时间了。请问有什么好的软件或者
: 方法，可是实现对这些数据的自动下载？或者，能不能编写一个自动下载的网页程序来
: 实现这种操作？需要用何种语言？非常感谢！
|
A***a
发帖数: 144 | 6 很多很多年前，就有下网站的软件了，可以选文件类型，可以选下载多少层链接等等。
太久没用，我记不得名字了，自己搜搜吧，不要写了。 |
s*****f
发帖数: 75 | 7 推荐 irobotsoft，它有很方便的网页内容提取功能。几乎不需要什么编程功底就能用
。 |
S********0
发帖数: 42 | 8 对动态的东西有效果吗？
会解析js的结果吗？
【在 s*****f 的大作中提到】
: 推荐 irobotsoft，它有很方便的网页内容提取功能。几乎不需要什么编程功底就能用
: 。
|
s*****f
发帖数: 75 | 9 会的。它用的是内置 IE 浏览器，但你即可以让它从源码中提取数据，也可以从解析过
的代码中提取。提取时可以用宏记录功能自动生成提取动作。然后你只要把提取出来的
数据输出到数据库或文本里。 |
