a**********g 发帖数: 20 | 1 我现在写了个程序来收集网上的数据,这个程序每个小时跑一次,到指定的网站scrape
data, 然后存入数据库。 我现在想让这个程序不间断的跑半年,不知道在什么样的环
境下最好?
1) 我可以买个台式放家里,然后在上面跑这个程序。缺点就是,万一家里停电,短网
,就会影响数据收集
2) 能不能在一个server 上?这样就能克服上面的困难。amazon web service 这样的
能满足我的需求吗?我对cloud/web service一窍不通,望多指点。
多谢! |
s*******a 发帖数: 8827 | 2 i use the free amazon ec2 to run openvpn server 24/7, and its ok-ish...
scrape
【在 a**********g 的大作中提到】 : 我现在写了个程序来收集网上的数据,这个程序每个小时跑一次,到指定的网站scrape : data, 然后存入数据库。 我现在想让这个程序不间断的跑半年,不知道在什么样的环 : 境下最好? : 1) 我可以买个台式放家里,然后在上面跑这个程序。缺点就是,万一家里停电,短网 : ,就会影响数据收集 : 2) 能不能在一个server 上?这样就能克服上面的困难。amazon web service 这样的 : 能满足我的需求吗?我对cloud/web service一窍不通,望多指点。 : 多谢!
|
c****t 发帖数: 5452 | 3 过了一年怎么办?再搞新帐号?
【在 s*******a 的大作中提到】 : i use the free amazon ec2 to run openvpn server 24/7, and its ok-ish... : : scrape
|
a**********g 发帖数: 20 | 4 Do you have a tutorial? It seems that you have to create an instance every
time, which sometimes takes a few mins. Also, can you set up a database on
EC2 that stores the data? Thanks.
【在 s*******a 的大作中提到】 : i use the free amazon ec2 to run openvpn server 24/7, and its ok-ish... : : scrape
|
s*******a 发帖数: 8827 | 5 i think so.. openvpn server is very easy to migrate..
【在 c****t 的大作中提到】 : 过了一年怎么办?再搞新帐号?
|
s*******a 发帖数: 8827 | 6 you create an instance and let it run forever.. It's free. No need to shut
it down..
Many Tutorials online.. Just Google.. I don't remember which one I used..
Since I used it for VPN I don't needed any database..
【在 a**********g 的大作中提到】 : Do you have a tutorial? It seems that you have to create an instance every : time, which sometimes takes a few mins. Also, can you set up a database on : EC2 that stores the data? Thanks.
|