c******n
发帖数: 16666 | |
w********m
发帖数: 1137 | 2 aws应该没有黑科技知道你的instance是爬虫
知道他们也不care |
c******n
发帖数: 16666 | 3 嗯 他们应该也没办法知道这些ip可能会被social media啥得block掉了
而且block了估计十天半个月也就解封了
【在 w********m 的大作中提到】
: aws应该没有黑科技知道你的instance是爬虫
: 知道他们也不care
|
l******n
发帖数: 9344 | 4 封的很快，我测试过。。。。
【在 c******n 的大作中提到】
: 嗯 他们应该也没办法知道这些ip可能会被social media啥得block掉了
: 而且block了估计十天半个月也就解封了
|
c******n
发帖数: 16666 | 5 汗。。。那我最好搞个马甲来弄
别把我RDS给一起封了
对了 你是指你用ec2跑爬虫
还是你去爬了马鬃的页面？
【在 l******n 的大作中提到】
: 封的很快，我测试过。。。。
|
l******n
发帖数: 9344 | 6 全速跑爬虫流量非常大，先确定你能付得出账单
【在 w********m 的大作中提到】
: aws应该没有黑科技知道你的instance是爬虫
: 知道他们也不care
|
l******n
发帖数: 9344 | 7 爬amazon。。。
【在 c******n 的大作中提到】
: 汗。。。那我最好搞个马甲来弄
: 别把我RDS给一起封了
: 对了 你是指你用ec2跑爬虫
: 还是你去爬了马鬃的页面？
|
w********m
发帖数: 1137 | 8 其实流量不大, 我的虫子都是1 qps/ip
大的话，就是DDOS了。
【在 l******n 的大作中提到】
: 全速跑爬虫流量非常大，先确定你能付得出账单
|
c******n
发帖数: 16666 | 9 肯定会控制速度 毕竟这玩意儿是灰色区域
不靠防火墙和nginx 自己爬虫爬死我自己的网站也就是十几秒钟 多进程加异步太狠了
【在 l******n 的大作中提到】
: 全速跑爬虫流量非常大，先确定你能付得出账单
|
c******n
发帖数: 16666 | 10 额。。。我还想做个类似camelcamelcamel的呢。。
这两天知乎上帖子 怎么反爬虫 有几个用图片显示价格 改字体改变数字定义 还有直接
返回假数据的太黑了 哈哈
【在 l******n 的大作中提到】
: 爬amazon。。。
|
p**r
发帖数: 5853 | 11 看到这个，脑子里立即浮现出，endless的漫天遍野的导弹袭来
多进程加异步太狠了
【在 c******n 的大作中提到】
: 额。。。我还想做个类似camelcamelcamel的呢。。
: 这两天知乎上帖子 怎么反爬虫 有几个用图片显示价格 改字体改变数字定义 还有直接
: 返回假数据的太黑了 哈哈
|
h**********c
发帖数: 4120 | 12 可以把调制姐跳起得driver 改改，以调制姐跳起得速率发 |
