o****g 发帖数: 174 | 1 如果要scrape 一个网页得到一些信息,如amazon scrape 得到一些产品的信息,
reviews 这些。是必须要有这个网页的api key 吗?
不用他们的api, 也不用他们的api key 能scrape 吗?或者那样做有什么弊端? | c******n 发帖数: 16666 | 2 没有api就模仿用户行为呗
用selenium或者headless chrome
然后要挂代理 或者去他们aws自己开一堆机器换着跑
我相信马鬃自家肯定有人来防备这个的
根据你的访问模式来封你ip或者扔你假的数据
【在 o****g 的大作中提到】 : 如果要scrape 一个网页得到一些信息,如amazon scrape 得到一些产品的信息, : reviews 这些。是必须要有这个网页的api key 吗? : 不用他们的api, 也不用他们的api key 能scrape 吗?或者那样做有什么弊端?
|
|