boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 小白问网页scraping 的一个问题
... ?
相关主题
谁给说说Selenium?
web scraping有啥方便的API或者框架不
用VBA Macro作web page scraping的时候如何遍历page中的dropdown
写crawler
web scraper
在带有ajax的页面做screen scrape
如何下载网络页面,不包含,
想写个适用于移动设备显示的书名查询页面,把书名检索送到
如果没有api,有什么办法写网站客户端呢?
请问哪里有python的code example
相关话题的讨论汇总
话题: scrape话题: 网页话题: scraping话题: api话题: 小白
进入Programming版参与讨论
1 (共1页)
o****g
发帖数: 174
1
如果要scrape 一个网页得到一些信息,如amazon scrape 得到一些产品的信息,
reviews 这些。是必须要有这个网页的api key 吗?
不用他们的api, 也不用他们的api key 能scrape 吗?或者那样做有什么弊端?
c******n
发帖数: 16666
2
没有api就模仿用户行为呗
用selenium或者headless chrome
然后要挂代理 或者去他们aws自己开一堆机器换着跑
我相信马鬃自家肯定有人来防备这个的
根据你的访问模式来封你ip或者扔你假的数据

【在 o****g 的大作中提到】
: 如果要scrape 一个网页得到一些信息,如amazon scrape 得到一些产品的信息,
: reviews 这些。是必须要有这个网页的api key 吗?
: 不用他们的api, 也不用他们的api key 能scrape 吗?或者那样做有什么弊端?

1 (共1页)
进入Programming版参与讨论
相关主题
请问哪里有python的code example
Guido on Python AsyncIO (1/23/2014)
请教Regular Expression,
买不到iPhone 6/6+的同学看过来 (转载)
Scrape别人网站 做自己的服务 违法吗
离成功转码还有多远?
请教,网页抓取、内容整理提取用什么做比较简单
一个网页点击link和copy link address再打开得到不同结果
有谁可以帮忙写个小小小软件
啥脚本可以进行网页操作?
相关话题的讨论汇总
话题: scrape话题: 网页话题: scraping话题: api话题: 小白