h****e
发帖数: 1 | 1 是不是谷歌不扫沃尔玛。。
谷歌为了钱会不会把用户直接送火葬场？ |
f****i
发帖数: 1 | 2 这智商
很多网站都禁止searching robot
所以搜索引擎都不能显示内部内容 |
h****e
发帖数: 1 | 3 那就是说，target等都不禁？
你咋知道是沃尔玛
而不是谷歌的问题？
: 这智商
: 很多网站都禁止searching robot
: 所以搜索引擎都不能显示内部内容
【在 f****i 的大作中提到】
: 这智商
: 很多网站都禁止searching robot
: 所以搜索引擎都不能显示内部内容
|
f****i
发帖数: 1 | 4 比如马回回的淘宝网，aliexpress网，都不让searching robot搜索，你必须登录网站
用马回回的搜索
而马回回根据你以前的购买历史，判断你的偏好，这样可以向你推送特定产品
耗子他妈的还活在史前时代 |
h****e
发帖数: 1 | 5 我说Walmart
你扯马回回
你有病啊
: 比如马回回的淘宝网，aliexpress网，都不让searching robot搜索，你必须登
录网站
: 用马回回的搜索
: 而马回回根据你以前的购买历史，判断你的偏好，这样可以向你推送特定产品
: 耗子他妈的还活在史前时代
【在 f****i 的大作中提到】
: 比如马回回的淘宝网，aliexpress网，都不让searching robot搜索，你必须登录网站
: 用马回回的搜索
: 而马回回根据你以前的购买历史，判断你的偏好，这样可以向你推送特定产品
: 耗子他妈的还活在史前时代
|
f****i
发帖数: 1 | 6 所以你查淘宝网得到的商品目录，和我查淘宝网得到的商品目录是不一样的
你妈资本家就是靠这个发财的
但是amazon就不一样，随便searching，不禁止 |
f****i
发帖数: 1 | 7 你知道怎么在你网站禁止searching robot?
http://support.google.com/news/publisher-center/answer/9605477?hl=en
【在 h****e 的大作中提到】
: 我说Walmart
: 你扯马回回
: 你有病啊
:
:
: 比如马回回的淘宝网，aliexpress网，都不让searching robot搜索，你必须登
: 录网站
:
: 用马回回的搜索
:
: 而马回回根据你以前的购买历史，判断你的偏好，这样可以向你推送特定产品
:
: 耗子他妈的还活在史前时代
:
|
A******u
发帖数: 1279 | 8 商业网站不给爬，是厌恶赚钱吗？
【在 f****i 的大作中提到】
: 这智商
: 很多网站都禁止searching robot
: 所以搜索引擎都不能显示内部内容
|
e***d
发帖数: 8248 | |
f****i
发帖数: 1 | 10 就是让你登录网站搜索，这样可以给你塞cookie,这样便可以分析你的行为，最后向你
推送产品
如果你通过google来了解，这好像你开了个offshore的公司，美国政府没法收到税，很
不好
【在 A******u 的大作中提到】
: 商业网站不给爬，是厌恶赚钱吗？
|
l******t
发帖数: 55733 | 11 机器扫描对服务器压力也很大。很可能几分钟一次把你所有商品转一圈。大部分商业网
站都拒绝直接扫描。谷歌列出来的可能都是有协议电商直接给api |
A******u
发帖数: 1279 | 12 妈的太邪恶了。最终这些大机构的利益取向冲突，搞得事情越来越低效，跟中国的地方
保护主义类似。
【在 f****i 的大作中提到】
: 就是让你登录网站搜索，这样可以给你塞cookie,这样便可以分析你的行为，最后向你
: 推送产品
: 如果你通过google来了解，这好像你开了个offshore的公司，美国政府没法收到税，很
: 不好
|
h****e
发帖数: 1 | 13 最便宜的
Ecc ddr4...
: 耗子要买什么样的内存？
【在 e***d 的大作中提到】
: 耗子要买什么样的内存？
|
l******n
发帖数: 9344 | 14 https://www.walmart.com/robots.txt
自己看，估计是更新的时间问题
【在 h****e 的大作中提到】
: 是不是谷歌不扫沃尔玛。。
: 谷歌为了钱会不会把用户直接送火葬场？
|
e***d
发帖数: 8248 | 15 有没有看看newegg?
干嘛要ECC？在家搞模拟计算？
【在 h****e 的大作中提到】
: 最便宜的
: Ecc ddr4...
:
:
: 耗子要买什么样的内存？
:
|
k**0
发帖数: 1 | 16 md, robots.txt又不是强制的，根本不用鸟ta
http://en.wikipedia.org/wiki/Robots_exclusion_standard
Robots are often used by search engines to categorize websites. Not all
robots cooperate with the standard; email harvesters, spambots, malware and
robots that scan for security vulnerabilities may even start with the
portions of the website where they have been told to stay out |
k**0
发帖数: 1 | |
l******n
发帖数: 9344 | 18 稍微大的公司网站你去爬一下，分分钟ban你的ip
and
【在 k**0 的大作中提到】
: md, robots.txt又不是强制的，根本不用鸟ta
: http://en.wikipedia.org/wiki/Robots_exclusion_standard
: Robots are often used by search engines to categorize websites. Not all
: robots cooperate with the standard; email harvesters, spambots, malware and
: robots that scan for security vulnerabilities may even start with the
: portions of the website where they have been told to stay out
|
