由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
StartUp版 - 百度工程师鬼节捉鬼 360浏览器抓取隐私现形
相关主题
Building H1B visa job 搜索引擎?请推荐一个搜索引擎排名的监控工具/网站
如何成功搜索到自己公司的网页信息和网址 ?eBay和Amazon的类pinterest可视化搜索引擎 (转载)
利用搜索引擎找国外的客户的方法有没有可以把Amazon FBA的卖家联系方式抓下来的工具?
SEO 就那么有用吗?频改title和meta导致rank降低,伤不起啊!!!
问一个专业领域的搜索引擎构建问题white hat Vs. black hat
想搭一个搜索引擎,哪种open source的crawler最好? (转载)有没有做垂直搜索的?
百度为何能打败中国其他的搜索引擎公司?有无办法让网站内容无法被copy, 但搜索引擎又能搜到其文字?
我做的网站飞达设计推出搜索引擎排名实时监控服务
相关话题的讨论汇总
话题: 网页话题: 360话题: 搜索话题: 抓取话题: 百度
进入StartUp版参与讨论
1 (共1页)
s*********e
发帖数: 4475
1
今天上午,360搜索推出独立域名,周鸿祎强调360搜索是基于机器学习技术的第三代搜
索引擎,具备“自学习、自进化”能力,发现用户最需要的搜索结果。360搜索的机器
学习究竟有何奥秘?
百度工程师通过一个设饵钓鱼的实验,让360浏览器抓取用户隐私的秘密暴露无遗。
首先,百度工程师制作了一个保存在服务器个人文件夹下的简单网页,没有任何外
链,由于搜索引擎爬虫只能通过链接爬行网页,因此这个网页是完全封闭的,不可能被
搜索引擎抓取到。
第二步,百度工程师用360浏览器打开了这个网页。并通过各种搜索引擎不间断试
验,显示网页均未被抓取。
但约2小时之后,却发生了令人大跌眼镜的事情。百度工程师试着在360搜索中输入
以上关键词,结果这个网页赫然出现在搜索结果第一行,并可以直接点击进入浏览网页
内容。再换百度、谷歌、搜狗、搜搜等其他浏览器搜索相同内容,却仍然无法返回相应
网页。
n******e
发帖数: 708
2
这个也没什么不对,Chrome,IE也都这么搞

遗。

【在 s*********e 的大作中提到】
: 今天上午,360搜索推出独立域名,周鸿祎强调360搜索是基于机器学习技术的第三代搜
: 索引擎,具备“自学习、自进化”能力,发现用户最需要的搜索结果。360搜索的机器
: 学习究竟有何奥秘?
: 百度工程师通过一个设饵钓鱼的实验,让360浏览器抓取用户隐私的秘密暴露无遗。
: 首先,百度工程师制作了一个保存在服务器个人文件夹下的简单网页,没有任何外
: 链,由于搜索引擎爬虫只能通过链接爬行网页,因此这个网页是完全封闭的,不可能被
: 搜索引擎抓取到。
: 第二步,百度工程师用360浏览器打开了这个网页。并通过各种搜索引擎不间断试
: 验,显示网页均未被抓取。
: 但约2小时之后,却发生了令人大跌眼镜的事情。百度工程师试着在360搜索中输入

s*********e
发帖数: 4475
3
是吗? 有证据吗?
你自己访问内部网页,如果没有验证,难道就全部可以被搜索访问了?

【在 n******e 的大作中提到】
: 这个也没什么不对,Chrome,IE也都这么搞
:
: 遗。

n******e
发帖数: 708
4
我有个网站也没有任何外链,基本上第一天就被google收录了,只能是从Chrome来的

【在 s*********e 的大作中提到】
: 是吗? 有证据吗?
: 你自己访问内部网页,如果没有验证,难道就全部可以被搜索访问了?

s*********e
发帖数: 4475
5
这我也有类似经历, 但我一直觉得是通过whois记录,访问新注册的网站。

【在 n******e 的大作中提到】
: 我有个网站也没有任何外链,基本上第一天就被google收录了,只能是从Chrome来的
n******e
发帖数: 708
6
我的域名注册了很久,没有网页之前也没有收录。除非google每天去爬每个域名。

【在 s*********e 的大作中提到】
: 这我也有类似经历, 但我一直觉得是通过whois记录,访问新注册的网站。
s*********e
发帖数: 4475
7
不能爬域名吗?
我觉得如果google/chrome这么干, 早被人起诉了。
要做实验很容易, 我的一些内部网页是搜不到的。

【在 n******e 的大作中提到】
: 我的域名注册了很久,没有网页之前也没有收录。除非google每天去爬每个域名。
n******e
发帖数: 708
8
内部网页我就不知道了,我只是说链接不是搜索引擎找到你的唯一方法

【在 s*********e 的大作中提到】
: 不能爬域名吗?
: 我觉得如果google/chrome这么干, 早被人起诉了。
: 要做实验很容易, 我的一些内部网页是搜不到的。

s*********e
发帖数: 4475
9
不管这么说, 知道360和3721老底的人如果还用他们产品,
就别怪别人了。

【在 n******e 的大作中提到】
: 内部网页我就不知道了,我只是说链接不是搜索引擎找到你的唯一方法
k**o
发帖数: 15334
10
每天爬域名太简单了。

【在 n******e 的大作中提到】
: 我的域名注册了很久,没有网页之前也没有收录。除非google每天去爬每个域名。
b*******e
发帖数: 6389
11
放个robots.txt不让搜索引擎公布就行了。

【在 n******e 的大作中提到】
: 我有个网站也没有任何外链,基本上第一天就被google收录了,只能是从Chrome来的
b*******e
发帖数: 6389
12
弄个密码验证,搜到也进不去。

【在 s*********e 的大作中提到】
: 今天上午,360搜索推出独立域名,周鸿祎强调360搜索是基于机器学习技术的第三代搜
: 索引擎,具备“自学习、自进化”能力,发现用户最需要的搜索结果。360搜索的机器
: 学习究竟有何奥秘?
: 百度工程师通过一个设饵钓鱼的实验,让360浏览器抓取用户隐私的秘密暴露无遗。
: 首先,百度工程师制作了一个保存在服务器个人文件夹下的简单网页,没有任何外
: 链,由于搜索引擎爬虫只能通过链接爬行网页,因此这个网页是完全封闭的,不可能被
: 搜索引擎抓取到。
: 第二步,百度工程师用360浏览器打开了这个网页。并通过各种搜索引擎不间断试
: 验,显示网页均未被抓取。
: 但约2小时之后,却发生了令人大跌眼镜的事情。百度工程师试着在360搜索中输入

d****u
发帖数: 275
13
我的网站啥也没有,就2个页面,上线后一周Google就能搜到~
不知道他们怎么找到的

遗。

【在 s*********e 的大作中提到】
: 今天上午,360搜索推出独立域名,周鸿祎强调360搜索是基于机器学习技术的第三代搜
: 索引擎,具备“自学习、自进化”能力,发现用户最需要的搜索结果。360搜索的机器
: 学习究竟有何奥秘?
: 百度工程师通过一个设饵钓鱼的实验,让360浏览器抓取用户隐私的秘密暴露无遗。
: 首先,百度工程师制作了一个保存在服务器个人文件夹下的简单网页,没有任何外
: 链,由于搜索引擎爬虫只能通过链接爬行网页,因此这个网页是完全封闭的,不可能被
: 搜索引擎抓取到。
: 第二步,百度工程师用360浏览器打开了这个网页。并通过各种搜索引擎不间断试
: 验,显示网页均未被抓取。
: 但约2小时之后,却发生了令人大跌眼镜的事情。百度工程师试着在360搜索中输入

1 (共1页)
进入StartUp版参与讨论
相关主题
飞达设计推出搜索引擎排名实时监控服务问一个专业领域的搜索引擎构建问题
百度工程师指360搜索突破底线:违反基本协议想搭一个搜索引擎,哪种open source的crawler最好? (转载)
Website design百度为何能打败中国其他的搜索引擎公司?
诚请seo marketing的高手来帮忙我做的网站
Building H1B visa job 搜索引擎?请推荐一个搜索引擎排名的监控工具/网站
如何成功搜索到自己公司的网页信息和网址 ?eBay和Amazon的类pinterest可视化搜索引擎 (转载)
利用搜索引擎找国外的客户的方法有没有可以把Amazon FBA的卖家联系方式抓下来的工具?
SEO 就那么有用吗?频改title和meta导致rank降低,伤不起啊!!!
相关话题的讨论汇总
话题: 网页话题: 360话题: 搜索话题: 抓取话题: 百度