w***g
发帖数: 5958 | 1 【 以下文字转载自 Programming 讨论区 】
发信人: wdong (cybra), 信区: Programming
标 题: 大数据在工业界流行的黑暗真相
发信站: BBS 未名空间站 (Sat Apr 11 08:05:27 2015, 美东)
这两天在faculty版上灌水纠结大数据概念，让我突然想明白了大数据在工业界兴起的
原因：
很多规律在数据量大了以后都会变得很显然，算法再傻B，在超大量数据作用下效果也
会变得很好。因为开发牛B算法开销很大风险很高，而获取数据对不少公司而言很容易。
所以会出现一个大数据潮流，大家都指着数据变成救命法宝。
比如大数据的源头Google，Pagerank其实就是个幌子，真正优化Google搜索结果的其实
是人民群众。结果被点得多了排名就上去了。算法够傻B吧。还有Google翻译也用到了
大数据技术。算法是否傻B是和系统复杂度相对的。比如linear regression，数据量小用
atlab三五行就写出来了。数据量大了就得上Hadoop, Spark，支持运算的平台比真正的
算法要复杂得多得多。
但真相果真如此吗？做过machine learning的人都知道，数据量增大对于结果改善的边
际效应是递减的，而且往往是指数递减的。需要获得10个百分点的提高，可能需要成千
上万，甚至亿万倍的数据量。真是有点愚公移山的感觉了。
大数据的驱动力背后还有更黑暗的真相：提高barrier to entry。这世上聪明人很多。
工业界忽悠算法其实是最危险的。因为算法的发明往往是单枪匹马干的。如果一个大公
司建立在一个算法的基础之上，岂不是有被但强匹马干掉的危险？特别是学术界虽然不
济，几百年才出一个牛顿爱因斯坦这样的人物，但方法论一直是正确的，难保不出一两
个真正管用的新算法。现在告诉你，你没个一千台机器就没法做研究，把智力门槛转换
成资本门槛，并且搞
一个虚无飘渺的概念，把funding标准从科研水准转换成忽悠水准。以此打击真正的科
学研究，试图多维持几年大公司的盈利。其用心不可不谓险恶。
此计一出，大合那些脑子已经使不动了的学霸的心意，于是大数据一夜之间就火了。 | N******K
发帖数: 10202 | 2 有道理
易。
【在 w***g 的大作中提到】
: 【 以下文字转载自 Programming 讨论区 】
: 发信人: wdong (cybra), 信区: Programming
: 标 题: 大数据在工业界流行的黑暗真相
: 发信站: BBS 未名空间站 (Sat Apr 11 08:05:27 2015, 美东)
: 这两天在faculty版上灌水纠结大数据概念，让我突然想明白了大数据在工业界兴起的
: 原因：
: 很多规律在数据量大了以后都会变得很显然，算法再傻B，在超大量数据作用下效果也
: 会变得很好。因为开发牛B算法开销很大风险很高，而获取数据对不少公司而言很容易。
: 所以会出现一个大数据潮流，大家都指着数据变成救命法宝。
: 比如大数据的源头Google，Pagerank其实就是个幌子，真正优化Google搜索结果的其实
| z***t
发帖数: 2374 | 3 大数据还是有意义的
在我们领域05年就开始搞这个了
只是现在有点炒的过火
主要是别的方向没啥可炒的了 |
|
