l*****y
发帖数: 344 | 1 以为big data是数据库相关，最近才发现好多搞网络的人，尤其网络安全的，在
intrusion方面都在用big data。这是怎么回事呢？ |
l******t
发帖数: 660 | 2 big data和传统数据库关系不大， 其实定义很模糊， 主要是指unstructured data,
以及处理big data的技术比如haddoop eco system
一个主要的应用是web log, 所以搞网络的有人会用到 |
B*****g
发帖数: 34098 | 3 等着听george明年的bigdata讲座，嘿嘿
【在 l******t 的大作中提到】
: big data和传统数据库关系不大， 其实定义很模糊， 主要是指unstructured data,
: 以及处理big data的技术比如haddoop eco system
: 一个主要的应用是web log, 所以搞网络的有人会用到
|
w*r
发帖数: 2421 | 4 big data 是一个marketing term
能看到的应用就是web log , twitter, facebook，unstructured／text是其主要应用
， SQL处理的问题是基于set theory, map reduce的framework给programmer一个写自
己procedure的平台，可以做serialized operation. 其意义可大可小，现在看来大部
分公司还不知道能用这个干什么，DW都还没有做的公司急着上big data其前景是不光明
的，没有structured DW就不能知道自己的requirement是什么， 上big data solution
只是纸上谈兵。 |
a9
发帖数: 21638 | 5 那你说GFW涉及的是不是big data呢？
【在 l*****y 的大作中提到】
: 以为big data是数据库相关，最近才发现好多搞网络的人，尤其网络安全的，在
: intrusion方面都在用big data。这是怎么回事呢？
|
l******t
发帖数: 660 | 6 同意big data现在就是一个marketing term, 对于95%的传统公司， 目前我看不到没有
传统
的数据库架构（ER, 3nf, olap/dw）不能解决的问题， big data, 现在针对的还是
internet 技术的公司， 比如google/yahoo/淘宝， 传统数据库ER对于unstructure
data, data mining, 多并发的领域的先天不住， 就是hadoop/mapreduce的用武之地。
每次我看到big data的buzz word, 就老是想起前几年的bioinformatics, 当时也是热
的不行， ms, 摩托罗拉等纷纷往里跳， 但是没有成熟的市场化的产品，成熟的市场需
要、 等不了多久就纷纷破。
big data不会是那么惨， 毕竟数据越来越大是趋势， 不过一定要有某方面的大突破（
machine learning?） 才能让这个技术真正的从阳春白雪变成能赚钱的产品。
solution
【在 w*r 的大作中提到】
: big data 是一个marketing term
: 能看到的应用就是web log , twitter, facebook，unstructured／text是其主要应用
: ， SQL处理的问题是基于set theory, map reduce的framework给programmer一个写自
: 己procedure的平台，可以做serialized operation. 其意义可大可小，现在看来大部
: 分公司还不知道能用这个干什么，DW都还没有做的公司急着上big data其前景是不光明
: 的，没有structured DW就不能知道自己的requirement是什么， 上big data solution
: 只是纸上谈兵。
|
l******t
发帖数: 660 | 7 你还别说， GFW还真算得上一个big data的成功产品
【在 a9 的大作中提到】
: 那你说GFW涉及的是不是big data呢？
|
g*****g
发帖数: 34805 | 8 Big data has a lot to do with clouding computing. Not many companies had the
computing resource to process big data before. With all these cheap clouds,
that's no longer an issue. The framework to process big data is also mature
. So it's all about capturing and processing them to make use of them.
【在 l******t 的大作中提到】
: 同意big data现在就是一个marketing term, 对于95%的传统公司， 目前我看不到没有
: 传统
: 的数据库架构（ER, 3nf, olap/dw）不能解决的问题， big data, 现在针对的还是
: internet 技术的公司， 比如google/yahoo/淘宝， 传统数据库ER对于unstructure
: data, data mining, 多并发的领域的先天不住， 就是hadoop/mapreduce的用武之地。
: 每次我看到big data的buzz word, 就老是想起前几年的bioinformatics, 当时也是热
: 的不行， ms, 摩托罗拉等纷纷往里跳， 但是没有成熟的市场化的产品，成熟的市场需
: 要、 等不了多久就纷纷破。
: big data不会是那么惨， 毕竟数据越来越大是趋势， 不过一定要有某方面的大突破（
: machine learning?） 才能让这个技术真正的从阳春白雪变成能赚钱的产品。
|
w*r
发帖数: 2421 | 9 the keypoint is make use . the research and analytic work usually do not
know exactly what he/she needs when exploring the data. the specific need
and analytics methodology did not materialize until very late in the game of
data exploring and standardizing. RDBMS still monopolize the field of data
management. Hadoop framework will provide a supplement platform to produce
the analytics computing power to replace traditional cube/statistic/modeling
engine between DW and data consumers.
the
clouds,
mature
【在 g*****g 的大作中提到】
: Big data has a lot to do with clouding computing. Not many companies had the
: computing resource to process big data before. With all these cheap clouds,
: that's no longer an issue. The framework to process big data is also mature
: . So it's all about capturing and processing them to make use of them.
|
l******t
发帖数: 660 | 10 big data就hadoop eco system on cloud来说， 的确是一个有意思的方向， 现在大量
的startup company， 也在走这条路， 提供big data的cloud comptuting service，
提供aws一类的帮客服
把海量数据转移到cloud上处理， 但是这个市场还是很小的， 一方面， 大量的非
internet 公司， 并没有那么多的数据进行处理， 另外一方便， data mining/
machine learning 技术， 还没有发展到saas的程度， 能提供一个framework, 输入数
据， 就能得到pattern, 很多时候， 连客户自己， 都不知道能从big data 能得到什
么，或者还是需要熟悉business logic 的data analyst的人肉操作。 一句话， 如果
没有前端成熟的SAAS BI delivery， 光有后端的技术是远远不够的。
the
clouds,
mature
【在 g*****g 的大作中提到】
: Big data has a lot to do with clouding computing. Not many companies had the
: computing resource to process big data before. With all these cheap clouds,
: that's no longer an issue. The framework to process big data is also mature
: . So it's all about capturing and processing them to make use of them.
|
|
|
o*********k
发帖数: 323 | 11 现在用machine learning什么的跟big data结合搞模拟，做研究的，不少呢。
【在 l******t 的大作中提到】
: 同意big data现在就是一个marketing term, 对于95%的传统公司， 目前我看不到没有
: 传统
: 的数据库架构（ER, 3nf, olap/dw）不能解决的问题， big data, 现在针对的还是
: internet 技术的公司， 比如google/yahoo/淘宝， 传统数据库ER对于unstructure
: data, data mining, 多并发的领域的先天不住， 就是hadoop/mapreduce的用武之地。
: 每次我看到big data的buzz word, 就老是想起前几年的bioinformatics, 当时也是热
: 的不行， ms, 摩托罗拉等纷纷往里跳， 但是没有成熟的市场化的产品，成熟的市场需
: 要、 等不了多久就纷纷破。
: big data不会是那么惨， 毕竟数据越来越大是趋势， 不过一定要有某方面的大突破（
: machine learning?） 才能让这个技术真正的从阳春白雪变成能赚钱的产品。
|
w*r
发帖数: 2421 | 12 researchers are definitely more interesting in hardoop . commercial world,
not that much of activity at this moment. need more years to get this
technology mature and implemented in business space.
【在 o*********k 的大作中提到】
: 现在用machine learning什么的跟big data结合搞模拟，做研究的，不少呢。
|
s**********o
发帖数: 14359 | |
l******t
发帖数: 660 | 14 CS估计是宇宙里工业界和学术界脱节最严重的， 没有之一， 不管是software
engineer, database, OS， 发表的关税paper能直接工业界用的，太少了， 开的
conference 也经常是同样的topoc, 学术界一个， 工业界一个.
以前的bioinformatics就是个典型的例子， 学术界火的不行， 教授学生纷纷往里跳，
NIH的
funding给的那叫一个欢， 结果工业界能赚钱的公司狗屁都没有。
所以现在学术界热， 真是说明不了啥
【在 w*r 的大作中提到】
: researchers are definitely more interesting in hardoop . commercial world,
: not that much of activity at this moment. need more years to get this
: technology mature and implemented in business space.
|
l*****y
发帖数: 344 | 15 正是啊。
【在 l******t 的大作中提到】
: CS估计是宇宙里工业界和学术界脱节最严重的， 没有之一， 不管是software
: engineer, database, OS， 发表的关税paper能直接工业界用的，太少了， 开的
: conference 也经常是同样的topoc, 学术界一个， 工业界一个.
: 以前的bioinformatics就是个典型的例子， 学术界火的不行， 教授学生纷纷往里跳，
: NIH的
: funding给的那叫一个欢， 结果工业界能赚钱的公司狗屁都没有。
: 所以现在学术界热， 真是说明不了啥
|
l*******G
发帖数: 1191 | 16 thanks for sharing. Like simple arrays are much more efficient to manage
than dynamic graphs in memory, RDBMS (tables) are much easier and more
efficient in managing/indexing data. Managing of unstructured data should be
avoided as much as possible. From this point of view, I don't see big
future with big unstructured data. Only when cost in managing unstructured
data is lowered to be close to cost of managing tables, can I see its
benefit in application.
Secondly, when pepople say unstructured data, the big data guys mean email,
texts, audio, etc. problem is there is no way to manage these data unless
it is using standard formats. But format standards change frequently, let's
say I created my own email client and stored email in a different binary
format in my own enterprise.How are you going to manage or search my emails
without me giving you a description of my email binary format? What if I
update the format every year ? Only people who know the data formats can
manage the data. Are you going to XML everything in texts? What about
industrial data like an Origin plot file? |
r*******n
发帖数: 3020 | 17 主要是CS的理论早就成熟了，学术界没什么东西可研究的，研究老东西拿不到funding，
工业出现个新概念，学术界就赶紧往里跳，帮着吹，不是说新东西没用，但基本是被夸
大了
【在 l******t 的大作中提到】
: CS估计是宇宙里工业界和学术界脱节最严重的， 没有之一， 不管是software
: engineer, database, OS， 发表的关税paper能直接工业界用的，太少了， 开的
: conference 也经常是同样的topoc, 学术界一个， 工业界一个.
: 以前的bioinformatics就是个典型的例子， 学术界火的不行， 教授学生纷纷往里跳，
: NIH的
: funding给的那叫一个欢， 结果工业界能赚钱的公司狗屁都没有。
: 所以现在学术界热， 真是说明不了啥
|
l******t
发帖数: 660 | 18 也说不上成熟了， 很多领域都碰上了bottleneck, 比如人工智能， machine learning
, 现在理论方面都做不下去，
funding，
【在 r*******n 的大作中提到】
: 主要是CS的理论早就成熟了，学术界没什么东西可研究的，研究老东西拿不到funding，
: 工业出现个新概念，学术界就赶紧往里跳，帮着吹，不是说新东西没用，但基本是被夸
: 大了
|
