g*****g
发帖数: 34805 | 1 你真是脸不嫌肿。Linq to HPC不是mapreduce都出来了。
http://www.zdnet.com/blog/microsoft/microsoft-drops-dryad-puts-
Microsoft drops Dryad; puts its big-data bets on Hadoop
Summary: Microsoft is dropping its 'Dryad' big-data processing work and
focusing, instead, on developing a Windows Azure and Windows Server
implementation of Hadoop.
Just a month after insisting there was still a place for its own Hadoop
competitor, Microsoft officials have decided to discontinue work on LINQ to
HPC, codenamed "Dryad."
In a N... 阅读全帖 |
|
d********w
发帖数: 363 | 2 品味来了。
Basics and Algorithms
The Five-Minute Rule Ten Years Later, and Other Computer Storage Rules of
Thumb (1997): This paper (and the original one proposed 10 years earlier)
illustrates a quantitative formula to calculate whether a data page should
be cached in memory or not. It is a delight to read Jim Gray approach to an
array of related problems, e.g. how big should a page size be.
AlphaSort: A Cache-Sensitive Parallel External Sort (1995): Sorting is one
of the most essential algorithms in... 阅读全帖 |
|
l*s
发帖数: 783 | 3 ☆─────────────────────────────────────☆
runPython (凸-.-) 于 (Mon Oct 15 00:29:15 2012, 美东) 提到:
还在犹豫：
语言上C#强于Java；
框架上MVC的ASP更易用，
但是JAVA的基于开源的生态系统已经很强大，
大公司都在用，找工作前景很不错。
感觉上java和j2EE的是中大公司搞，
C#和ASP是中小公司搞或者非IT的大公司。
可以看出来薪水还是有点差别的，平均来说。
JAVA略高
☆─────────────────────────────────────☆
a9 (嗯) 于 (Mon Oct 15 08:33:29 2012, 美东) 提到:
搞电子商务的很多大公司都在用.net
☆─────────────────────────────────────☆
NeverLearn (24K golden bear) 于 (Mon Oct 15 11:06:35 2012, 美东) 提到:
Java is paid high simply b/c it's c... 阅读全帖 |
|
g*****g
发帖数: 34805 | 4 您老太无知，无知到我都没啥好说的了。Ebay现在用Hadoop没错，但Hadoop跟Ebay的成
功根本没啥关系。Hadoop火也就这两三年的事情，Ebay在00年之前就很牛了。我说的是
，Ebay用Java写的，这个流量级别的商务网站，C#一个都没有。Bing，MSN这些流量大
，需要Scalablity没错，但不需要Transaction。Bing应该比的是Google，MSN比的
Yahoo，都是跟在人屁股后面抄的二流网站而已。
我老提的这些，Ebay, Salesforce, Workday, LinkedIn, Twitter，Netflix，核心都
是Java写的。C#都有啥？Dell.com? LOL
回到Hadoop，Hadoop是yahoo的人写的，是从Google的04年MapReduce的paper学习的，
到09年Hadoop已经很有名。而Bing是09年出来的，到现在还是赔钱货，没人用不得已花
钱给yahoo买流量。Hadoop抄的是MapReduce不错，跟微软毛关系没有。最弱的不过微软
，抄都抄不来，你天天舔的Linq更是提不起的阿斗，微软连抄开源的Had... 阅读全帖 |
|
g*****g
发帖数: 34805 | 5 您老太无知，无知到我都没啥好说的了。Ebay现在用Hadoop没错，但Hadoop跟Ebay的成
功根本没啥关系。Hadoop火也就这两三年的事情，Ebay在00年之前就很牛了。我说的是
，Ebay用Java写的，这个流量级别的商务网站，C#一个都没有。Bing，MSN这些流量大
，需要Scalablity没错，但不需要Transaction。Bing应该比的是Google，MSN比的
Yahoo，都是跟在人屁股后面抄的二流网站而已。
我老提的这些，Ebay, Salesforce, Workday, LinkedIn, Twitter，Netflix，核心都
是Java写的。C#都有啥？Dell.com? LOL
回到Hadoop，Hadoop是yahoo的人写的，是从Google的04年MapReduce的paper学习的，
到09年Hadoop已经很有名。而Bing是09年出来的，到现在还是赔钱货，没人用不得已花
钱给yahoo买流量。Hadoop抄的是MapReduce不错，跟微软毛关系没有。最弱的不过微软
，抄都抄不来，你天天舔的Linq更是提不起的阿斗，微软连抄开源的Had... 阅读全帖 |
|
g*****g
发帖数: 34805 | 6 微软花了很大功夫，写了一个什么linq to hpc，号称要替代hadoop。结果写了5年最后
发现比起hadoop实在差太远了，悄悄自宫了。打嘴炮谁都会，真要有料自己出来写个开
源框架火了，一堆VC哭着闹着给你钱。
http://www.informationweek.com/software/information-management/
Just one month after announcing plans to release Windows Azure- and Windows
Server-based implementations of open source Apache Hadoop, Microsoft quietly
changed course on LINQ to Windows High Performance Computing (HPC),
codenamed "Dryad."
Microsoft has been working on Dryad for more than five years, but a November
11 post on... 阅读全帖 |
|
c****e
发帖数: 1453 | 7 Dryad和Linq不是一回事情。原来是cambridge的一个research project. HPC team is
part of Azrue team now and Azure picked Hadoop due to its popularity in BI.
DryadLinq是个programming model, 不是像Hadoop这样的engine, 类比一下，类似HIVE
或者 Linq2SQL与SQL server的关系。
Dryad is still the computation engine of SCOPE.
to |
|
c****e
发帖数: 1453 | 8 我两个生态系统都做过不小的项目。微软主要是新的这一波没赶上，最潮的已经不care
了。所以但凡这两年折腾出来的东西，.net支持都很差或者基本没有。老一些的东西，
虽然基本都有，但是生态圈比较凋敝。就像你说的lucene,.net的port基本就死在3上面
了。
新的东西主要包括noSQL DB, Hadoop(HIVE/Pig/Impala), Spark这一圈。搞笑的是
Spark最开始还是按照微软dryad的paper用scala写的。09年微软内部就用基于dryad的
系统，但是微软自己完全丢掉了把这个开源或者服务化的机会。基因使然。
scalability这个事情，完全是看需求。就像这里天天不离口的Cassandra, 上了300个
node,一样问题多多。但是绝大多数人不会碰到。或者有几个会manage超过3000个node
的YARN cluster.有了EMR, Azure Insight这些东西,开个四个八个node算算一般东西，
都差不多。大家都说大数据，据统计平均的MRjob只有几个G,实在算不上大。说到大数
据，不能不提machine learning,虽然ML... 阅读全帖 |
|
w***s
发帖数: 2658 | 9 我来给个摘编：
大数据系统的核心主要是分布式处理框架，因为框架负责工作（job ）执行的方方面面
，如工作分解、任务（task）调度与执行、错误容忍、数据流等等。这其中重要的早期
工作是Google的MapReduce框架，它将函数式编程思想引入到分布式数据处理中，仅仅
依托两个函数（map和reduce）不仅解决了一大类的大数据批处理问题，而且用户也再
也不用担心分布式带来的诸多系统层面问题。不过MapReduce缺点也很显著，比如处理
流程过于固定，不支持迭代，工作执行时间一般较长，等等。Hadoop是MapReduce的开
源实现，在国内很流行，而且在08年的时候赢得了TeraSort的冠军，所以市场很蔓延，
形成了庞大而臃肿的生态圈。此后，微软在08年推出了与 MapReduce直接竞争的Dryad
，以DAG型的数据流取代了MapReduce固定的数据流，更复杂但功能更强。09年出现的
DryadLINQ将更多的函数式思想（主要来源于C#的LINQ）引入到分布式编程范型中，这
些即使在今天看来也很先进。再此后Spark出现了，Spark最大的特点在于她的数据模型
采用RDD，... 阅读全帖 |
|
w***s
发帖数: 2658 | 10 我来给个摘编：
大数据系统的核心主要是分布式处理框架，因为框架负责工作（job ）执行的方方面面
，如工作分解、任务（task）调度与执行、错误容忍、数据流等等。这其中重要的早期
工作是Google的MapReduce框架，它将函数式编程思想引入到分布式数据处理中，仅仅
依托两个函数（map和reduce）不仅解决了一大类的大数据批处理问题，而且用户也再
也不用担心分布式带来的诸多系统层面问题。不过MapReduce缺点也很显著，比如处理
流程过于固定，不支持迭代，工作执行时间一般较长，等等。Hadoop是MapReduce的开
源实现，在国内很流行，而且在08年的时候赢得了TeraSort的冠军，所以市场很蔓延，
形成了庞大而臃肿的生态圈。此后，微软在08年推出了与 MapReduce直接竞争的Dryad
，以DAG型的数据流取代了MapReduce固定的数据流，更复杂但功能更强。09年出现的
DryadLINQ将更多的函数式思想（主要来源于C#的LINQ）引入到分布式编程范型中，这
些即使在今天看来也很先进。再此后Spark出现了，Spark最大的特点在于她的数据模型
采用RDD，... 阅读全帖 |
|
b*****o
发帖数: 715 | 11 大赞大牛的摘要！！
第一次听说spark，刚刚看了一下文档，有一个疑问。就计算模型而言，spark和Dryad/
Flume几乎一样。我可以想像它做了一些infrastruture的优化(比如memory caching)，
从而大大降低了network cost和disk read/write cost。但是它貌似对于迭代算法依旧
不是很有效。
就文档里给的logistic regression的例子：
val points = spark.textFile(...).map(parsePoint).cache()
var w = Vector.random(D) // current separating plane
for (i <- 1 to ITERATIONS) {
val gradient = points.map(p =>
(1 / (1 + exp(-p.y*(w dot p.x))) - 1) * p.y * p.x
).reduce(_ + _)
w -= gradient
}
println("Final separating plane: ... 阅读全帖 |
|
v**e
发帖数: 8422 | 12 索马里海盗杀死四美国人
4 American hostages killed by pirates, US says
By JASON STRAZIUSO and MALKHADIR M. MUHUMED, Associated Press
NAIROBI, Kenya – Four Americans taken hostage by Somali pirates off East
Africa were shot and killed by their captors Monday, the U.S. military said,
marking the first time U.S. citizens have been killed in a wave of pirate
attacks plaguing the Gulf of Aden and the Indian Ocean for years.
U.S. naval forces, who were trailing the Americans' captured yacht with four
warships, qu... 阅读全帖 |
|
n********e
发帖数: 41 | 13 楼主 看到 你 isDiffByOne 函数就知道你必然要超时
Leetcode免费给你用 就别挑剔了。凡事要先从自身找问题
你那个测试不是大数据
真正的大数据在这里：
start = "nanny";
end = "aloud";
String[] d = {"ricky","grind","cubic","panic","lover","farce","gofer
","sales","flint","omens","lipid","briny","cloth","anted","slime","oaten","
harsh","touts","stoop","cabal","lazed","elton","skunk","nicer","pesky","
kusch","bused","kinda","tunis","enjoy","aches","prowl","babar","rooms","
burst","slush","pines","urine","pinky","bayed","mania","light","flare","
wares","wom... 阅读全帖 |
|
|
j********x
发帖数: 2330 | 15 Chord
Dynamo
Dryad
Rdd,spark挺无聊 dag的基本框架套上一个rdd的皇帝新衣服。。。不推荐阅读。。。 |
|
F*********u
发帖数: 12190 | 16 偷偷在timeline帖里报的
发信人: lin5288115 (dryad), 信区: EB23
标 题: Re: timeline帖子-整理了一下timeline
发信站: BBS 未名空间站 (Wed May 7 19:34:46 2014, 美东)
Timeline
EB2->Eb3
NSC
PD: 01/2011
140
RD：02/07/2014
PP：03/24/2014
AD: 04/08/2014
485
RD:02/07/2014
FP:03/20/2014(scheduled)
EAD:04/23/2014
AD:05/07/2014
主副申请人一起的，其他都一样，就是485 主申请人今天批了，副的还没消息。求祝福? |
|
m****g
发帖数: 3975 | 17 第二项内容
Arethusa Falls is generally regarded as the highest single drop in New
Hampshire. It's not, Dryad Fall is a 300' horsetail, but Arethusa Falls is
by far the more spectacular. Bemis Brook drops over a broad orange granitic
cliff, capping a 1.5 mile hike along (mostly far above) Bemis Brook.
Arethusa's height figure is fairly suspect. Let me offer some clarification
before I hear the inevitable hymns of protest. I eyeball the total height at
about 140', which is consistent with estimates pri |
|
N*D
发帖数: 3641 | 18 ☆─────────────────────────────────────☆
acai1981 (acai) 于 (Sun Feb 27 19:42:13 2011, 美东) 提到:
带着朋友一起去十里香（little garden）,叫了白椒萝卜丁辣猪肉，上上来完全不敢相
信自己的
眼睛。100%全是亮闪闪的肥肉，没有一片里面有一丁点瘦的腊肉，超级恶心，萝卜丁也
看不见，
只看得见绿葱和透明肥肉。它如果取本名叫青蒜炒腊肥肉我们100%不会点阿。
小笋肉丝，肉完全是切成精精瘦得"肉排",最后大家把笋挑光剩下一盘肉，看来也不缺
肉嘛，不知
道为啥不匀一点给腊肉。
还有酸菜猪肉粉条，粉条变成了粉丝。
唯一可以吃的就是鱼汤。
感觉这个店的东西太粗糙了，简直就是给国内民工朋友或者大一新生小朋友吃的。朋友
吃得面露
难色，我也超级不好意思，不推荐。
☆─────────────────────────────────────☆
shizi5113 (狮子) 于 (Mon Feb 28 01:22:06 2011, 美东) 提到:
它是去年夏天易主的，原来是枫林小馆。话说枫林... 阅读全帖 |
|
r**********g
发帖数: 22734 | 19 产品部门要好好想想。尼玛msr花三年搞的dryad，sql怕影响利润硬是给掐死了。整个
组都特么走了有木有。所以只能发paper，至少好idea还能被别的公司用，造福人类。 |
|
