Yarn的设计根本就是错的 - Programming版 - 未名存档

本页内容为未名空间相应帖子的节选和存档，一周内的贴子最多显示50字，超过一周显示500字访问原贴

Programming版 - Yarn的设计根本就是错的

相关主题
● Hadoop 和Python的数据分析包哪个更值得学习？	● 学生来请教问题，打印特定位置字符，读取硕大文件
● Hadoop运行时是不是用命令行执行的？Hadoop和Java有什么联系？	● 感觉flink出来之后，hadoop就显得不怎么再需要了
● 有谁玩过C* + Spark?	● 搞不懂为什么大牛说Hbase不如C*?
● 关于 SPARK, 问二爷peking2 和其他大牛一问题	● 怎样schedule spark application
● docker的newbie 问题	● map shared memory to local process
● 如何从代码里向yarn动态提交一个spark job	● 已经全上内存了，还要40多秒啊
● 如何提高Spark在Yarn上的内存使用率	● Spark PK Akka 完胜呀
● 通过日志分析yarn app实际内存用量	● coltzhao的公司还在用mongo吗？

相关话题的讨论汇总
话题: yarn话题: mapreduce话题: 磁盘话题: 内存话题: 根本就是

进入Programming版参与讨论

1

(共1页)

w***g 发帖数: 5958	1 MapReduce做到Yarn可以说是彻底放弃了MapReduce作为磁盘算法的本质。 MapReduce提高性能主要依靠两条： - 顺序读磁盘。这要求同时不能有>>1个线程读盘。 - 程序跟着数据走。等Yarn出来，彻底按内存调度，最近勉强可以加上CPU。但是磁盘这一条算是彻底废了。如果只跑MapReduce，还可以勉强用内存分配迂回设置同时跑得container数量。但一旦加上Spark这种巨费内存的，两者要共存就难了。这批烂人！
j********x 发帖数: 2330	2 我搞错什么了么 yarn不就是个job manager么跟spark有什么关系
j********x 发帖数: 2330	3 看了看没搞错啊 yarn就是个重构 Hadoop的框框还在只是把功能细分这跟内存不内存有毛关系？。。。
z****e 发帖数: 54598	4 wdong在写学习笔记然后出来喷一下，想看看自己的认知有没有问题

1

(共1页)

进入Programming版参与讨论

相关主题
● coltzhao的公司还在用mongo吗？	● docker的newbie 问题
● mapreduce, hadoop还能火几年？	● 如何从代码里向yarn动态提交一个spark job
● Intro to Hadoop and MapReduce @ ucadicy 有人学过么？ 199块 (转载)	● 如何提高Spark在Yarn上的内存使用率
● spark is slower than java Mapreduce --scala big bulls pls advise	● 通过日志分析yarn app实际内存用量
● Hadoop 和Python的数据分析包哪个更值得学习？	● 学生来请教问题，打印特定位置字符，读取硕大文件
● Hadoop运行时是不是用命令行执行的？Hadoop和Java有什么联系？	● 感觉flink出来之后，hadoop就显得不怎么再需要了
● 有谁玩过C* + Spark?	● 搞不懂为什么大牛说Hbase不如C*?
● 关于 SPARK, 问二爷peking2 和其他大牛一问题	● 怎样schedule spark application

相关话题的讨论汇总
话题: yarn话题: mapreduce话题: 磁盘话题: 内存话题: 根本就是

未名新帖统计// 7月16日

#	版面	帖数(主题数)
-	全站	4871 (796)
1	Military	3777 (569)
2	Stock	341 (51)
3	Joke	117 (17)
4	History	116 (3)
5	Automobile	100 (9)
6	USANews	55 (9)
7	Midlife	45 (1)
8	Headline	41 (41)
9	Dreamer	33 (13)
10	FleaMarket	32 (20)
11	Living	30 (7)

* 这里只显示发帖超过25的版面，努力灌水吧:-)