如何提高Spark在Yarn上的内存使用率 - DataSciences版

本页内容为未名空间相应帖子的节选和存档，一周内的贴子最多显示50字，超过一周显示500字访问原贴

DataSciences版 - 如何提高Spark在Yarn上的内存使用率

相关主题
● Hadoop Spark 学习小结[2014版] (转载)	● 都用了spark了吗？
● Hadoop Spark 学习小结[2014版] (转载)	● 跳过hadoop直接学spark可行么？
● big data software engineer或者data scientist 工作机会推荐 (转载)	● DS面试的重点是算法，还是ML和Stat的模型，还是Hadoop?
● 大数据日报 2015年3月楼	● hadoop admin
● 做个调查了解一下，有公司用HP Vertica 和 Hana 这些 data base的么？	● 大数据这个东西，如果用hive，岂不是跟SQL差不多了
● 有没有谁自己买服务器组建几个clusters跑hadoop大数据的？	● 小白弱问，并行和分布计算区别，gpu和spark区别？
● 通过日志分析yarn app实际内存用量	● 单机学习spark/hadoop的方案？ (转载)
● 诚心请教Spark EMR配置	● 讨论，（Big）Data Engineer到底是个什么职位

相关话题的讨论汇总
话题: yarn话题: spark话题: 如何

进入DataSciences版参与讨论

(共1页)

w***g
发帖数: 5958

这篇博文分析了spark-env.sh中配置的可用内存如何最终出现在Yarn上，以及如何最终
决定可用cache的大小。一般用Hadoop的也会用Yarn，但是文中对Spark部分的分析对
Mesos也有效。
http://www.wdong.org/wordpress/blog/2015/01/08/spark-on-yarn-wh

(共1页)

进入DataSciences版参与讨论

相关主题
● 讨论，（Big）Data Engineer到底是个什么职位	● 做个调查了解一下，有公司用HP Vertica 和 Hana 这些 data base的么？
● 请推荐好的hadoop/spark 的课程	● 有没有谁自己买服务器组建几个clusters跑hadoop大数据的？
● 【内部推荐工作】	● 通过日志分析yarn app实际内存用量
● 大数据日报上线了！	● 诚心请教Spark EMR配置
● Hadoop Spark 学习小结[2014版] (转载)	● 都用了spark了吗？
● Hadoop Spark 学习小结[2014版] (转载)	● 跳过hadoop直接学spark可行么？
● big data software engineer或者data scientist 工作机会推荐 (转载)	● DS面试的重点是算法，还是ML和Stat的模型，还是Hadoop?
● 大数据日报 2015年3月楼	● hadoop admin

相关话题的讨论汇总
话题: yarn话题: spark话题: 如何

#	版面	帖数(主题数)
-	全站	4871 (796)
1	Military	3777 (569)
2	Stock	341 (51)
3	Joke	117 (17)
4	History	116 (3)
5	Automobile	100 (9)
6	USANews	55 (9)
7	Midlife	45 (1)
8	Headline	41 (41)
9	Dreamer	33 (13)
10	FleaMarket	32 (20)
11	Living	30 (7)

boards

未名新帖统计// 7月16日

历史上的今天