J****R
发帖数: 373 | 1 spark cache rdd in memory， 这个和我写个scala或者java程序，开个array，把数据
存进数组有区别吗？这不都是在memory 里面访问吗？
为毛spark一提到能cache rdd， 仿佛就很高大上的样子。。。。。。 |
p*****2
发帖数: 21240 | 2
rdd什么意思？
【在 J****R 的大作中提到】
: spark cache rdd in memory， 这个和我写个scala或者java程序，开个array，把数据
: 存进数组有区别吗？这不都是在memory 里面访问吗？
: 为毛spark一提到能cache rdd， 仿佛就很高大上的样子。。。。。。
|
g*********e
发帖数: 14401 | 3 你java vm heap size 有限 scala的cache应该是offheap 直接按照bytebuffer存的
另外它能handle内存不足swap到硬盘上的情况
【在 J****R 的大作中提到】
: spark cache rdd in memory， 这个和我写个scala或者java程序，开个array，把数据
: 存进数组有区别吗？这不都是在memory 里面访问吗？
: 为毛spark一提到能cache rdd， 仿佛就很高大上的样子。。。。。。
|
g*********e
发帖数: 14401 | 4 residual directed diagram
【在 p*****2 的大作中提到】
:
: rdd什么意思？
|
e***i
发帖数: 231 | 5 呵呵
A Resilient Distributed Dataset (RDD), the basic abstraction in Spark.
【在 g*********e 的大作中提到】
: residual directed diagram
|
p*****2
发帖数: 21240 | 6
所以说Resilient Distributed这两个keyword自己写个程序就那么容易实现吗？
【在 e***i 的大作中提到】
: 呵呵
: A Resilient Distributed Dataset (RDD), the basic abstraction in Spark.
|
J****R
发帖数: 373 | 7 是这么回事。仔细想想要自己管理这些东西还真不是一般的麻烦。
【在 p*****2 的大作中提到】
:
: 所以说Resilient Distributed这两个keyword自己写个程序就那么容易实现吗？
|
g*********e
发帖数: 14401 | 8
...
记错了
【在 e***i 的大作中提到】
: 呵呵
: A Resilient Distributed Dataset (RDD), the basic abstraction in Spark.
|
