由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 问一个mapreduce题目
相关主题
关于mapreduce一问java的内存管理真是气死我了
Google的那个mapreduce的paper感觉基本是看过这类paper里最简单的了GPU高手谈谈怎么利用GPU做data intensive的计算和mapreduce 吧
是否值得把业务逻辑做到Hbase coprocessor里面?想画分布式系统架构图,类似Google的mapreduce系统,用什么软件比较好?
aws EMR能设置一个mapper吗?请教一个graph问题
问一道HIVE题 关于Efficiencybig data怎么搞定商业报表?
问个Hadoop Word Count的简单问题是我的错觉么?我觉得google的三架马车其实没啥东西
新版12306很像魏老师所说求建议:商业数据使用
在讨论12306前春运网站架构之争 MapReduce vs MPI
相关话题的讨论汇总
话题: mapreduce话题: 题目话题: 访问话题: url话题: ip
进入Programming版参与讨论
1 (共1页)
t**r
发帖数: 3428
1
给几个t的数据 都是 被访问url, 访问ip。
求结果是 某url: 每个 ip : 访问次数
用map reduce
求大神给说个思路或者简单代码。
多谢
n****j
发帖数: 1708
2
这种东西最好交给 DB,将来 log 增加不需要重新算。load 的时候最好切分一下,用
程序统计喂给 DB,免得中间断电找不着北了。
reduce 没啥花样,map 看你输出要求了,如果 js 我就放一个 obj, result[url][ip]
酱紫,看 ram 够不够了。

【在 t**r 的大作中提到】
: 给几个t的数据 都是 被访问url, 访问ip。
: 求结果是 某url: 每个 ip : 访问次数
: 用map reduce
: 求大神给说个思路或者简单代码。
: 多谢

1 (共1页)
进入Programming版参与讨论
相关主题
春运网站架构之争 MapReduce vs MPI问一道HIVE题 关于Efficiency
铁道部网上卖票系统现在运行如何?问个Hadoop Word Count的简单问题
大妈是推动技术发展的最大推动力新版12306很像魏老师所说
问一个关于C×和HBASE的性能比较问题在讨论12306前
关于mapreduce一问java的内存管理真是气死我了
Google的那个mapreduce的paper感觉基本是看过这类paper里最简单的了GPU高手谈谈怎么利用GPU做data intensive的计算和mapreduce 吧
是否值得把业务逻辑做到Hbase coprocessor里面?想画分布式系统架构图,类似Google的mapreduce系统,用什么软件比较好?
aws EMR能设置一个mapper吗?请教一个graph问题
相关话题的讨论汇总
话题: mapreduce话题: 题目话题: 访问话题: url话题: ip