m***r
发帖数: 359 | 1 大数据周报 2015-03-08
http://bd.memect.com/weekly/2015-03-08/
2015-03-08 星期日，完整版 22 条
Docker Resources All In One @爱可可-爱生活
通用操作系统的终结 @perldaily
一共55个，盘点最实用的大数据可视化分析工具 @网路冷眼
述说我的Hadoop成长路线 @36大数据网
健康大数据分析技术有哪些？ @36大数据网
2015-03-07 星期六，完整版 27 条
Explorable Explanations @爱可可-爱生活
Slider：在Yarn上部署Docker应用 @DockerOne
下一代互联汽车 @英特尔商用频道
可视化： 组合R和D3.js的力量 @网路冷眼
Data Stories，一个讲数据可视化的播客 @云非鹤
2015-03-06 星期五，完整版 46 条
MySQL和MongoDB设计实例对比 @IT技术博客大学习
Docker实战：更轻松、更愉快、更高效 @DockerOne
Hadoop不适合处理实时数据的原因剖析 @大数据资讯
大规模Docker... 阅读全帖 |
|
|
|
g********e
发帖数: 1142 | 4
怎么理解，mesos本来就是service 啊 |
|
a***n
发帖数: 538 | 5 也不一定吧，结合mesos也是可以的。aws和google云也都直接支持docker了。 |
|
a*****s
发帖数: 1121 | 6 资源调度这一块需要有一个吧，
资源调度角度讲，YARN是global scheduler，上千台的server可以总体调度；slider加
入以后，你可以在YARN上运行任何daemon，也就是说，你可以在一个datacenter运行你
想要的所有framework，资源调度由yarn来帮你总体处理。YARN现在也支持docker
container，加上label的功能，很容易实现multi－tenent，Altiscale这方面做的不错
，已经有上千个vm的production cluster用docker on yarn
mesos是分布式调度，比较小众，貌似只有twitter在用，俺们组的一个傻逼本科劳模天
天吹嘘
多好多好。
分布式文件系统需要有一个吧，HDFS时鼻祖，由很多变种，但是都支持HDFS的原生API。
大公司甚至国家之间，拼的是系统，上万台server的data center是需要经得起折腾的
系统，对于小公司，那就另说了。不见得需要这么robust的组件。 |
|
|
|
w***g
发帖数: 5958 | 9 确实是这样。spark程序可以用yarn或者mesos调度，也可以啥都不用裸跑。
spark本身是链接hadoop库的，但背后不一定需要读写dfs://...，可以读写
本地数据，C*或者s3啥的。但是高性能读写大量数据我觉得最好的还是dfs。
因为输入数据往往远大于输出数据，所以输入数据最好也存在dfs上。
最终计算的结果直接写入C*或者s3啥的，可以省掉来回倒腾。
我手里的生产系统用的是yarn调度，因为反正要用hadoop。不过机器比较少，
也没啥调度可言，基本上一个app跑上去内存就用满了，都是独占模式。
我没用hadoop/spark读过C*或者s3。我怀疑C*的读写性能会远差于HDFS。
希望用过的同学过来说说。（上面我有帖子说C*性能比HBase好，那个context
不一样，是说当数据库用的性能) |
|
S*******e
发帖数: 525 | 10 不用yarn/mesos, how can you run two or more jobs at the same time?
我有一个项目用standalone （over hdfs)，我把20个“jobs" 放在一个进程，不是很
好，但勉强能工作。 我另外一个ETL项目， 有260 jobs，无法这么做。 |
|
|
w**z
发帖数: 8232 | 12 参加人数是去年的3倍，记得两年前第一次去summit, 才几百人。可以说c*基本上成为
最流行的NoSQL.
C* 和 软软眉来眼去，估计aws 自己有dynamo,不太屌 C*.
big data, especially spark 继续火爆。
docker, mesos 等devop 吸引眼球。 |
|
b****u
发帖数: 1130 | 13 经常听人说分布式系统，但很多东西不明白。
公司里也用mesos，spark，marathon，etc。但个人觉得最大的瓶颈还是数据库。特别
是原有的数据有大量的更新，好像不太容易提高效率。否则那个12306火车网且不是很
容易就搞定啦？
想问问大家在公司里如何用建分布式系统，用哪些轮子。 |
|
S***s
发帖数: 104 | 14 Nice to see many chinese engineers in the team.
But it's a little surprising to see it doesn't support Mesos and Docker.
I thought Pinterest as a hot SV startup should be on the cutting edge.
Add oil!
Github |
|
|
|
|
|
t**r
发帖数: 3428 | 19 docker多少年了。其实也没解决实际问题。
mesos就那样吧。
无人车哪算it技术。 |
|
w**z
发帖数: 8232 | 20 公有云的普及使小公司创业成本大大降低。但都是应用层面的，没啥新东西，除了
mesos 有点含量。 |
|
t**r
发帖数: 3428 | 21 mesos主要是针对大树据计算吧。
其实并不general enough.
要说新东西，也没什么感觉，主要靠zookeeper撑着。 |
|
|
N*****m
发帖数: 42603 | 23 docker swarm现在不如k8s, mesos成熟 |
|
w**z
发帖数: 8232 | 24 docker 是 container, k8s 是 cluster manager. docker 有自带的 swarm。 还有
mesos 可以看看 |
|
|
d*******r
发帖数: 3299 | 26 感觉用 mesos 的人最多，已经是一整套方案了
swarm vs k8s 还在打架 |
|
N*****m
发帖数: 42603 | 27 这你搞错了，现在k8s最火，coreos都投靠了
mesos功能不如k8s，他们把好的东西都放到dc/os去卖钱了 |
|
d*******r
发帖数: 3299 | 28 mesos 小算盘这么多呀... 大牛你们 production 上了 k8s 么?
但是我记得 docker 跟 k8s 有撕逼的, docker 本来就想吃独食,
coreos 没办法, 去联合 k8s 也正常. |
|
w********m
发帖数: 1137 | 29 k8s的竞品现在不是mesos，docker swarm，应该是red hat的kvm。
比如楼主的想法，应该是自建云。 |
|
t*e
发帖数: 47 | 30 BD CBA
Luminex xMAP technology
eBioscience CytoMix
Meso Scale Discovery technology |
|
f*****g
发帖数: 237 | 31 【 以下文字转载自 NanoST 讨论区 】
发信人: freedog (POPPET), 信区: NanoST
标 题: 问一个单抗与颗粒连接的事情？谢谢
发信站: BBS 未名空间站 (Sun Jan 24 01:20:51 2010, 美东)
方法：
采用EDC(卜ethyl一3-[3-dimethylamin—
opropy1]carbodiimide hydrochloride)化学连接剂将单克隆抗体与DMSA[meso。2，3-
dimercaptosuccinic acid(HOOCCH(SH)一
CH(SH)一COOH)]修饰的USPIO相结合，形成具有免疫活性的分子探针。
求教： 如何检测抗体已经连到这个颗粒上了？
以及怎么算反应效率？
谢谢大家 |
|
h****a
发帖数: 580 | 32 Title: H-1-NMR SPECTRA AND CONFORMATIONS OF PROPANE-1,2-DIOL, MESO-RACEMIC
AND RACEMIC BUTANE-2,3-DIOLS, AND SOME ALDITOLS IN NONAQUEOUS MEDIA
Author(s): GALLWEY FB; HAWKES JE; HAYCOCK P; et al.
Source: JOURNAL OF THE CHEMICAL SOCIETY-PERKIN TRANSACTIONS 2 Issue: 11
Pages: 1979-1985 DOI: 10.1039/p29900001979 Published: NOV 1990
请发到 i*************[email protected]
Thanks. |
|
y******3
发帖数: 311 | 33 帮朋友找的，两个职位，都在加州Santa Clara。前一个职位要求高一些，第二个职位
有相关工作经验就行 W2 $170-180k per year and no relocation package，long
term contract
job description:
Cloud Architect
Exp with developing, building and operating sophisticated and highly
automated Cloud infrastructure (AWS, Docker, Openstack, VMWare, or Rackspace
) a must.
·Prior success in automating a real-world production environment a must.
·Familiarity with AWS CloudFormation, Opswork, Elastic Beanstalk, Code
Deploy/, Pipeline/Commit, Openstack Heat, Clo... 阅读全帖 |
|
c*s
发帖数: 2145 | 34 yes, but not necessarily nano, it could be meso, hoho
boooooooooooooooooooooooooooooooooooooo |
|
k*****a
发帖数: 1518 | 35 fracture is good, microscopic (meso) fracture is bad. |
|
S*****n
发帖数: 6055 | 36 还是应该按领域来
比如
nanoparticle
nanowire/nanoribbon
CNT and NT related
2-D and 3-D nanostructures
micro- and meso-porous materials
MEMS/BioMEMS/NEMS related
nanoelectronic/nanophotonics
nanobiotechnology
etc
etc |
|
d*********g
发帖数: 49 | 37 hehe
many ids are doing meso here... |
|
|
f*****g
发帖数: 237 | 39 方法：
采用EDC(卜ethyl一3-[3-dimethylamin—
opropy1]carbodiimide hydrochloride)化学连接剂将单克隆抗体与DMSA[meso。2，3-
dimercaptosuccinic acid(HOOCCH(SH)一
CH(SH)一COOH)]修饰的USPIO相结合，形成具有免疫活性的分子探针。
求教： 如何检测抗体已经连到这个颗粒上了？
以及怎么算反应效率？
谢谢大家 |
|
t******y
发帖数: 58 | 40 大家注意了，什么nano bio 都过时了，现在DOE要砸钱的是meso哈。 |
|
C********n
发帖数: 6682 | 41
你以为海森堡就只有不确定原理了？
ft
自己好好看看吧
Werner Heisenberg was born on 5th December, 1901, at Würzburg. He was
the son of Dr. August Heisenberg and his wife Annie Wecklein. His father
later became Professor of the Middle and Modern Greek languages in
the University of Munich. It was probably due to his influence that
Heisenberg remarked, when the Japanese physicist Yukawa discovered the
particle now known as the meson and the term "mesotron" was proposed for
it, that the Greek word "mesos" has no "tr" in it |
|
n*********e
发帖数: 318 | 42 http://techcrunch.com/2016/03/02/are-site-reliability-engineers
这已经不是什么秘密，“数据科学家”是最热门的职称会之一。 DJ·帕蒂尔著名宣布
的数据科学家“ 21世纪最sexy的工作在继续加入白宫的” 第一首席数据科学家 ，美
国一旦处于少数领先的互联网公司，如LinkedIn和PayPal内部角色，数据科学至今成长
为一个全球性的现象，在许多行业影响各种规模的组织。
最近，巴齐新的职位已经从同一集团的公司出现了：该网站可靠性工程师，或SRE的。
事件将按照快速增长的数据科学家在他们面前相同的路？ 在我们深入这个问题
，让我们考虑已导致建立网站可靠性工程的背景。
新的IT架构
在过去的15年中，最大的互联网性质已经悄然引领IT技术的一次革命。 原因很简单：
传统的企业数据中心的技术根本就不能有效地扩展到了需要运行像谷歌或Facebook全球
服务水平。 相反，这些公司不得不在技术堆栈的所有层，以创新，从硬件到网络应用
程序。
在许多情况下，所产生的积木已经发布为开源软件包，或有启发第三方创建他们自己的
版本。 现在，企业... 阅读全帖 |
|
m*********k
发帖数: 10521 | 43 [Beijing] Seabiscuit08 Dec 24 ● 散尽包子 + 请教杜丝和小女子
15*62*1.1=1023
成功奖励 10 伪币的用户: aniee, aOzu, ariesbeida, ashima, baozi09, bigbaozi, centaur, clavichord, coolhunter, DabaoSODBoy, dcw, Discovery, dongchengqu, Drake, drew, enantiomers, FRJJ2009, geon, guaiguaicong, haiduc, happydoudou, icbchsbc, isisl414, jjneimei, Kakaa, kicolly, largewolf, LingLingCool, lingyunxie, Logan601, LuckygirlIam, makejian, ManCity, maoyi, Maxstudio, Mercedes, meso, Mobot, mochamocha, nash1031, normanwu, oriclech |
|
S**********8
发帖数: 30 | 44 Thanks a lot!
Happy New Year~
, centaur, clavichord, coolhunter, DabaoSODBoy, dcw, Discovery, dongchengqu,
Drake, drew, enantiomers, FRJJ2009, geon, guaiguaicong, haiduc, happydoudou
, icbchsbc, isisl414, jjneimei, Kakaa, kicolly, largewolf, LingLingCool,
lingyunxie, Logan601, LuckygirlIam, makejian, ManCity, maoyi, Maxstudio,
Mercedes, meso, Mobot, mochamocha, nash1031, normanwu, oriclechao, paotangde
, pyruvate, Reduce, reshaping, scoreboard, shopper2: , steve, superbao,
tianyumi, Tody, Tomos |
|
b*****o
发帖数: 715 | 45 我想可以分两类，一类是heavy-weight需要有infrastructure支持的，一类是light-
weight自己laptop上就能跑的。
heavy-weight: hadoop，mahout, hbase, hive, storm, impala, mesos, ...
light-weight: R, weka, d3, webGL, nltk, ...
我其实只对light-weight感兴趣，希望有大牛能发言。 |
|
|
|
m***r
发帖数: 359 | 48 机器学习日报的姐妹版“大数据日报”上线了！
http://bd.memect.com/
内容的板块，大体分为分析（如机器学习，数据科学，数据挖掘，商业智能）、应用（
如地理，医疗，农业，金融等）、计算框架（如Hadoop，Spark等）、 虚拟化（如
Docker，Mesos等）、云服务（各种PaaS, IaaS, SaaS）、存储和数据库（如NoSQL，关
系数据库，文本检索，高可靠存储）等几大块。 也有一些会议活动、行业动态、资源
等。
最近几天的话题
2015-01-26 (加长版 49条)
百度沈志勇：大数据条件下的预测
Spark奠基论文4万字全部翻译完成
“大数据”是“大趋势”吗：基于关键词共现方法的反事实分析
大众点评的从KVM到Docker的经验分享
数据可视化书籍《 Data+Design》中文翻译
2015-01-25 (加长版 30条)
深入浅出Swarm，Docker集群的管理工具 |
MongoDB读写分离的适用性
TalkingData解读14年国内移动互联网
数据科学概念结构可视化
微软发布Orleans分布式高伸缩性计算应用框架
2015-01-24... 阅读全帖 |
|
|
m***r
发帖数: 359 | 50 机器学习日报的姐妹版“大数据日报”上线了！
http://bd.memect.com/
内容的板块，大体分为分析（如机器学习，数据科学，数据挖掘，商业智能）、应用（
如地理，医疗，农业，金融等）、计算框架（如Hadoop，Spark等）、 虚拟化（如
Docker，Mesos等）、云服务（各种PaaS, IaaS, SaaS）、存储和数据库（如NoSQL，关
系数据库，文本检索，高可靠存储）等几大块。 也有一些会议活动、行业动态、资源
等。
最近几天的话题
2015-01-26 (加长版 49条)
百度沈志勇：大数据条件下的预测
Spark奠基论文4万字全部翻译完成
“大数据”是“大趋势”吗：基于关键词共现方法的反事实分析
大众点评的从KVM到Docker的经验分享
数据可视化书籍《 Data+Design》中文翻译
2015-01-25 (加长版 30条)
深入浅出Swarm，Docker集群的管理工具 |
MongoDB读写分离的适用性
TalkingData解读14年国内移动互联网
数据科学概念结构可视化
微软发布Orleans分布式高伸缩性计算应用框架
2015-01-24... 阅读全帖 |
|
