c*******a
发帖数: 1879 | 1 【 以下文字转载自 Military 讨论区 】
发信人: gc01 (gc01), 信区: Military
标 题: 蚂蚁金服自主研发数据库OceanBase每秒处理4200万次请求zt
发信站: BBS 未名空间站 (Sat Nov 10 20:20:24 2018, 美东)
26分03秒突破500亿 蚂蚁金服每秒处理4200万次请求
2018-11-11 01:04:00 来源: 21世纪经济报道(广州) 举报
1
易信
微信
QQ空间
微博
更多
（原标题：26分03秒突破500亿的背后 蚂蚁金服每秒处理4200万次请求）
今年的支付峰值，在刚开场5分钟22秒已诞生。
26分03秒，天猫双十一销售额突破500亿，同样的销售额，去年天猫花了近一倍的时间
。这就意味着后台数据库的处理能力也提升了超过一倍。
2017年11月12日0点，2017天猫双11全球狂欢节的成交额在数据大屏定格：1682亿元，
全球消费者通过支付宝完成的支付总笔数达到14.8亿笔，比去年增长41％。相当于在双
11这一天，平均每个中国人在支付宝上完成超过1笔支付。
去年刷新纪录的支付峰值，在刚开场5分钟22秒就已诞生。25.6万笔／秒，是去年的2.1
倍。同时诞生的还有数据库处理峰值：4200万次／秒。这个数字意味着，在支付峰值产
生的那一秒里，蚂蚁金服自主研发的数据库OceanBase平稳处理了4200万次请求数。
今年的双11不仅创下了很多支付纪录，网友却普遍反馈支付很顺畅，即便是在前10分钟
，也基本没有网络拥堵和卡壳现象。据悉，蚂蚁金服的智能客服、智能风控等技术在双
11这天发挥了重要作用。
另一方面，支付宝的指纹识别和刷脸支付也成为今年双11的主流。统计显示，输入6位
密码平均需要3秒，而指纹支付只需要1秒，极大地缩短了支付时间。在双11期间，能通
过风险感知模块检测黑产攻击，风控引擎自动更新风险模型，大幅提升风险拦截效率。
蚂蚁金服为双十一既带来了技术支持的同时，也带来了金融普惠。在双11媒体中心现场
，蚂蚁金服CEO井贤栋展示了一封来自沂蒙山区商家赵永的感谢信。网商银行风控技术
和大数据计算能力让赵永拥有了信用画像，一次次贷款支撑了他的创业。今年天猫双11
期间通过贷款备货，他一天就卖了70万枚鸭蛋。
数据显示，今年天猫双11前夕，超过160万淘宝和天猫商家从网商银行获得了超过1000
亿贷款，解决自己的备货资金。相比去年双11，贷款的商家数量上升20％，但贷款的额
度翻了一番。另据了解，在贷款和保险服务方面，网商银行及前身蚂蚁小贷已累计为超
过1100万家小微经营者，提供达2万亿的贷款支持，为460万农村小微经营者提供了4100
亿元的贷款支持。
“天猫双11是科技创新最好的阅兵场”，井贤栋表示，在这场全社会大协同中，线上和
线下，电商平台、新金融服务机构、商家、物流、消费者，整个生态链条都被强大的科
技创新力量所驱动所串联，成为供给侧改革的重要力量。 |
h**c
发帖数: 1979 | |
s*i
发帖数: 5025 | 3 很惊人！跟铁路卖票比，这些数据耦合性不强那么horizontal scale起来容易的多？ |
e***a
发帖数: 1661 | 4 Why can Oracle and Sybase not create such a database? |
s*********y
发帖数: 6151 | 5 这东西都是首先要有需求
就像mapreduce bigtable 不是搜索引擎其他公司蛋疼了去搞这玩意？
没有双11就不会有OceanBase 不奇怪
【在 e***a 的大作中提到】
: Why can Oracle and Sybase not create such a database?
|
d****r
发帖数: 300 | 6 正解。围绕自己的商业模式设计的，不是通用的。取舍角度都不一样。
【在 s*********y 的大作中提到】
: 这东西都是首先要有需求
: 就像mapreduce bigtable 不是搜索引擎其他公司蛋疼了去搞这玩意？
: 没有双11就不会有OceanBase 不奇怪
|
w***g
发帖数: 5958 | 7 眼看着马上sigmod vldb的best paper全都往中国去了。老美又要眼红了。
【在 s*********y 的大作中提到】
: 这东西都是首先要有需求
: 就像mapreduce bigtable 不是搜索引擎其他公司蛋疼了去搞这玩意？
: 没有双11就不会有OceanBase 不奇怪
|
h**********c
发帖数: 4120 | 8 我承认吃不着说酸，
传统企业一天提心吊胆税务局查帐，这种所谓每秒几千万次，税务局怎么查，第三方的
会计怎样审计。
就是质疑一下。 |
s*********y
发帖数: 6151 | 9 很多年前cs ee的paper看名字就很多中国人了， 现在逐渐掌握平台和话语权了
: 眼看着马上sigmod vldb的best paper全都往中国去了。老美又要眼红了。
【在 w***g 的大作中提到】
: 眼看着马上sigmod vldb的best paper全都往中国去了。老美又要眼红了。
|
c******n
发帖数: 16666 | 10 阿里这一系好东西不少 而且开源什么做的也都挺好 |
|
|
g****t
发帖数: 31659 | 11 现在最牛X的是今日头条。第一个AI走向世界的公司可能就是它了。靠系统赚钱的很多。
真正用算法赚钱的其实没几家。也没几个人做到过。我微信贴了儿子头像，潜伏在国内
年轻人群里面很久了,学艺 LoL
【在 c******n 的大作中提到】
: 阿里这一系好东西不少 而且开源什么做的也都挺好
|
s*********y
发帖数: 6151 | 12 不了解今日头条 但难道不是抄google news？
: 现在最牛X的是今日头条。第一个AI走向世界的公司可能就是它了。靠系统赚钱
的很多。
: 真正用算法赚钱的其实没几家。也没几个人做到过。我微信贴了儿子头像，潜伏
在国内
: 年轻人群里面很久了,学艺 LoL
【在 g****t 的大作中提到】
: 现在最牛X的是今日头条。第一个AI走向世界的公司可能就是它了。靠系统赚钱的很多。
: 真正用算法赚钱的其实没几家。也没几个人做到过。我微信贴了儿子头像，潜伏在国内
: 年轻人群里面很久了,学艺 LoL
|
c******n
发帖数: 16666 | 13 我也没关注 是不是那个自动生成新闻那个？还是用户匹配好的那个？
求解惑
【在 s*********y 的大作中提到】
: 不了解今日头条 但难道不是抄google news？
:
:
: 现在最牛X的是今日头条。第一个AI走向世界的公司可能就是它了。靠系统赚钱
: 的很多。
:
: 真正用算法赚钱的其实没几家。也没几个人做到过。我微信贴了儿子头像，潜伏
: 在国内
:
: 年轻人群里面很久了,学艺 LoL
:
|
g****t
发帖数: 31659 | 14 浠婃棩澶存潯鍜屾姈闊虫槸涓釜鍏徃銆傜幇鍦ㄥ彨鍋氬瓧鑺傝烦鍔ㄣ
銆鍦chunjuan(馃憤鏄ュ嵎馃惐鏇村鏄ュ嵎馃憤) 鐨勫ぇ浣滀腑鎻愬埌: 銆br />
>: 鎴戜篃娌″叧娉鏄笉鏄偅涓嚜鍔ㄧ敓鎴愭柊闂婚偅涓紵杩樻槸鐢ㄦ埛鍖
归厤濂界殑閭ｄ釜锛br />
: 姹傝В鎯br />
|
c******n
发帖数: 16666 | 15 哦~！
腑鎻愬埌: 銆�
鐢ㄦ埛鍖
【在 g****t 的大作中提到】
: 浠婃棩澶存潯鍜屾姈闊虫槸涓釜鍏徃銆傜幇鍦ㄥ彨鍋氬瓧鑺傝烦鍔ㄣ
: 銆鍦chunjuan(馃憤鏄ュ嵎馃惐鏇村鏄ュ嵎馃憤) 鐨勫ぇ浣滀腑鎻愬埌: 銆br />
: : >: 鎴戜篃娌″叧娉鏄笉鏄偅涓嚜鍔ㄧ敓鎴愭柊闂婚偅涓紵杩樻槸鐢ㄦ埛鍖
: 归厤濂界殑閭ｄ釜锛br />
:
: 姹傝В鎯br />
:
|
c******n
发帖数: 16666 | 16 作者：正祥
链接：https://www.zhihu.com/question/19841579/answer/131853733
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
即整个数据库以硬盘（通常是SSD）为载体，新近的增、删、改数据（“修改增量”）
在内存，而基线数据在保存在硬盘上，因此OceanBase可以看成一个准内存数据库。这
样的好处是：·写事务在内存（除事务日志必须落盘外），性能大大提升·没有随机写
硬盘，硬盘随机读不受干扰，高峰期系统性能提升明显；对于传统数据库，业务高峰期
通常也是大量随机写盘（刷脏页）的高峰期，大量随机写盘消耗了大量的IO，特别是考
虑到SSD的写入放大，对于读写性能都有较大的影响·基线数据只读，缓存（cache）简
单且效果提升·线上OceanBase的内存配置是支撑平常两天的修改增量（从OceanBase 1
.0开始，每台OceanBase都可以写入，都承载着部分的修改增量），因此即使突发大流
量为平日的10-20倍，也可支撑1~2个小时以上。
一个问题是：修改增量在内存，大概需要多大的内存？即使按双11全天的支付笔数10.5
亿笔，假设每笔1KB，总共需要的内存大约是1TB，平均到10台服务器，100GB/台。另一
个问题是：在类似双十一这种流量特别大的场景中，就像前面说到的，OceanBase内存
能够支持峰值业务写入1~2个小时以上，之后OceanBase必须把内存中的增删改数据（“
修改增量”）尽快整合到硬盘并释放内存，以便业务的持续写入。整合内存中的修改增
量到硬盘，OceanBase称为每日合并，必然涉及到大量的硬盘读写（IO），因此可能对
业务的吞吐量和事务响应时间（RT）产生影响。如何避免每日合并对业务的影响呢？
OceanBase通过“轮转合并”解决了这个问题。
===================================================================
确实如上面5 6楼2位说的
这玩意真是被需求逼出来的 一般公司日常流量估计也用不上这个 |
v***e
发帖数: 2108 | 17 一个in memory db/cache，靠堆内存来达到扩展性
42M是多机内存访问总和，这种东西和传统ACID
数据库完全不是一个东西，怎么能相提并论？
市面上这么多in-memory db，那个能claim自己超越了所
有Oracle DB/MySQL/MSSQL/DB2么？
【在 c******n 的大作中提到】
: 作者：正祥
: 链接：https://www.zhihu.com/question/19841579/answer/131853733
: 来源：知乎
: 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
: 即整个数据库以硬盘（通常是SSD）为载体，新近的增、删、改数据（“修改增量”）
: 在内存，而基线数据在保存在硬盘上，因此OceanBase可以看成一个准内存数据库。这
: 样的好处是：·写事务在内存（除事务日志必须落盘外），性能大大提升·没有随机写
: 硬盘，硬盘随机读不受干扰，高峰期系统性能提升明显；对于传统数据库，业务高峰期
: 通常也是大量随机写盘（刷脏页）的高峰期，大量随机写盘消耗了大量的IO，特别是考
: 虑到SSD的写入放大，对于读写性能都有较大的影响·基线数据只读，缓存（cache）简
|
l******n
发帖数: 9344 | 18 怪说不得内存涨价这么厉害 ...
【在 c******n 的大作中提到】
: 作者：正祥
: 链接：https://www.zhihu.com/question/19841579/answer/131853733
: 来源：知乎
: 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
: 即整个数据库以硬盘（通常是SSD）为载体，新近的增、删、改数据（“修改增量”）
: 在内存，而基线数据在保存在硬盘上，因此OceanBase可以看成一个准内存数据库。这
: 样的好处是：·写事务在内存（除事务日志必须落盘外），性能大大提升·没有随机写
: 硬盘，硬盘随机读不受干扰，高峰期系统性能提升明显；对于传统数据库，业务高峰期
: 通常也是大量随机写盘（刷脏页）的高峰期，大量随机写盘消耗了大量的IO，特别是考
: 虑到SSD的写入放大，对于读写性能都有较大的影响·基线数据只读，缓存（cache）简
|
s********k
发帖数: 6180 | 19 今日头条最牛逼的是找了一堆machine learning，deep learning的PHD用CNN算法给美
女抖音美颜然后用DNN算CTR怎么提高，很接地气很赚钱
多。
【在 g****t 的大作中提到】
: 现在最牛X的是今日头条。第一个AI走向世界的公司可能就是它了。靠系统赚钱的很多。
: 真正用算法赚钱的其实没几家。也没几个人做到过。我微信贴了儿子头像，潜伏在国内
: 年轻人群里面很久了,学艺 LoL
|
