由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 求推荐一个真心交流技术的地方
相关主题
10G网络到了求救网络大牛们,如何处理tcp短连接
10M persistent TCP connections腾讯开源tcp ip stack, f-stack。有用过的么?
C10M除了socket以外,还牵涉其他方面的技巧[bssd] Go 的大并发处理网络碰到两个个问题
开始折腾DPDK+mTCP求教 网络大侠, 如何提高网卡吞吐量
编程版目睹之怪现象。废话少说,单机500万次每秒
说说我以前做的ultra low latency架构吧goodbug做C10M?
我的实测结果,纯计算每秒50M次interlocked.incrementC10M 练习2: 空TCP 连接,1M per 4G RAM
现在哪个DPDK的TCP/IP Stack比较好?各位所在公司的code review烦人不?
相关话题的讨论汇总
话题: fpga话题: tcp话题: latency话题: c10m话题: pcie
进入Programming版参与讨论
1 (共1页)
a********5
发帖数: 1631
1
RT。
h*****a
发帖数: 1718
2
看你想交流什么技术啊。术业有专攻,不同门派的又互相看不上,不好搞啊。呵呵。

【在 a********5 的大作中提到】
: RT。
a********5
发帖数: 1631
3
GENERAL一点的,这样可以看看自己没用过也不懂的东西。
各个讨论组,来来回回都是那么些东西

【在 h*****a 的大作中提到】
: 看你想交流什么技术啊。术业有专攻,不同门派的又互相看不上,不好搞啊。呵呵。
h*****a
发帖数: 1718
4
讨论的地方我也不知道。一般来说看看公司和牛人的tech blogs,找到关键字自己
钻研大部分也就够用了吧。在这里还是灌水居多,主要是有共同语言的就少,能有
时间和热情在工作之外搞和工作不相关技术的就更少。

【在 a********5 的大作中提到】
: GENERAL一点的,这样可以看看自己没用过也不懂的东西。
: 各个讨论组,来来回回都是那么些东西

d******e
发帖数: 2265
5
技术是术。
其实没什么可以交流的。
这个世界随大流的居多。
真正的提高,你需要自己思考,为什么要这么做,这么做有什么利弊。
然后你就会知道这个世界大多数东西换一个角度看都是放屁。
所以王垠的博客还是有点思想的,不过他由被大家骂.......

【在 a********5 的大作中提到】
: GENERAL一点的,这样可以看看自己没用过也不懂的东西。
: 各个讨论组,来来回回都是那么些东西

w***g
发帖数: 5958
6
你说得对。确实没什么可交流的。
不过看看大家再用啥轮子,自己再回去琢磨琢磨,还是有点用的。
我老是幻想能纠集几个人一起琢磨一个东西玩,就像玩音箱玩钓鱼那样。
不过确实也纠集不起来。
这两天我在玩DPDK和user space TCP stack,发现也就和老魏还能
稍微交流一下。帖子发到版上,基本没人care。

【在 d******e 的大作中提到】
: 技术是术。
: 其实没什么可以交流的。
: 这个世界随大流的居多。
: 真正的提高,你需要自己思考,为什么要这么做,这么做有什么利弊。
: 然后你就会知道这个世界大多数东西换一个角度看都是放屁。
: 所以王垠的博客还是有点思想的,不过他由被大家骂.......

b*******s
发帖数: 5216
7
user space tcp stack现在快的都带fpga实现的stack
软件部分尽量少做事情,否则round trip也得十几个micro

【在 w***g 的大作中提到】
: 你说得对。确实没什么可交流的。
: 不过看看大家再用啥轮子,自己再回去琢磨琢磨,还是有点用的。
: 我老是幻想能纠集几个人一起琢磨一个东西玩,就像玩音箱玩钓鱼那样。
: 不过确实也纠集不起来。
: 这两天我在玩DPDK和user space TCP stack,发现也就和老魏还能
: 稍微交流一下。帖子发到版上,基本没人care。

w***g
发帖数: 5958
8
看在你那个"都"字的份上,请介绍下FPGA做网络有那些产品。
多谢!

【在 b*******s 的大作中提到】
: user space tcp stack现在快的都带fpga实现的stack
: 软件部分尽量少做事情,否则round trip也得十几个micro

b******y
发帖数: 9224
9
我有个微信群,程序员前端、后台等,聊聊编程和做项目的。感兴趣可以站内来信联系
b*******s
发帖数: 5216
10
很多啊,你的solarflare卡就在卡上实现了tcp栈
又比如野村证券他们好像从哪里买的

【在 w***g 的大作中提到】
: 看在你那个"都"字的份上,请介绍下FPGA做网络有那些产品。
: 多谢!

相关主题
说说我以前做的ultra low latency架构吧求救网络大牛们,如何处理tcp短连接
我的实测结果,纯计算每秒50M次interlocked.increment腾讯开源tcp ip stack, f-stack。有用过的么?
现在哪个DPDK的TCP/IP Stack比较好?[bssd] Go 的大并发处理网络碰到两个个问题
进入Programming版参与讨论
b*******s
发帖数: 5216
11
快的自己做的居多,我们以前的老方案是openonload 加卡,不快,现在自己做,快四倍

【在 w***g 的大作中提到】
: 看在你那个"都"字的份上,请介绍下FPGA做网络有那些产品。
: 多谢!

w***g
发帖数: 5958
12
自己做用谁家的板?啥IDE? 我也就冲着你那个都字,看大牛你知道一些行情。
请给我们科普科普各家的平台有啥优劣。带PCI-e的FPGA卡网上能查处来好几个
公司,哪家的靠谱点?不行给几个链接也好。
多谢多谢!

四倍

【在 b*******s 的大作中提到】
: 快的自己做的居多,我们以前的老方案是openonload 加卡,不快,现在自己做,快四倍
b*******s
发帖数: 5216
13
我们可能是altera的板子
以前我们还用fpga实现策略,现在退缩到只做tcp栈了

【在 w***g 的大作中提到】
: 自己做用谁家的板?啥IDE? 我也就冲着你那个都字,看大牛你知道一些行情。
: 请给我们科普科普各家的平台有啥优劣。带PCI-e的FPGA卡网上能查处来好几个
: 公司,哪家的靠谱点?不行给几个链接也好。
: 多谢多谢!
:
: 四倍

b*******s
发帖数: 5216
14
看了一下mtcp,因为没有硬件支持,他们网站上那个benchmark比openonload的平均水平差

【在 w***g 的大作中提到】
: 自己做用谁家的板?啥IDE? 我也就冲着你那个都字,看大牛你知道一些行情。
: 请给我们科普科普各家的平台有啥优劣。带PCI-e的FPGA卡网上能查处来好几个
: 公司,哪家的靠谱点?不行给几个链接也好。
: 多谢多谢!
:
: 四倍

b*******s
发帖数: 5216
15
Openonload的测法一般是rtt,不只是发送速度,而且是各种包尺寸都测的
g****u
发帖数: 252
16
openonload虽然开源,但是只支持他们自己的硬件,那个硬件又卖得巨贵。我玩不起。

【在 b*******s 的大作中提到】
: Openonload的测法一般是rtt,不只是发送速度,而且是各种包尺寸都测的
w***g
发帖数: 5958
17
有一个叫seastar的框架,有自己的TCP实现。他们用这个平台已经做出来一个C++版本的
C*。这个比mTCP要靠谱得多。
不过TCP这个协议本身就不适应高速网络。HFT可能协议没法选。大数据处理的话我觉得
未来是infiniband。

平差

【在 b*******s 的大作中提到】
: 看了一下mtcp,因为没有硬件支持,他们网站上那个benchmark比openonload的平均水平差
b*******s
发帖数: 5216
18
自己做显然是更贵的选择了,他们很多卡也就一两千,这种冷门需求从来是不便宜的

【在 g****u 的大作中提到】
: openonload虽然开源,但是只支持他们自己的硬件,那个硬件又卖得巨贵。我玩不起。
b*******s
发帖数: 5216
19
我看一看,多谢这个信息

本的

【在 w***g 的大作中提到】
: 有一个叫seastar的框架,有自己的TCP实现。他们用这个平台已经做出来一个C++版本的
: C*。这个比mTCP要靠谱得多。
: 不过TCP这个协议本身就不适应高速网络。HFT可能协议没法选。大数据处理的话我觉得
: 未来是infiniband。
:
: 平差

T********i
发帖数: 2416
20
其实FPGA latency也降低不了多少。除非把业务逻辑也做进去。否则PCI-E latency占
大头。
Solarflare卖价比Intel 10G高很多,也是因为latency好。这个ultra low latency,
迄今为止,除了trading上比较广泛的应用,我还没看到其他领域有强劲的需求。
DPDK其实throughput并不差。user space号称每秒上亿packets。我看了seastar的代码
,虽然我不认同他们的过度C++化,但是我认为他们主要方向和思路都是对的。前途无
量。
相关主题
求教 网络大侠, 如何提高网卡吞吐量C10M 练习2: 空TCP 连接,1M per 4G RAM
废话少说,单机500万次每秒各位所在公司的code review烦人不?
goodbug做C10M?在一个技术版面骂脏话、搞人身攻击,这都是垃圾的行为
进入Programming版参与讨论
b*******s
发帖数: 5216
21
afaik, fpga can at least double the speed in comparison with software only
user space solutions
yes, PCIe is a bottleneck.
The strength of FPGA solution is you can do some session level optimization
for your business case.
it is hard to put strategies in because flexibility is important

【在 T********i 的大作中提到】
: 其实FPGA latency也降低不了多少。除非把业务逻辑也做进去。否则PCI-E latency占
: 大头。
: Solarflare卖价比Intel 10G高很多,也是因为latency好。这个ultra low latency,
: 迄今为止,除了trading上比较广泛的应用,我还没看到其他领域有强劲的需求。
: DPDK其实throughput并不差。user space号称每秒上亿packets。我看了seastar的代码
: ,虽然我不认同他们的过度C++化,但是我认为他们主要方向和思路都是对的。前途无
: 量。

T********i
发帖数: 2416
22
Depends on application. If I need a C10M application, only thing that
matters is the consistent throughput. Let's say if I will be satisfied with
10G per NUMA node, I can't see how FPGA is going to help me. Most
importantly, I even doubt if any FPGA is designed for that kind of problem
at all?

optimization

【在 b*******s 的大作中提到】
: afaik, fpga can at least double the speed in comparison with software only
: user space solutions
: yes, PCIe is a bottleneck.
: The strength of FPGA solution is you can do some session level optimization
: for your business case.
: it is hard to put strategies in because flexibility is important

b*******s
发帖数: 5216
23
Sorry I am not that knowledgeable in C10M solutions.
But in our house, we do benifit from FPGA in latency

with

【在 T********i 的大作中提到】
: Depends on application. If I need a C10M application, only thing that
: matters is the consistent throughput. Let's say if I will be satisfied with
: 10G per NUMA node, I can't see how FPGA is going to help me. Most
: importantly, I even doubt if any FPGA is designed for that kind of problem
: at all?
:
: optimization

N*****m
发帖数: 42603
24
DPDK不错,感兴趣

【在 w***g 的大作中提到】
: 你说得对。确实没什么可交流的。
: 不过看看大家再用啥轮子,自己再回去琢磨琢磨,还是有点用的。
: 我老是幻想能纠集几个人一起琢磨一个东西玩,就像玩音箱玩钓鱼那样。
: 不过确实也纠集不起来。
: 这两天我在玩DPDK和user space TCP stack,发现也就和老魏还能
: 稍微交流一下。帖子发到版上,基本没人care。

N*****m
发帖数: 42603
25
原来这个海星是scylladb的东西,有看头

【在 N*****m 的大作中提到】
: DPDK不错,感兴趣
b*******s
发帖数: 5216
26
http://www.tested.com/tech/457440-theoretical-vs-actual-bandwid
PCIe issue is no longer that tricky, 8GB/s is good enough
y*****r
发帖数: 327
27
整个高频程序员微信群吧
1 (共1页)
进入Programming版参与讨论
相关主题
各位所在公司的code review烦人不?编程版目睹之怪现象。
在一个技术版面骂脏话、搞人身攻击,这都是垃圾的行为说说我以前做的ultra low latency架构吧
这个版上就是一堆打嘴炮的我的实测结果,纯计算每秒50M次interlocked.increment
Goodbug,是不是单机大于1 million/s的I/O你就输了?现在哪个DPDK的TCP/IP Stack比较好?
10G网络到了求救网络大牛们,如何处理tcp短连接
10M persistent TCP connections腾讯开源tcp ip stack, f-stack。有用过的么?
C10M除了socket以外,还牵涉其他方面的技巧[bssd] Go 的大并发处理网络碰到两个个问题
开始折腾DPDK+mTCP求教 网络大侠, 如何提高网卡吞吐量
相关话题的讨论汇总
话题: fpga话题: tcp话题: latency话题: c10m话题: pcie