w***g
发帖数: 5958 | 1 几百兆的文件顺序读，只能到5MB/s的样子。根本不够支撑
训练神学模型的。有没有办法可以加快？ |
n******t
发帖数: 4406 | 2 我還是不懂爲啥自己會寫程序會裝機器的人要去用這種服務。這種云服務都是1-2個月
硬件cost回本的。。
【在 w***g 的大作中提到】
: 几百兆的文件顺序读，只能到5MB/s的样子。根本不够支撑
: 训练神学模型的。有没有办法可以加快？
|
m********5
发帖数: 17667 | 3 你估计没在startup重头呆过, 自己维护机房更贵得多
你以为养会搭硬件的sysop便宜吗... 三天两头换硬盘, 人工都贵得吐血, 别说debug
bios 和 raid issue
【在 n******t 的大作中提到】
: 我還是不懂爲啥自己會寫程序會裝機器的人要去用這種服務。這種云服務都是1-2個月
: 硬件cost回本的。。
|
w***g
发帖数: 5958 | 4 因为自己弱小没法制定游戏规则。我会去用aws，当然是碰到了不可抗拒的原因。
【在 n******t 的大作中提到】
: 我還是不懂爲啥自己會寫程序會裝機器的人要去用這種服務。這種云服務都是1-2個月
: 硬件cost回本的。。
|
n******t
发帖数: 4406 | 5 startup還養sysop幹嘛，肯定自己做掉了。當然你如果不會只能送錢給AWS是沒辦法。
我當然知道這裏面成本是多少，否則我爲啥說aws一兩個月回本來着？
你們是不是不清楚這年頭一個rack的機器能幹多少事了？4U一般可以放將近1PB的存儲
，2U可以塞128Core進去，6TB內存，外加幾百萬IOPS.
話說回來，我也沒想通即使你不會，學一下這個比學AWS，AZure那些個虛擬技能比，這
個能慢多少？無非就是去幾趟機房而已。
【在 m********5 的大作中提到】
: 你估计没在startup重头呆过, 自己维护机房更贵得多
: 你以为养会搭硬件的sysop便宜吗... 三天两头换硬盘, 人工都贵得吐血, 别说debug
: bios 和 raid issue
|
n******t
发帖数: 4406 | 6 恩，這個倒是。最近這段時間，一定要去xxx地方的客戶越來越多。
【在 w***g 的大作中提到】
: 因为自己弱小没法制定游戏规则。我会去用aws，当然是碰到了不可抗拒的原因。
|
w***g
发帖数: 5958 | 7 我自己公司也是用华为云还是什么云。我自己搞着玩可以在地下室
搭服务器，但是我不能把地下室贡献出来。再说我也不能自己去运维
公司的集群，也不知道深圳去哪里租colocation的机房，一来一去，
其实发现没什么办法。只能被云厂商薅羊毛。
我自己有一台1U的机器放在MI的机房$50/月，我想再放几台进去人家
说这个业务不做了，因为看我老用户面上才允许我那台机器继续放下去。
你说怎么办。就我这台机器，每年给我省好多钱。我可以塞进去20T的
HDD存储。这他妈要去AWS上买，那得多少钱。
【在 n******t 的大作中提到】
: 恩，這個倒是。最近這段時間，一定要去xxx地方的客戶越來越多。
|
c******y
发帖数: 29 | 8 绝逼aws故意的
多线程/进程读会好些吗
【在 w***g 的大作中提到】
: 几百兆的文件顺序读，只能到5MB/s的样子。根本不够支撑
: 训练神学模型的。有没有办法可以加快？
|
n******t
发帖数: 4406 | 9 我知道的是國內的帶寬非常貴，所以如果是帶寬要求很高的就比較難。
我覺得地下室放量三個機櫃其實沒什麼毛病，主要問題是沒帶寬。
1U的一個月$50的確很便宜，電錢呢？我這邊有一些location但是至少4U起。美國的好
處是其實帶寬不貴。
【在 w***g 的大作中提到】
: 我自己公司也是用华为云还是什么云。我自己搞着玩可以在地下室
: 搭服务器，但是我不能把地下室贡献出来。再说我也不能自己去运维
: 公司的集群，也不知道深圳去哪里租colocation的机房，一来一去，
: 其实发现没什么办法。只能被云厂商薅羊毛。
: 我自己有一台1U的机器放在MI的机房$50/月，我想再放几台进去人家
: 说这个业务不做了，因为看我老用户面上才允许我那台机器继续放下去。
: 你说怎么办。就我这台机器，每年给我省好多钱。我可以塞进去20T的
: HDD存储。这他妈要去AWS上买，那得多少钱。
|
n******t
发帖数: 4406 | 10 顯然，讓你爽了還能收到什麼錢。
【在 c******y 的大作中提到】
: 绝逼aws故意的
: 多线程/进程读会好些吗
|
w***g
发帖数: 5958 | 11 后来又快了。找AWS的专家问了下说是第一次读会慢。
他们好像有个quota啥的，不知道后面会不会有影响。
【在 w***g 的大作中提到】
: 几百兆的文件顺序读，只能到5MB/s的样子。根本不够支撑
: 训练神学模型的。有没有办法可以加快？
|
w***g
发帖数: 5958 | 12 $50包所有吃喝拉撒。有一个非常高的带宽quota，反正从来都用不满。
这个确实是太难找了。
【在 n******t 的大作中提到】
: 我知道的是國內的帶寬非常貴，所以如果是帶寬要求很高的就比較難。
: 我覺得地下室放量三個機櫃其實沒什麼毛病，主要問題是沒帶寬。
: 1U的一個月$50的確很便宜，電錢呢？我這邊有一些location但是至少4U起。美國的好
: 處是其實帶寬不貴。
|
n******t
发帖数: 4406 | 13 帶寬一定會越來越便宜這個趨勢改不了。但是和infra綁定的帶寬卻並不會。
同樣，CPU，RAM和存儲一定會越來越便宜，但是和infra綁定的硬件卻並不會。
【在 w***g 的大作中提到】
: $50包所有吃喝拉撒。有一个非常高的带宽quota，反正从来都用不满。
: 这个确实是太难找了。
|
C*****l
发帖数: 1 | 14 国内HPC运维也这么难找？
【在 w***g 的大作中提到】
: $50包所有吃喝拉撒。有一个非常高的带宽quota，反正从来都用不满。
: 这个确实是太难找了。
|
