d****g 发帖数: 7460 | 1 靠, 不需要帮助。
我最后决定自己parse string. 从头到尾parse一遍找<和>之间的tag.
有prefix的strip掉。代码写好看了考的是基本功。细节处是看对
string的空间分配的理解。好多细节我都是头次弄清楚。比如
string a= b.substring(0,256); a 新占多少字节?
stringbuffer sb;
sb.tostring() 和 new string (sb) 有没有区别?
一般我会认为这种问题无聊,但这个case都oom了,就寸土必争了。 |
|
d****g 发帖数: 7460 | 2 这个case主要的意思是对Java GC的理解。
谁都知道Java里面String相加要小心,但这个情况里,原来的程序员想都没多想就连用
了5个replaceAll.写出来也简单。要我也不会多想。
但我们1.5G的heap,在输入String 250k的时候,连连仍OOM.因为Java GC痛恨large
object. 250k的object要连着分配好几个copy是个big deal.很多人都知道,但很容易
就不优先考虑这个问题。 |
|
g**e 发帖数: 6127 | 3 按你这么干,大并发的情况下,直接OOM
没什么原因别用singleton,一定要用的情况下就要用好,不然不如不用。直接spring
inject一个 |
|
g**e 发帖数: 6127 | 4 soft ref也不能解决load某个文件过大导致OOM错吧
XML |
|
F****n 发帖数: 3271 | 5 It is guaranteed that soft refs will be gc-ed before an OOM exception is
thrown. If the document is gc-ed, the memory is released and the soft ref
will contain null. |
|
g**e 发帖数: 6127 | 6 这个我知道,但是这并不能100%保证在OOM之前full GC就kick off了 |
|
r*****s 发帖数: 985 | 7 主要是这XML Loading是POI handle的,
要是JVM能在OOM之前就Throw a FailToAllocateMemoryError就好了 |
|
w**z 发帖数: 8232 | 8 definitely not to take heap dump at 40G. set back to 512m, You can set jvm -
XX:+HeapDumpOnOutOfMemoryError, so it will take a heap dump when it runs
into OOM |
|
d****g 发帖数: 7460 | 9 有一个方法如下。
void test(){
Object o = session.get("ABC");
session.remove("ABC");
Object b = transform(o);
b.write(buf);
}
因为o非常大。所以关心GC的问题。o实际上过了transform就不用了,可以被回收了。
但JVM够聪明吗?这是个实际问题,现在b.write(buf)仍OOM。想知道在write之前设o为
null会不会有用。 |
|
g*****g 发帖数: 34805 | 10 In my experience, anything trying to tamper GC will backfire. You may hint
JVM to GC, you may even wait for JVM to GC. But OOM is such a big deal, even
if you are successful 999 out of 10000 time, the other time leaves you with
a crashed server and you can't afford that. You may hide the problem in dev
and test and only get it crash in prod under load. Something you really
really want to avoid.
I think you should take a profiler, and check what's leaking memory instead.
It may be just a bug som... 阅读全帖 |
|
J**B 发帖数: 204 | 11 装了MAT后,oom 后没在目录里找到HPROF,请问哪里还需要设置。
还有在windowns下ctrl +break. 没什么文件产生啊。 怎么产生 hprof at will? |
|
b********e 发帖数: 595 | 12
run dmesg command, looks like oom killer ? |
|
S*A 发帖数: 7142 | 13 说的对级啦。
这里有三个东西要调,
fs.file-max
fs.nr_open
ulimit
其中那个 nr_open 是不太容易 google 出来的。
一般没有实际去实验的话大概找到其中的一两个。
然后真正的内存限制是要实际实验一下才能知道
上限在神魔地方。这就是为神魔我鼓励大家去
动手实验一下,看看结果和你预计的是不是一样。
我 8G 的笔记本可以跑到 2M sockets 然后就 OOM
把 X 杀掉了。倒是没有死机。所以,类推的话 10M
sockets 需要 差不多 40G 才能跑。这个还仅仅是
file descriptor,没有 tcp 连接。
在这以前参与实验的都给发包子。 |
|
g*****g 发帖数: 34805 | 14 这是有意义的问题,比如一个web service,要产生一个文件一行一行的。
你要是用+来产生每一行,文件大的话就要OOM。 |
|
d****n 发帖数: 1637 | 15 你好好练习malloc and free。C 就那么点东西都在这俩函数里呢。
不会死机,现在的OS不会因为oom死机,(你的程序)一般就core dump了,或者直接
crash。 |
|
f********r 发帖数: 304 | 16
非常同意,spark尤其是spark SQL,很多stage的shuffle read/write数量非常惊人,
根本不可能全不in memory,所以spill disk很常见。而且如果你不手动cache或者
persist rdd,很多rdd会recompute,这个在写程序的时候要非常注意。spark虽然nb但
也不是什么ultimate solution,对programming optimization的要求很高的。而且真
正上大数据的时候,如果没有powerful硬件支持,executor经常timeout 或者OOM,很
不容易debug。 |
|
|
n******7 发帖数: 12463 | 18 开始很兴奋,终于可以linux上面跑C#了
但是还是不少坑
首先VS对dotnet core project的支持还是不如.NET project
然后linux下面总是有些问题
比如之前yield 不work,前段时间升到dotnet core 2.0才fix
最近一个lib有问题,折腾了几天,发现是FileInfo在linux和windows下面的行为不一
样,有symbolic link的时候
有些code在linux下面的memory usage总是高很多,windows下面2G搞定,linux开个8G
都OOM
反正这帮人用C#是因为一开始在windows上面做些东西,结果就这么一直折腾下来了 |
|
y**b 发帖数: 10166 | 19 标题说是传递指针,实际上是自动传递指针所指对象。
本来MPI传递这类复杂类型(类,含有类的类,含有指针的类,子类,含有类指针
的容器,等等,及其任意组合)是非常麻烦的,但是利用boost.serialization
和boost.mpi,可以轻松传递任意数据类型。
假设sendVec是个含有指针的容器,指针指向某个复杂的类,则
boostWorld.send(0, mpiTag, sendVec); 把这个容器传往主进程0。
主进程通过boostWorld.recv(n, mpiTag, recvVec);接收这个容器,
并自动通过boost.serialization重新生成容器中指针所指的对象,
接收之后recvVec中的指针可以立即投入使用。
一个小小的陷阱就是,使用完recvVec之后,必须手动释放其所含指针
指向的内存,boost无法给用户做这件事。
本来这件事也很明显,但有时候容易疏忽。我的程序在百万次MPI传输后,
主进程使用的内存超过了512GB,超算上的large-memory节点提示OOM,
但是手动释放内存后发现只需要30GB内存。 |
|
n******7 发帖数: 12463 | 20 我看了一下这个code,确实有点绕
不过我觉得不是这个概念多复杂,而是因为人脑的memory非常有限,需要跟踪的量一多
就oom了
这段code的问题在这里
new_continuation <- function(result) {
continuation(result * n)
}
又是result 又是new_continuation的,
这两个东西现在没用,result本身又是个有意义的词
一下把人绕晕了
其实把这个东西当做匿名函数放到调用里面就好多了
我把ifelse也放一起了,你看是不是容易理解多了?
cp_factorial <- function(n, continuation = identity)
ifelse(n == 1, continuation(1), cp_factorial(n - 1, function(x)
continuation(x * n)))
另外一个绕的地方是function composition
执行过程写出来就是
cp_factorial(2, function(x) identity(x * 3))
cp_factorial(... 阅读全帖 |
|
g*********d 发帖数: 233 | 21 MicroRNA 和病毒
作者:王磊
上海交通大学生命学院研究生
摘要:
microRNA(miRNA)是真核生物体内一组内源性的 21—25nt 长的非编码蛋白质的短序列
RNA,它们能通过碱基配对的方式与生物体中的 mRNA 分子相结合来参与调节基因的表
达。自 2000 年至今,miRNA 的研究发展的速度极快并且影响的范围也非常的广泛,而
且分别在2002年和2003年度中miRNA入选了Science杂志年度十大科技突破。因此,
miRNA是 RNA 研究的又一个突破,被称为 RNA 的第二次革命。目前的研究已发现
miRNA 参与了很多重要的生命活动过程涵盖了发育、凋亡、代谢、人类疾病以及病毒侵
染等方面。在病毒侵染宿主和宿主抵抗病毒的过程中病毒编码的 miRNAs 和宿主编码的
miRNAs 均发挥了重要的作用。这无疑为病毒的侵染以及宿主抵抗病毒的侵染的研究提
供了新的思路和新的领域。因此,本文的主要目的在于阐述 miRNA 的一些基本概况以
及在病毒中主要的研究方向和进展,最后对这个具有跨时代意义的小分子进行展望。
关键词:miRNA vmiRNA 功能 宿主的 miR... 阅读全帖 |
|
e*****i 发帖数: 993 | 22 P(ink) ele F(ph)ant I(n) Z(th)E R(oom)...
P-F-I-Z-E-R, Pfizer! |
|
w*******y 发帖数: 60932 | 23 I had been waiting for this deal for some time now. I missed it last time
for $179.99 but i just came across now, NEWEGG has it for $10 less, i.e for
$169.99.
Here is the link:
Link:
http://www.newegg.com/Product/Product.aspx?Item=N82E16882290130 psw505
oom goes the dynamite! For audiophiles that demand maximum punch to their
bass, the 460W PSW505 will shake the walls of the largest rooms. The
subwoofer uses a 12-inch Long Throw Driver for longer excursion and better
linearity. The unit also fea... 阅读全帖 |
|
s*****g 发帖数: 5159 | 24 【 以下文字转载自 PhotoForum 讨论区 】
发信人: smugmug (摄影—记录生活中的点点滴滴), 信区: PhotoForum
标 题: 瑞士——苏黎世,乐基山,和卢塞恩
发信站: BBS 未名空间站 (Tue Aug 3 13:58:35 2010, 美东)
游记写得支离破碎,需要重写,片子星期日就出来了,抓紧放上。
动身之前看了黄金会员网友的欧洲片子,感觉欧洲的色彩不艳丽,但典雅和谐,所以大
着胆子带了彩卷,少量Reala,大部分Ektar,店冲,Microtek i800 + vuesan,lightr
oom少于10%的调整。片子全部xpan + 45手持。
从JFK坐这架飞机出发:
苏黎世老城区
苏黎世湖湖畔
露天自助餐厅的退休职工乐队
城南的老城区
城北的新城区,都是吊车
苏黎世理工学院的主楼
路边的一辆拖车,司机是个金发小美女
苏黎世火车站,历史比美国要长
火车站外部在翻新,只能远看
班霍夫广场——苏黎世的时代广场
利马河,经典的明信片照片
吃饭的地方有个发射塔,从塔上看四方:
东:苏黎世
南:苏黎世湖
西:农家乐
北:残阳
从乐基山顶看远处的雪山
牛 |
|
g********n 发帖数: 2314 | 25 【 以下文字转载自 Hubei 讨论区 】
发信人: thelishier (u r my angel), 信区: Hubei
标 题: 房坑
发信站: BBS 未名空间站 (Fri Feb 5 16:40:33 2010, 美东)
大家讨论一下下一个想买的房子是什么样子的吧,location, size, floor plan, pric
e,都可以说一下
我想买一个5bd3.5bath的房子,4000尺左右吧
1楼是study room放个写字台,living room放个钢琴,dining room放套餐桌,family
room放个沙发电视,open kitchen,和一个master bedroom with master bath for pa
rents,再加一个powder room和utility room
二楼有一个master bd给我们老两口,2个女儿一人一间共一个California style bathr
oom,一个 guest room平时可以当playroom
然后有一个open place 作为放映室。
看了一下,在最好的学区50万足够了
争取过... 阅读全帖 |
|
i*****8 发帖数: 6735 | 26 上次的老黄历是每周比赛一个队的就在一个场地打。你们13少这么不怕生,圈在kids r
oom找人帮忙看看成不? |
|