s******e
发帖数: 82 | 1 1. cross correlation in certain window, which on freq domain equals dot prod
of FFT transformed .
2. for wavelets, first choose a good mother wavelet based on ur data, then
threshold, padding, and use stationary wavelets. Then in wavelets domain, so
what? you still need distance to measure...
3.feature extraction, such as peak properties such as FWHM, auc,location...
anyway select any features robust in whatever space |
|
s*r
发帖数: 2757 | 2 depends on the two lines, if there is no crossover, an AUC may be good
enough |
|
T*******I
发帖数: 5138 | 3 What is the AUC here? Thanks! |
|
l****a
发帖数: 352 | 4 no, yours doesnt have crossover...
how did u do it? calculated ln(AUC) and run a mixed model? |
|
|
w***e
发帖数: 269 | 6 I am a biologist, not a statistician. What biology people would do in this
situation is pairwise t-test using the data from the timepoints where both
groups (vhe and drug) are available. T-test of AUC is another option.
Statisticians may not approve this, but if this paper is going to be
published in a biology journal, you know what they say, when in Rome, do as
the Romans do. |
|
c**********e
发帖数: 2007 | 7 I am surprised to see that so many people think they know statistics, but
they can not do a statistics test in a real world problem.
There are several tests can be done. One is to use 2-way anova, which is
equivalent to pairwised t-test of the difference. Proc mixed can be used as
well.
The variable can be an AUC, or a half-life, 30%-life, or a fixed time
measurements, such as observations at 12 hour.
Missing values will not cause big problems. You can use LOCF for fixed time
value, and linear i |
|
o***o
发帖数: 43 | 8 Missing value是可以用数据之间相关性来估计的。这种貌似时间序列的数据应该会有
比较强的
trend,用interpolation来填空未尝不可。何况如果是用来估计AUC，本身就已经是个近
似，就像曲线
积分一样。
我的观点，只要是数据，不管数量多少，就会含有信息量。The important thing is
how to
appropriately make inference based on the data. 楼主的这个问题，如果
frequentist的
方法不够信服，或许可以考虑Bayesian的方法。
理论和应用总是有差别的。比如，样本未必是越多越好。对于假设检验来说, 如果样本
太多，即使两个
总体没差别也能得到显著的结果。对样本量的需要，一个很大的原因是很多检验是基于
正态分布，只有当
样本足够大的时候，统计量（比如sample mean）才近似正态。从逻辑上讲，这并非是
说小样本的数据
就不能做假设检验。这只是说明，如果你的数据很不normal而且样本量很小，那么t-
test的power会
很小。 |
|
h******e
发帖数: 1791 | 9 就是那个pk的area under cruve，谢谢。 |
|
R******d
发帖数: 1436 | 10 现在想做一个predictor，用来预测人群中的某种不常见的疾病，发病率不到1%。
training data是
非常imbalanced的，positive data points很少，绝大部分都是negative data points
。我
没有直接用这样的training data，而是人为地构建了balanced data。简单的说，就是
保持
positive data points不变，随机选同样sample size的negative data points。重复
训练
若干次，最后的训练结果是这么多次结果的汇总。
因为发病率确实很低，所以我取的specificity很高，比如99.9%。相应来说
sensitivity就很低
了，2%不到。换算成Positive Predictive Value（好像有人更看重这个），也低，大
概10%不
到。
我现在的问题是：
1，请问对于这样非常imbalanced的数据，AUC，specificity和Positive Predictive
Value
这三个指标哪个更重要？如果要做一个有意义的predictor，他们各自的th... 阅读全帖 |
|
D******n
发帖数: 2836 | 11 AUC好像还是受skewed data影响的。
该问的问题不是要用哪个metrics，而是你想要什么，一般就是一个objective function。 |
|
a*****3
发帖数: 601 | 12 你这胖猫头像也太bt了，贱妾pharm看了怕是要做噩梦,还是那个鲨鱼牙看上去比较自然
些。
在: AUC都在0.85左右。: 你balance的目地是想牺牲sensitivity换specificity吧？最
好构建一个weight matrix: ，用profit lift去评价模型。
乎: 很难用。 |
|
R******d
发帖数: 1436 | 13 没说AUC和data imbalance有关啊。 |
|
A*******s
发帖数: 3942 | 14 要是我没记错和理解错的话，dashagen给出的那篇文章(Provost & Fawcett, 2001)就
说了怎么根据cost/class distribution划出iso-performance lines去切ROC。如果你
要比较两个model的好坏，我觉得用这个定义说得通。如果两个model的ROC是相交的，
那么不同的threshold的设定可能就会有不同的优劣比较。如果ROC不相交的话，那么自
然是AUC越大越好了。
points |
|
h******e
发帖数: 1791 | 15 Were the AUC for the different groups significantly different? This would
indicate whether a different cut off for each of the groups is
warranted.
谢谢。 |
|
j******4
发帖数: 6090 | 16 AUC在不同组里是否显著不同？如果是，则表明每个不同的组里，不同的cut off是有保
证的
木哈哈哈哈哈 |
|
M****e
发帖数: 178 | 17 Maybe...
1. Specify the cut-offs for each of the groups
2. Test AUC between groups
3. Is the test against equality significant?
Yes -> Cut-off specifications in step 1 is correct
No -> Cut-off specifications in step 1 is not correct |
|
h******e
发帖数: 1791 | 18 多谢楼上的几位，我想我想明白了。原文中对不同的组给出了不同的sensitivity和
specificity，但没有给出不同组的AUC是否不同。所以reviewer有这个问题。 |
|
A*******s
发帖数: 3942 | 19 chill out man. both of u are Big Bulls and make sense.
I think yuxinyun believes his model is good enough. Introducing nonlinear
terms may help to increase AUC from .7138 to just .7142 for example. In such
case, it's not worthy to rock the boat if the boss does not 100% get ur
back.
My company has a very picky model review group. If u just tell them to look
at the P-values, they will suggest ur boss to fire u. :( But if u try some
new tricks to improve the model, they will ask ur boss to do more... 阅读全帖 |
|
|
D******n
发帖数: 2836 | 21 还是自己写个AUC的function吧，就几行。
我用那个rocr的居然会报错，不够内存，不知道那些人怎么写的。 |
|
n**********r
发帖数: 104 | 22 【 以下文字转载自 JobHunting 讨论区 】
发信人: nightdreamer (我白天睡觉), 信区: JobHunting
标 题: 报两个offer-updated-附面试心得
发信站: BBS 未名空间站 (Tue Apr 5 20:57:40 2011, 美东)
个人背景
fresh PhD，经济，非牛校
offer情况
两家都sponsor H1B
offer1：
一家大房贷公司，HR上周口头offer，现在在等我回复。
待遇 85K base, no sign-on bonus
职位 senior
offer2：
保险公司，这家情况有点复杂，我是周一去面试的，面试前告诉HR已有offer了，而且
向他披露了offer的详情，大老板面我的时候也提到了这件事。
今天HR给我打电话说准备要我了，现在他在准备proposal
职位associate（我想都差不多吧这个）
待遇 85Kbase+7500 sign-on bonus
我现在比较困扰的是，offer2里HR只是提出的proposal还要等审批，而offer1明天就要
答复了。明天应该怎么答复offer1呢... 阅读全帖 |
|
a******n
发帖数: 11246 | 23 顶大牛！！学习了。
AUC是不是ROC curve里的area under curve的缩写？
rate
card
他的 |
|
A*******s
发帖数: 3942 | 24 对，auc就是area under curve
不是大牛啊，这些关于ranking的paper很多我都看不大懂，因为statistical learning
theory的内容很多，我就记住了一些结论而已。 |
|
a******n
发帖数: 11246 | 25 thanks。
总之觉得你的好几个帖子都对我有帮助。
我前一阵面一个做fraud detect的小组，就问了不少roc的东西。
要是早点看到你这帖子我就提一下最大化auc神马的了...
learning |
|
A*******s
发帖数: 3942 | 26 业界应该还没怎么应用这个auc优化的东东吧
paper说的天花乱坠，不知道有没有吹的成分
希望版上有经验的大牛可以说说。 |
|
N****n
发帖数: 1208 | 27 我刚开始也以为AUC越大越好。。。。
但他们不那么说，那个面试的说，ROC CURVE离对角线越远越好。。。。我说，我头一
次听说这个。。。。 |
|
D******n
发帖数: 2836 | 28 这个两个说法没有太大区别吧，除非你对“原理对角线”下个精准的定义。但是这样又
多引入了一个量。
AUC（ROC）的好处是在于所谓的不受positve(negative) rate的影响。在drug screen里
面也有用，还有其变体，bedroc，RIE。
我做过比较，当然只是在我的data里面，logistic是比不过ROC的，但是对1,0 进行一下
weighting的话，就无敌了。 |
|
N****n
发帖数: 1208 | 29 说的远离，是有可能在对角线以下。。。就是AUC<0.5。 他们说，那是因为MODEL的是P
(1-Y)，不太理解，望指点。
screen里
一下 |
|
|
|
A*******s
发帖数: 3942 | 32 auc maximization的model有不少吧，好像比较有名的是rankboost，还有一些SVM
variants。 |
|
|
b*******y
发帖数: 289 | 34 AUC用的还是挺多的吧。做scorecard的时候不也用的吗。marketing一般就用KS比较多。 |
|
A*******s
发帖数: 3942 | 35 i was talking about AUC-maximization models.
多。 |
|
|
|
|
|
d******e
发帖数: 7844 | 40 weighted error，就是weighted miclassification rate是最常用的。
和F-beta score一个作用。 |
|
|
|
|
|
|
A*******s
发帖数: 3942 | 46 c是用来衡量ranking能力的，在binary outcome的情况下就是area under ROC, 如果不
是binary outcome的话就没有这个AUC，ROC的概念了。 |
|
p********a
发帖数: 5352 | 47 ☆─────────────────────────────────────☆
littlebirds (dreamer) 于 (Fri Aug 5 08:14:32 2011, 美东) 提到:
it is just another job
☆─────────────────────────────────────☆
WEIMINGSPACE (想也白想) 于 (Fri Aug 5 10:18:51 2011, 美东) 提到:
可你的JOB偏偏和这些只知道分组做个T检验，RUN个REGRESSION就当自己是FISHER转世
的脑残们戚戚相关，想着就悲
☆─────────────────────────────────────☆
littlebirds (dreamer) 于 (Fri Aug 5 10:35:12 2011, 美东) 提到:
Business/industries are not much better either. People don't trust things
they do not understand. You ... 阅读全帖 |
|
p*******i
发帖数: 1181 | 48 更细致一点说是ROC的AUC(Area under curve)值 |
|
|
|
