d******e
发帖数: 7844 | 1 一般的logistic regression是不带penalty的，没法通过regularization来调节bias和
variance。所以我认为你是在说带ridge penalty的logistic regression。
如果是这两个比的花，两个方法的loss function非常像，性能上区别很小，不管是
linear的还是non-linear的，所以一般来说，你很难指望一个能明显beat另一个。
SVM能稍微robust一些，因为有sample上的sparsity。但是SVM并非对条件概率建模，所
以没法直接输出概率，也没办法做inference。Logistic Regression在这点上要强一些
，不过也只能做asymptotical inference. |
|
e****t
发帖数: 766 | 2 when fitting logistic regression,
it indicates that "Model Convergence Status
Complete separation of data points detected. "
So i use exact logistic regression,
but in the output, it indicates
"# indicates that the conditional distribution is degenerate."
what does this mean? What else I can do?
i am thinking to use poisson regression...
any suggestions ?
Thanks in advance!! |
|
e****t
发帖数: 766 | 3 regression to the mean 如何 调整
一个one arm 的study， 有baseline 和post baseline 的几次测量， ；inclusion
criteria 是baseline value 小于 ４０％。
一个epidemiology 说要考虑 regression to the mean
根据下面的连接，
是不是只要估计一下 （１－r）＊ １００， r 是 post pre 的correlation
http://www.socialresearchmethods.net/kb/regrmean.php
感觉可不可以 用 mixed model 调整一下 baseline ， 相当于于减少了 regression
to the mean？
diff ＝ time ＋ baseline ？ |
|
w*******e
发帖数: 666 | 4 请问谁有这本书吗？如果有能发我吗？
Regression modeling strategies: with applications to linear models, logistic
regression, and survival analysis
by Harrell
THX! |
|
h*****u
发帖数: 204 | 5 1 有3个变量y,x1 and x2,
2 假如correlation 系数（y,x1)=a1>0 and correlation 系数（y,x2)=a2>0,
3 Do the multi linear regression y as a funtion x1 and x2, suppose we get y~
b1*x1+b2*x2, 但是这里b1<0, b2>0.
从2中，我们得知y和x1的关系是同向变化的， 但是由于Do the multi linear
regression，我们得到 y~ b1*x1+b2*x2， 如果固定x2不变的话，我们就得到了y与x1
的关系是反向的。
我的问题是： 有没有一个办法让multi linear regression的系数的符号跟
correlation 系数的符号是一致的？ 谢谢 |
|
i*********e
发帖数: 783 | 6 binay dependent variables.
The predictor includes: categorical variables and numeric variables.
I use logistic regression?
Can I also use probit regression?
Any difference? |
|
P***n
发帖数: 174 | 7 rt，求推荐一本带实例的用R讲解logistic regression的书
我在往上找到的几本经典的都是用SAS讲解的（包括UCLA ats的几本）
如果是包含linear regression + logistic regression + 其他的GLM的书也行
只要是用R有实例讲解的 比较经典的都行 |
|
j******a
发帖数: 104 | 8 我想做一个regression model
y = b1x1 + b2x2 + e
但是我知道regression 的assumption里面predictors之间应该是independent的，但是
我这个x1和x2，是有相关性的，这样子我还能做regression吗？或者有什么方法可以
fix这个问题
还有我的y是应该大于0的，我应该需要怎样的transformation呢？ log吗？ 如果用
generalized linear model里面的log link function 也就是 y = exp(b1x1 + b2x2 +
e)，哪样更好？
谢谢 |
|
f***l
发帖数: 117 | 9 我用对population中的一组sample集fit出一个regression equation后，现在想用另一
组sample集来验证这个regression equation是否正确，或者至少评价一下这个
regression model的性能，应该怎么做呢？谢谢！ |
|
A*******s
发帖数: 3942 | 10 在logistic regression在应用之前，银行的scorecard(评分表)其实就是简单地把申请
人的资料逐项打分(itemized and score)，最后看看相加的总分是否超过了阈值。评分
表也不仅仅是在银行里用，social/medical/psychological research也很常见。评分
表的最重要的性质是每项分数的可加性，而我们都知道概率一般是不可加的(除非
underlying events are mutually exclusive)，只有log odds有很好的可加性，也恰
好对应了logistic regression里面beta的意义。这是为什么logistic regression实际
应用非常广泛的原因，也是score应该是log odds的线性变换的原因。
具体到楼主的这个问题，要看阿三这个model的应用是否需要itemized scorecard的存
在。如果不需要的话，确实没必要转换成score，直接用probability即可。如果每个
segment的sampling weights是一样的话，当然可以直接一起用。 |
|
m********8
发帖数: 32 | 11 以下是一点个人见解，说的不对还请指教。
Linear Regression的一个基本假设就是error term必须iid服从正态分布N(0, sigma2)
。由此可以推得y也必须iid服从正态分布N(X*beta, sigma2)。
但是对y做Normality检验并不是Linear Regression的前提，因为对于不同的y来说，X*
beta不同，也就是说这些y服从的是mean彼此不同，方差相同的正态分布。在不知道每
一个y对应的mean的前提下，对y做Normality检验的结果是没有意义的。
换句话说，假设Linear Regression的model成立，y服从正态分布N(X*beta, sigma2)。
但如果X*beta本身的skewness很大，可以想象y的skewness也会很大，此时对y做
Normality检验，检验结果显然是false的。 |
|
b*****s
发帖数: 11267 | 12 不用。
[在 hhaaii (zz) 的大作中提到：]
:I tried to use linear regression to fit a line to X/Y (two sets of data on
:different scales ) and use the generated R square (R2) to see if there is
:strong/weak correlation between them. The tooling I used is Excel's
Data
:Analysis Toolpak.
:One colleague insists that I must normalize the 2 datasets and plot them on
an axis at the same scale x/y, otherwise the R2 analysis is invalid.
However, the references I read online (such as the following ones) do not
require... 阅读全帖 |
|
a**********0
发帖数: 422 | 13 【 以下文字转载自 JobHunting 讨论区 】
发信人: apprentice00 (数学学徒), 信区: JobHunting
标 题: weka有支持regression tree的random forest吗
发信站: BBS 未名空间站 (Sat Aug 23 00:08:21 2014, 美东)
我的问题不是classification 而是regression 所以需要由regression tree构成的
random forest 不知道weka有没有 |
|
c*******e
发帖数: 150 | 14 【 以下文字转载自 Statistics 讨论区 】
发信人: cavaliere (Un Baiser S'il Vous Plaît), 信区: Statistics
标 题: Regression中噪音项是一个AR(1)，如何做MLE或者其它Fit？
发信站: BBS 未名空间站 (Mon Sep 15 22:02:42 2014, 美东)
想请教一下版上的各位大牛们，如果
Linear Regression中Noise Term是一个AR(1) process，通常都有什么成熟的算法做
MLE 或者其它方法 fit ？
具体的说，模型可以表示为 Y(t) = X(t) \dot \beta + E(t),
X(t) 和 \beta 都是 K-维的向量，其它都是标量。
t = 1, 2, 3, ..., T 是手头的 sample，
但是和经典的 Linear Regression 不同，E(t) 不是 i.i.d. 的高斯白噪音，可以假定
E(t) 服从一下 model:
E(t) = \rho * E(t-1) + \sigma * Z(t)
\rho 和 \s... 阅读全帖 |
|
d******e
发帖数: 7844 | 15 过去认为predictive modelling都属于ML的范畴。
现在ML和Statistics非常Tricky，比如经典的Linear Regression和Logistic
Regression既是统计又是ML。但如果你用Deep Neural Network来build一个regression
model，统计的人八成是不会认这东西是统计，而ML的人会津津乐道地跟你说这就是ML
当下最火热的Deep Learning。 |
|
s********1
发帖数: 235 | 16 【 以下文字转载自 Statistics 讨论区 】
发信人: someone111 (some), 信区: Statistics
标 题: 有什么模型能把linear regression model 和 time series model 合起来做prediction 吗？
发信站: BBS 未名空间站 (Wed Dec 9 17:00:04 2015, 美东)
有什么模型能把linear regression model 和 time series model 合起来做
prediction 吗？现在有一些数据，是一堆产品，他们有一些自身的属性的数据，如网
上的ratings 等，他们还有time series 的销售数据，每一种产品有month by month
的销售值，现在要用这些数据做predictive modeling, 想到的方法有对自身属性的数
据可以做linear regression, svm 这样的模型预测，对time series 的销售数据，可
以用 time series 的模型预测，有没有什么模型能把这两种模型结合起来，用一个模
型考虑两方面，进... 阅读全帖 |
|
s********1
发帖数: 235 | 17 【 以下文字转载自 Statistics 讨论区 】
发信人: someone111 (some), 信区: Statistics
标 题: 有什么模型能把linear regression model 和 time series model 合起来做prediction 吗？
发信站: BBS 未名空间站 (Wed Dec 9 17:00:04 2015, 美东)
有什么模型能把linear regression model 和 time series model 合起来做
prediction 吗？现在有一些数据，是一堆产品，他们有一些自身的属性的数据，如网
上的ratings 等，他们还有time series 的销售数据，每一种产品有month by month
的销售值，现在要用这些数据做predictive modeling, 想到的方法有对自身属性的数
据可以做linear regression, svm 这样的模型预测，对time series 的销售数据，可
以用 time series 的模型预测，有没有什么模型能把这两种模型结合起来，用一个模
型考虑两方面，进... 阅读全帖 |
|
F*******2
发帖数: 371 | 18 几乎所有的cdf方程都可以满足吧
logistic是general linear regression的一种，general linear regression有一个
link function，一个family function。logistic的family是binomial （也可以是
mbinomial）， link function是logit。logit(p)=ln(p/1-p)
The logit model was introduced by Joseph Berkson in 1944, who coined the
term. The term was borrowed by analogy from the very similar probit model
developed by Chester Ittner Bliss in 1934.[2] G. A. Barnard in 1949 coined
the commonly used term log-odds; the log-odds of an event is the logit of
the pr... 阅读全帖 |
|
a**********0
发帖数: 422 | 19 我的问题不是classification 而是regression 所以需要由regression tree构成的
random forest 不知道weka有没有 |
|
b***t
发帖数: 59 | 20 【 以下文字转载自 Mathematics 讨论区 】
发信人: brout (brout), 信区: Mathematics
标 题: F-test for regression problems的参考文献求助
发信站: BBS 未名空间站 (Sun Feb 10 21:15:33 2013, 美东)
F-test的wiki里面有一段讲到了Regression problems，但是没有给出参考文献。
谁知道哪本书或者文献里有相关信息吗？书的话最好是有电子书我可以直接看。
文献的话有pdf文档最好了，或者给我期刊，年份，作者，页码也行。 |
|
C********g
发帖数: 274 | 21 keyword: Stochastic Impact by Regression on Population, Affluence and
Technology
用stochastics/Regression的模型研究人口/energy/economics的问题。
需要的话尽快联系我，做个简单的背景介绍，我好推荐。这个邀请已经发给我一段时间
了，忘记回复了，可能很快就要被收回了。杂志IF~4-5吧。
[email protected]
/* */ |
|
D***s
发帖数: 168 | 22 【 以下文字转载自 CS 讨论区 】
发信人: sci (ence), 信区: CS
标 题: 离散值怎么做logistic regression?
发信站: BBS 未名空间站 (Thu May 12 01:01:01 2011, 美东)
data像这样：
X = (store, zipcode), Y = popularity.
e.g.
(walmart, 10010), popular.
(safeway, 90100), not popular.
(walmart, 10600), popular.
....
etc
try to build a logistic regression model on this dataset. |
|
p*******y
发帖数: 133 | 23 【 以下文字转载自 Software 讨论区 】
发信人: pennyjudy (penny), 信区: Software
标 题: how to do weighted linear regression in Excel?
发信站: BBS 未名空间站 (Sat May 22 13:07:59 2010, 美东)
Hi
I am trying to create a excel sheet to do weighted linear regression. This
sheet is intended to be shared with other ppl as a template.
I used user defined function downloaded from http://www.adamslim.com/ModellingGuides/ModellingGuidesWLR.htm. However, when I copy the excel sheet to other drive or other computer, it always report |
|
t*****3
发帖数: 878 | 24 【 以下文字转载自 Statistics 讨论区 】
发信人: temp123 (ttt), 信区: Statistics
标 题: 如何把REGRESSION中的Standard Error列出来？？？
发信站: BBS 未名空间站 (Fri Jul 13 18:36:15 2007)
用PROC REG求regression, 然后，怎么把误差项的stardard deviation弄出来当成一个
变量放着？？ |
|
k*z
发帖数: 4704 | 25 quantile regression roger koenker and kevin hallock
ei...连怎么推regression都不会，怎么做quantile啊。 |
|
x**0
发帖数: 9 | 26 有个问题，可能比较基础，不过自己还不是很清楚。希望了解的TX解释一下。
Tobit 与 censored regression model 的区别。
以前觉得前者是后者的一个特例。可是看了两个不同版本的解释，似乎互相矛盾。
wooldridge的教科书里
"While the terms “Tobit” and “censored regression” have often been used
interchangeably in econometrics, in practice there is a very important
difference.The Tobit model is applied to outcome variables that are roughly continuous
over positive values but have a positive probability of equaling zero. We saw an
example of this in the case of married women’s labor supply.. |
|
r********n
发帖数: 7441 | 27 【 以下文字转载自 Quant 讨论区 】
发信人: realoption (Options), 信区: Quant
标 题: 一个regression的最基本问题
发信站: BBS 未名空间站 (Thu May 28 01:30:22 2009)
如果给定上了百个相关变量，如何选择出来最有影响力的变量啊，多少变量的
multivariate regression是比较合适的，如何来确定啊？
请推荐一本从头到尾讲如何做econometrics 模型而且比较清楚的书或者文章，曾经系
统学过econometrics，但是从来没有用它做过任何东西 |
|
l******o
发帖数: 162 | 28 Ran a regression to test the relation between Z and A (after control some
other variables); Z is dependent variable,and A is indep.;
A coefficient is positive and significant;
Then ran another regression to test the relation between Z and B (after
control some other variables); still Z is dep. and A is indep.
B coefficient is negative and significant.
==========================================
Based on the above results, can we safely conclude the relatinship between A
and B??? If we can, the re |
|
g*****h
发帖数: 81 | 29 就是一组已经PASS的tests
design如果有改动，不管多小的改动，这组tests必须再run一遍，必须还得过。
保证所做的改动没有introduce新的bug。
这就叫regression tests。
一般这个过程都是automated。
Kick off regression tests就是push button。 |
|
a*****n
发帖数: 5158 | 30 【 以下文字转载自 Statistics 讨论区 】
发信人: ashdown (EB1A and NIW), 信区: Statistics
标 题: 问一个线性regression的probability of fit怎么算
发信站: BBS 未名空间站 (Sun Oct 4 18:44:40 2009, 美东)
有一组数据
X(i),error_X(i), Y(i),error_Y(i), coefficient of error_X(i) and error_Y(i)
要做least square linear regression,assume error is norm distribution
怎么计算probability of fit? |
|
n*****n
发帖数: 3123 | 31 不用引，直接上吧。基本常识了
或者随便找本regression的书引用下
比如
Applied Linear Regression Models， Michael H. Kutner (Author), Christopher J
. Nachtsheim (Author), John Neter
或者
Plane Answers to Complex Questions: The Theory of Linear Models |
|
f********c
发帖数: 147 | 32 谢谢！！
搞笑的是， 一个期刊上2002之前发表了很多用logit model的文章，结果2002年的时候，
发表了一个logistic regression的文章， 而且这个logistic regression的文章没有引
用任何logit model的文章。
具
就 |
|
b***k
发帖数: 2673 | 33 ☆─────────────────────────────────────☆
chamberlain (PKU|PHY01|面朝大海|春暖花开) 于 (Wed Sep 26 14:36:24 2007) 提到:
I have three vectors X1, X2, Y and want to find out the possible dependence
of Y on X1 and X2.
Logistic Regression is adopted.
However, I got confused because of the following results:
If I fit the Logitstic Regression model for X1 and Y, or for X2 and Y, the
results show that X1 and Y are clearly correlated, so are X2 and Y.
fitting model: OddRatio(Y)=a+b1*X1 |
|
k*******g
发帖数: 13 | 34 To predict y(t), we use two candidate vars x1(t) x2(t) separately and get
two linear regression models:
M1: y(t)=b1*x1(t)+b0
M2: y(t)=b1*x2(t)+b0
The coefficient of determination, R-squared, for M1 and M2 are 0.01 and 0.02
If we run a new regression model with both x1 and x2,
M: y(t)=b1*x1(t)+b2*x2(t)+b0
问：lower bound and upper bound of M's R-squared 是多少？这两个extreme cases
分别会有什么问题？
多谢！ |
|
G******2
发帖数: 579 | 35 【 以下文字转载自 Statistics 讨论区 】
发信人: Gigi2012 (Gigi), 信区: Statistics
标 题: 请问multi variate linear regression 选择risk factor 问题
发信站: BBS 未名空间站 (Thu Apr 9 23:51:47 2015, 美东)
问大牛一个basic 的问题。
在evaluate 一个 multi variate linear regression.
几个factor 同时被研究，individual correlation coefficient 都不大，只有0.3左
右，不知道为什么被选进了model.
然后每个factor 的coefficient 的R square 都小于0.5。
这个 model 是个好model 吗？
还是我看错地方了？
我的问题1。 不是应该选correlation coefficient 大的factor to enter the model?
还是p value 更重要？
R square 低于0.5 应该留在model 里吗？
选择factor ... 阅读全帖 |
|
p********a
发帖数: 5352 | 36 ☆─────────────────────────────────────☆
btkiller (假如偶是真的) 于 (Mon May 7 01:35:55 2007) 提到:
自己做project需要算的：
用户舒适度1，2，3，4，5
某项性能：value在0－1间
看该性能对舒适度的影响。我一开始用的linear regression,后来因为别的问题请教统
计系的同学时都告诉我该用logistic,因为舒适度是ordinal？（大约是这么说，
有可能我记错了）
我就这么做了，显著性比以前提高，但是从我自己希望得到的结果来说，还不如Linear
的了。后来我跟以前的一位搞计量经济的老师说起，他说除非你的舒适度是边际递减的
，不然为什么用log呢？我才开始思考这个问题。。。不好意思，我没啥统计基础，觉
得既然学统计的都这么说就这么做了，没想过为什么。但是舒适度1－5之间显然不是对
数曲线的关系。
能麻烦哪位大虾解释一下这里用logistic regression的意义吗？我到底该不该用呢？
如果问得太笨了，请轻砸……
☆──────────────────────── |
|
h*******e
发帖数: 68 | 37 ☆─────────────────────────────────────☆
espace (不雅吗？) 于 (Mon Jul 31 14:40:12 2006) 提到:
在logistic regression里，是不是增加一个variable，percentages of concordance就
一定会增大？
谢谢！
☆─────────────────────────────────────☆
espace (不雅吗？) 于 (Mon Jul 31 15:25:58 2006) 提到:
因为我觉得是不是和linear regression的R square一样？
有哪位大侠遇到过这样的问题？
就
☆─────────────────────────────────────☆
espace (不雅吗？) 于 (Tue Aug 1 09:17:40 2006) 提到:
没有人说说吗？还是我的问题太弱智？
有大侠论证过吗？
就
☆─────────────────────────────────────☆
sir ( 郎 ) 于 (Tue |
|
s******e
发帖数: 841 | 38 I have a dataset with 1 response variable and 20 predictor variables (
continuous and categorical). The sample size is around 3000. The the result
of multiple regression methods is poor (with R2 less than 0.2). I have tried
regression tree method, but I can not even form a tree with the dataset (I
mean the number of terminal node is only one).
Is there any other method that I can try to get a good fit?
Maybe I can try to do the transformation with some of the predictors, but
how can I find the b |
|
f*******r
发帖数: 257 | 39 As I understand it, if x and y are cointegrated, then ols is consistent.
Nothing needs to be done other than ols. But a cointegration test needs to
be done a priori.
If x is i(1), then y on diff(x) can be regressed by ols. However, many
times it's not meaningful to regress y on diff(x)... |
|
m****d
发帖数: 331 | 40 Suppose that the it is a multiple linear regression model and constraints on
the estimated parameters are: beta1+beta2+...+beta(n) >=0
When I have done the regression, and want to do the hypothesis testing, what
statistics I should use?
H0: beta1=beta2...=beta(n)=0
H1: beta1+beta2+...+beta(n) >0
Now I use F test, comparing the unrestircted model and restricted model, to
test if the results are statistically significant...if the statistic >
critical value of F at 0.05, reject the null hypothesis. |
|
s***i
发帖数: 49 | 41 如果一个logit regression, 没有explanatory variable (除了 constant term), 它
的deviance 是不是 0 ？
有个logit regression, 2个explanatory variables, A and B. 我现在要做一个drop-
in- deviance test，hypothesis 是 "neither A nor B" is significant。 能不能找
到full model 的 deviance, 然后reduced model 就是A 和 B 都没有，什么都没有，
就是deviance=0. 所以这个 drop in deviance 就是 full model的deviance.
对吗？ |
|
v*******g
发帖数: 334 | 42 how to do power analysis for an interaction in multiple regression?
what power is to detect an interaction in multiple regression ?
how power changes when varying effect size of interction( Beta of interction
)?
proc power / proc GLMPOWER ? |
|
f*******r
发帖数: 257 | 43 We need to distinguish between the error term and the regression residual.
The regression residual is, by design, uncorrelated with the X's. On the
other hand, we need to assume that the error term is uncorrelated with the X
's to have an unbiased estimator. These two are different concepts. |
|
w********e
发帖数: 944 | 44 why not grab a book on linear regression. Read the first chapter on simple
linear regression carefully. You amy have a clear understanding on the basic
concepts by then. |
|
i*****r
发帖数: 1302 | 45 【 以下文字转载自 Quant 讨论区 】
发信人: iambear (我是熊), 信区: Quant
标 题: 如何验证regression的有效性?
发信站: BBS 未名空间站 (Tue Mar 17 16:36:07 2009)
比如我用1-lag regression(或者别的模型)做预测,出来的和真实值比较.怎么判断模型
的有效性? |
|
n*****x
发帖数: 9 | 46 Is anyone here familiar with noparametric regression, spline regression
modelling? Especially SAS macro codes?
Thanks very much |
|
s**c
发帖数: 1247 | 47 Linear regression可以计算partial R-square看relative contribution of each var.
Logistic regression有没有类似的statistic可以看relative contribution的？
3x |
|
d*******1
发帖数: 293 | 48 I use multiple linear regression model to analyze 40 years historical market
data. However, when I divided 40 years data into 10 years periods, I found
I got four different best fit model.
So is there any better way to analyze data, like time series regression
model?
Hope to get some suggestion. |
|
o******6
发帖数: 538 | 49 ☆─────────────────────────────────────☆
violetfanlin (简单就是力量) 于 (Sun Mar 1 01:42:28 2009) 提到:
想知道为什么：Logistic regression is used extensively in the medical and
social sciences as well as marketing applications such as prediction of a
customer's propensity to purchase a product or cease a subscription.
将这个模型运用于这些领域是不是合理和符合实际呢？如果是，是由怎样的process和
method来prove的呢？
谢谢大牛们！
☆─────────────────────────────────────☆
samleelyz (小蓝脸儿) 于 (Sun Mar 1 10:02:43 2009) 提到:
我不是大牛，我觉得用logistic regression是不 |
|
c*******s
发帖数: 664 | 50 Linear regression可以用R2
Logistic可以用C value
那么对Non linear regression用什么方法来评估模型的好坏呢？ |
|
