|
g****g
发帖数: 1828 | 2 In probability theory, the normal (or Gaussian) distribution, is a
continuous probability distribution that is often used as a first
approximation to describe real-valued random variables that tend to cluster
around a single mean value. The graph of the associated probability density
function is “bell”-shaped, and is known as the Gaussian function or bell
curve:[nb 1]
f(x) = \tfrac{1}{\sqrt{2\pi\sigma^2}}\; e^{ -\frac{(x-\mu)^2}{2\sigma^2}
},
where parameter μ is the mean (location of the pe... 阅读全帖 |
|
|
N**D
发帖数: 10322 | 4 相对熵？
why do you want to translate it? |
|
a***n
发帖数: 404 | 5 查出来了，好像就是相对熵，谢谢~~
找本中文版的《信息论》，看起来容易点啊。快一点啊。反正这些也是经典的，老点的
不要紧的。 赫赫。 |
|
b*********d
发帖数: 139 | 6 挂我第二作者我就讲！
kidding!
自己看看WIKI吧，应该是可以。而且很符合。
Kullback–Leibler divergence有叫information gain，非对称的function,真好用于
你的情况。
InfoGain(New|Old). |
|
n******7
发帖数: 12463 | 7 谢谢Princeton PhD
不懂的太多，顺便学习了一下Kullback–Leibler divergence的公式
这个结果正式我想要的
我实际是要求 p>=0.95,然后用training sample 评估k的大小
k的值是某个关键variable a的函数
有这个结果我就可以plot information gain vs a了
这种策略如果没有一个标准名字，我就自己起一个吧，哈哈 |
|
m****a
发帖数: 2593 | 8 这恐怕是不可能了，我感兴趣的是那些重要的思想，这篇文章讲的我觉得
对我的胃口。
http://blog.sciencenet.cn/blog-4909-243368.html
“不过，准备在工科专业领域内做深入研究的学生们应当花一点时间读一点最基础的数
学。除了工科大学已经教过的高等数学等课程外，可以读一点实分析和近世代数的入门
知识。了解一点关于集合、测度、连续统、Lebesgue积分，以及初等数论、群这些基本
概念。学习这些基本知识不需要太多的时间，而对进一步学习数学理论很有必要。对于
更深入广泛的数学知识，不妨先采用“浏览学习法”：试着读一读，不太懂不要紧，但
要求快一些，多一些。“浏览学习法”的目的是了解数学涉及的各个方面，为将来深入
学习提供线索。不要小看那些似懂非懂的线索。如果你积累了较丰富的线索，它们会扩
展你的思路，在需要的时候引导你较快地了解必须深入准备的基础。缺乏线索，脑子里
要么一片空白，要么产生一些不切实际的空想，自然难以作研究工作。”
"工科学生可以发挥自己在形象思维方面的长处去理解数学。如果这样，你或许会发现
数学中的若干知识不仅有趣，而且有用。这里说一说几... 阅读全帖 |
|
m****a
发帖数: 2593 | 9 这恐怕是不可能了，我感兴趣的是那些重要的思想，这篇文章讲的我觉得
对我的胃口。
http://blog.sciencenet.cn/blog-4909-243368.html
“不过，准备在工科专业领域内做深入研究的学生们应当花一点时间读一点最基础的数
学。除了工科大学已经教过的高等数学等课程外，可以读一点实分析和近世代数的入门
知识。了解一点关于集合、测度、连续统、Lebesgue积分，以及初等数论、群这些基本
概念。学习这些基本知识不需要太多的时间，而对进一步学习数学理论很有必要。对于
更深入广泛的数学知识，不妨先采用“浏览学习法”：试着读一读，不太懂不要紧，但
要求快一些，多一些。“浏览学习法”的目的是了解数学涉及的各个方面，为将来深入
学习提供线索。不要小看那些似懂非懂的线索。如果你积累了较丰富的线索，它们会扩
展你的思路，在需要的时候引导你较快地了解必须深入准备的基础。缺乏线索，脑子里
要么一片空白，要么产生一些不切实际的空想，自然难以作研究工作。”
"工科学生可以发挥自己在形象思维方面的长处去理解数学。如果这样，你或许会发现
数学中的若干知识不仅有趣，而且有用。这里说一说几... 阅读全帖 |
|
a***w
发帖数: 30 | 10 The distance between two distribution funcion,
related with entropy or relative entropy:
D(p||q)=\sum_{x\in\Xc}{p(x)log(\frac{p(x)}{q(x)})} |
|
f***a
发帖数: 329 | 11 The test statistic used in Kolmogorov–Smirnov test makes me very
uncomfortable because it only measures the supreme distance between two
empirical distributions while other information are ignored.
I would suggest Hellinger distance or Kullback–Leibler distance for better
accuracy. |
|
a*****i
发帖数: 1045 | 12 第一年，完全没什么概念呢。已经开始选择论文题目了。现在有几个option，不知道有
没有好心人可以帮忙看看哪些方向比较好，或者对将来工作会有帮助。
自己之前定了跟statistical process control 有关的方向。但不怎么样。
1. Title : A comparison of different statistical process monitoring schemes
on real life data （这个是关于statistical process control的）
It is often desirable to provide online monitoring for industrial or
agricultural processes. Faced with the task of performing such monitoring,
practitioner will often choose to apply a control chart. However, there many
options available, and it i... 阅读全帖 |
|
f*********2
发帖数: 48 | 13 分布函数已知，就用 Kullback-Leibler divergence 刻画二者差异。但这个 KL
divergence 不满足对称性，因此不是距离。
分布函数未知，大样本情况下用经验分布函数近似。比较二者，KS test 离散连续通吃
，统计量由 maximum distance between empirical distribution functions 构造，
服从 Kolmogorov 分布。
我老板的座佑铭是“客户是上帝〃，客户让干什么就干什么。
青岛啤酒不错。
etc. |
|
f*********2
发帖数: 48 | 14 分布函数已知，就用 Kullback-Leibler divergence 刻画二者差异。但这个 KL
divergence 不满足对称性，因此不是距离。
分布函数未知，大样本情况下用经验分布函数近似。比较二者，KS test 离散连续通吃
，统计量由 maximum distance between empirical distribution functions 构造，
服从 Kolmogorov 分布。
我老板的座佑铭是“客户是上帝〃，客户让干什么就干什么。
青岛啤酒不错。
etc. |
|
l*******s
发帖数: 1258 | 15 有不少方法，比如Euclidean distance，比如Cosine，比如Kullback–Leibler
建议用cosine，各种结果表明，是个不错的方法
另外可以试试KL，虽然是个asymmetric，但是不妨试试。 |
|
