s****h
发帖数: 3979 | 1 two questions:
1.
For recommendation engine based on collaborative filtering, the result of
ALSWR in Mahout would be very similar to result of SVD in MLlib of spark,
right?
As the SVD with spark + MLlib performance is very good, can we forget about
ALSWR in Mahout?
2.
How to evaluate SVD?
My understanding: for a known user/item matrix M, we remove some of the
known user/item pair and get new matrix M1, then do the SVD for M1 and get
the reconstructed matrix M2. Comparing removed user/item pairs ... 阅读全帖 |
|
s******f
发帖数: 3984 | 2 现在在用svd的方法算一种correlation，具体方法很简单是这样的：
1）假设有2个N by M 的矩阵（暂且这样叫把！，x,y）， p1，p2分别是x，y的svd分解
的左矩阵 （[u S v] = svd(x) 中的u）。
2）再对p1'*p2 求是svd, 取其singular value。
问题： 如果在算p1,p2不做任何截取的话（因为一般情况如果N很大，我会做截取，取
前d个最大的singular value对应的column，但是N若很小，我就没有做）， 算得的
singular value全是1。为啥？
本人很土，真心求教。 |
|
s******f
发帖数: 3984 | 3 现在在用svd的方法算一种correlation，具体方法很简单是这样的：
1）假设有2个N by M 的矩阵（暂且这样叫把！，x,y）， p1，p2分别是x，y的svd分解
的左矩阵 （[u S v] = svd(x) 中的u）。
2）再对p1'*p2 求是svd, 取其singular value。
问题： 如果在算p1,p2不做任何截取的话（因为一般情况如果N很大，我会做截取，取
前d个最大的singular value对应的column，但是N若很小，我就没有做）， 算得的
singular value全是1。为啥？
本人很土，不过是真心求教。 |
|
s******f
发帖数: 3984 | 4 现在在用svd的方法算一种correlation，具体方法很简单是这样的：
1）假设有2个N by M 的矩阵（暂且这样叫把！，x,y）， p1，p2分别是x，y的svd分解
的左矩阵 （[u S v] = svd(x) 中的u）。
2）再对p1'*p2 求是svd, 取其singular value。
问题： 如果在算p1,p2不做任何截取的话（因为一般情况如果N很大，我会做截取，取
前d个最大的singular value对应的column，但是N若很小，我就没有做）， 算得的
singular value全是1。为啥？
本人很土，不过是真心求教。 |
|
a****o
发帖数: 42 | 5 hello guy, if there some people interested in SVD (singular
value decomposition), perhaps we can have a discussion. Let
me first give some stone so that better article can be
posted by your guys.
SVD is almost useful in any linear algebra problem (numeical
of course). The most fundamental use goes to vsolving of
linear system. When the system is not well conditioned, the
solution technique of SVD can yield almost most robust
solution.
Next SVD is very useful in extract basic modes from certain
d |
|
s****h
发帖数: 3979 | 6 SVD对binary 数据，sparse数据不友好，所以用ALS.
其实我真正想知道的是：
不考虑计算复杂度，计算时间，并行性等等，仅在accuracy上相比较，SVD是否优于
ALSWR，毕竟SVD有个singular value，而且从空间转换的角度，更有说服力。
那么如果算法A比SVD好，是否就肯定比ALSWR好？ |
|
m******6
发帖数: 67 | 7 【 以下文字转载自 Statistics 讨论区 】
发信人: maple526 (maple), 信区: Statistics
标 题: 一个关于SVD的面试题
发信站: BBS 未名空间站 (Wed Oct 23 16:16:27 2013, 美东)
面的是ExxonMobil的data mining的职位。
问题是如果矩阵的维度很大(e.g. 1000000*1000000)，内存存不下，做SVD有什么可行
的方法？ 给的提示是做SVD的算法可以转化成一个优化问题。 |
|
m******6
发帖数: 67 | 8 【 以下文字转载自 Statistics 讨论区 】
发信人: maple526 (maple), 信区: Statistics
标 题: 一个关于SVD的面试题
发信站: BBS 未名空间站 (Wed Oct 23 16:16:27 2013, 美东)
面的是ExxonMobil的data mining的职位。
问题是如果矩阵的维度很大(e.g. 1000000*1000000)，内存存不下，做SVD有什么可行
的方法？ 给的提示是做SVD的算法可以转化成一个优化问题。 |
|
L*******r
发帖数: 8961 | 9 SVD的做动机制和56半一样，所以打得准。
PSL的做动机制和AK半一样，所以打得不是很准。
罗马尼亚的PSL其实就是一把加长了的AK。真正的SVD
只有两家生产俄罗斯和中国。中国生产的SVD也叫85狙。
这些枪都是打7.63X54R的子弹。军剩弹很便宜但是无法体现枪的精度。
有功夫自己手装子弹要好得多。要是想打军剩弹的话，这支枪是好选择。 |
|
|
m******6
发帖数: 67 | 11 【 以下文字转载自 Statistics 讨论区 】
发信人: maple526 (maple), 信区: Statistics
标 题: 一个关于SVD的面试题
发信站: BBS 未名空间站 (Wed Oct 23 16:16:27 2013, 美东)
面的是ExxonMobil的data mining的职位。
问题是如果矩阵的维度很大(e.g. 1000000*1000000)，内存存不下，做SVD有什么可行
的方法？ 给的提示是做SVD的算法可以转化成一个优化问题。 |
|
q**u
发帖数: 12289 | 12 According to Wiki:
"The Russian military has established accuracy standards the SVD and its
corresponding sniper grade ammunition have to meet. Manufacturers must
perform firing tests to check if the rifles and sniper grade ammunition
fulfill these standards. To comply to the standards the SVD rifle with 7N1
sniper cartridges may not produce more than 1.24 MOA extreme vertical spread
with 240 mm twist rate barrels and no more than 1.04 MOA extreme vertical
spread with 320 mm twist rate barrels. |
|
l***1
发帖数: 1500 | 13 是的，我朋友国产SVD从来不动，拿老毛子产的SVD去打鹿，他是白人。 |
|
|
j******e
发帖数: 64 | 15 我现在把一个高维的data svd了一下， [u,s,v] = svd(data).现在想要plot first
two principal direction,
是不是取v的前两维就可以了？ data1 = u*s*v(1:2,:). |
|
r****y
发帖数: 1437 | 16 For a real matrix A, its condition number is cond(A) = x, suppose
x is a very large number.
Do SVD, let A = U*S*V'. If A is (m, n) matrix, U is (m, m) unitary
matrix, V is (n, n) unitary matrix, and S(m, n) diagonal matrix and
s11 >= s22 >= s33 ...
Truncated SVD means now let A1 = U(m, k) * S(k, k) * V(n, k)', where
k
But does it always true that cond(A') <= cond(A)?
Thanks in advance.
|
|
k****g
发帖数: 67 | 17 如果已知矩阵A的svd分解U*S*V^T
其中A, U, S, V的大小分别是mxn, mxn, nxn, nxn
如何利用这些信息构造null(A)?
ps: 如果svd能分解出 U_{mxm}, S_{mxn}, V_{nxn}，我就会构造，
但是网上找的代码都只能生成economy size的分解，郁闷 |
|
c*******d
发帖数: 255 | 18 【 以下文字转载自 Mathematics 讨论区 】
发信人: connected (disconnected), 信区: Mathematics
标 题: 有没有这种SVD的程序
发信站: BBS 未名空间站 (Mon Oct 5 17:42:03 2009, 美东)
假设B是一个mxn的矩阵，而S是mxm的对称正定阵，T是nxn的对称正定阵。
令K=S^{-1/2}*B*T^{-1/2}
有没有软件包可以根据B, S, T来得到矩阵K的SVD？
只需要singular values就好。 |
|
r***q
发帖数: 203 | 19 我记得[u S v] = svd(x) 是svd分解
没看懂2)在做什么。 |
|
j******e
发帖数: 64 | 20 我现在把一个高维的data svd了一下， [u,s,v] = svd(data).现在想要plot first
two principal direction,
是不是取v的前两维就可以了？ data1 = u*s*v(1:2,:). |
|
h*****w
发帖数: 220 | 21 I notice that there is 2-by-2 analytic SVD on Wiki and am curious about
whether there exists analytic SVD for 3-by-3 cases? Thanks a lot. |
|
h*****w
发帖数: 220 | 22 I notice that there is 2-by-2 analytic SVD on Wiki and am curious about
whether there exists analytic SVD for 3-by-3 cases? Thanks a lot. |
|
r****y
发帖数: 1437 | 23 SVD has something related to EOF, or called PCA, an very essential
statistical tool in data analysis.
Give SVD of matrix A
A = ULV
A*A = V*(L^2)V where * denotes adjoint, and L is diagonal matrix.
A*A is usually called covariance matrix of A, and the normalized
eigenvectors of A*A are called EOF (empirical othrogonal
functions). So far, EOF, or in another name, principal
component analysis, is very powerful a |
|
m******6
发帖数: 67 | 24 面的是ExxonMobil的data mining的职位。
问题是如果矩阵的维度很大(e.g. 1000000*1000000)，内存存不下，做SVD有什么可行
的方法？ 给的提示是做SVD的算法可以转化成一个优化问题。 |
|
D**u
发帖数: 288 | 25 matrix 是square的？nonzero 多不多？是不是sparse的？
anyway, 可以考虑Partial SVD + Lanczos diagonalization。
简单说：
Partial SVD 是用k dimension 去 approximate n dimesion （k
后类似 cross validation 看看是不是converge。
具体对每个k dimension的用Lanczos就是一个block接一个block的diagonalization，
然后算eigen value。
相同道理，类似的方法也有不少，不过不知道是不是你想要的答案
这些都是可以stream line的， 程序写起来很麻烦，不过如果用R早就有人package好了
。强烈推荐
R 的 irlba package参见
http://cran.r-project.org/web/packages/irlba/vignettes/irlba.pd
可以跟bigmemory package 一起用，100GB data no problem。 |
|
q*p
发帖数: 963 | 26 近期，伊拉克政府军缴获了一个稀罕物：IS武装使用的遥控狙击步枪。一支拆除了枪托
的俄制SVD狙击步枪被装在一个简陋支架上，支架由电马达驱动，可俯仰和旋转，射手
通过一个类似便携DVD的小屏幕对步枪进行控制。 |
|
c******a
发帖数: 917 | 27 randomized SVD 或者 subsample 之后用Nystrom |
|
c******a
发帖数: 917 | 28 randomized SVD 或者 subsample 之后用Nystrom |
|
|
g****r
发帖数: 1607 | 30 svd精度只有1moa据说。好的remington0.5moa没问题。 |
|
g****r
发帖数: 1607 | 31 军队搞那种超级精度的狙击步枪我个人觉得没用，够用就可以了，svd 1千多米打死个
人没问题。打在心口和肺上都一样。再远该换炮了。 |
|
j***n
发帖数: 3786 | 32 1MOA???!!!
SVD能打到2MOA就是谢天谢地了。。。 |
|
g****r
发帖数: 1607 | 33 前段时间有人贴了个视频，5.8mm的弹做专门的狙击弹了。7.62x54有需求的话应该也做
吧。SVD枪还是可以的。 |
|
k**0
发帖数: 19737 | 34 SVD的设计注定精度不会太高, 要简单又精准还是BOLT ACTION的RIFLE好. |
|
|
j***n
发帖数: 3786 | 36 有人有一只全新的Dragunov SVD要卖,俄国货,要价8千.这个枪对我来说是个传奇,连实
物都没有见过,版上有人试射过吗?!说说感觉?!
如果是国产的,我就买了收藏起来,碰见俄国货有点犹豫~~~ |
|
M*******n
发帖数: 1165 | 37 这个东西已经没有地方产了，收藏价值比较高。打的话碰一下都觉得心疼啊...再说也
不准...要我就供起来了
很喜欢SVD的造型但是没有钱，想以后要不买把airsoft要不就等重新进口tigr或有美国
工厂开始山寨.... |
|
l***a
发帖数: 2677 | 38 SVD这样的枪不打精度打啥？照相用？买个air soft好了 |
|
q**u
发帖数: 12289 | 39 全新正牌SVD？这个是有钱也买不到的东西啊。甭当枪买了，从股市撤出钱来买，当投
资吧。 |
|
k**0
发帖数: 19737 | 40 干脆去中东走私点SVD吧， 在那儿这玩意儿根本不值钱 |
|
g**********n
发帖数: 1186 | 41 苏联的Dragunov SVD很准。当然啰，你不能拿那些便宜的东欧军剩弹玩。 |
|
h*********r
发帖数: 1943 | 42 只要调好谐振，薄管一样能有比赛级精度，SVD就是一个比较成功的例子
当然过热这个问题解决起来就麻烦了 |
|
h*********r
发帖数: 1943 | 43 7N1的弹头重152gr
7N14弹头重151gr
SVD的1:12.6缠距打150gr左右的弹更准一些，后来改成1：9.4主要是为了改善打特种弹
的精度，打轻弹头有过稳的可能 |
|
M*******n
发帖数: 1165 | 44 Federal authorities are investigating whether any of the 26 AK-74 assault
rifles and a Dragunov rifle stolen from the Fort Irwin Army Post has ended
up in Fresno, California, a spokesman said Saturday.
army post竟然还有些ak74和SVD。看来是为了训练缴获敌人武器该如何使用。
http://www.cnn.com/2011/CRIME/07/30/california.stolen.firearms/ |
|
S***Z
发帖数: 1029 | 45 被偷到PRK了？不会是枪老板干的吧？天天念叨SVD。 |
|
M*******n
发帖数: 1165 | 46 我就想问是不是卖给枪老板那把SVD，正好追到加州来... |
|
|
|
S******y
发帖数: 1123 | 49 I am running this C++ code in Dev-C++ 4.9.9.2
on Windows XP Professional
this code is to solve NetFlix prize competition
problem (via SVD approach)
http://www.timelydevelopment.com/demos/NetflixPrize.
aspx
Got compilation error at line 343:
No matching function for call to
"Engine:ProcessFile(CHAR[260])'
Is my file path specified wrong???????
#define TRAINING_PATH
"G:\\_netflix\\training_set\\*.txt"
Any help would be greatly appreicated.
//==================================================
= |
|
h*********r
发帖数: 210 | 50 是不是还要先算data的covariant matrix，再做svd |
|
