t*********u
发帖数: 26311 | 1 【 以下文字转载自 ebiz 讨论区 】
发信人: heWG (我要减肥！！！), 信区: ebiz
标 题: [爆] ID sparseli (转载)
发信站: BBS 未名空间站 (Tue Oct 9 19:00:55 2012, 美东)
发信人: heWG (我要减肥！！！), 信区: FleaMarket
标 题: [爆] ID sparseli (转载)
发信站: BBS 未名空间站 (Tue Oct 9 19:00:37 2012, 美东)
发信人: BCBill (Bill), 信区: ebiz
标 题: [爆] ID sparseli (转载)
发信站: BBS 未名空间站 (Tue Oct 9 18:55:12 2012, 美东)
发信人: BCBill (Bill), 信区: FleaMarket
标 题: [爆] ID sparseli
发信站: BBS 未名空间站 (Tue Oct 9 18:54:50 2012, 美东)
事情很简单，据说借别人的账号在amz买了我一个FBA打印机，然后我卖掉的时候在版上
说了一声疑似evil,他迫于压力就给我退... 阅读全帖 |
|
h**G
发帖数: 9825 | 2 【 以下文字转载自 FleaMarket 讨论区 】
发信人: heWG (我要减肥！！！), 信区: FleaMarket
标 题: [爆] ID sparseli (转载)
发信站: BBS 未名空间站 (Tue Oct 9 19:00:37 2012, 美东)
发信人: BCBill (Bill), 信区: ebiz
标 题: [爆] ID sparseli (转载)
发信站: BBS 未名空间站 (Tue Oct 9 18:55:12 2012, 美东)
发信人: BCBill (Bill), 信区: FleaMarket
标 题: [爆] ID sparseli
发信站: BBS 未名空间站 (Tue Oct 9 18:54:50 2012, 美东)
事情很简单，据说借别人的账号在amz买了我一个FBA打印机，然后我卖掉的时候在版上
说了一声疑似evil,他迫于压力就给我退回来了。说是原封不动退回来的，但是amz界定
为defective。
站内说是他同学买的，结果全程都是li同学自己联系的我，这怎么让我相信是我同学？
Hi,
今天查论文, 偶尔看到这条信息. 发... 阅读全帖 |
|
i******4
发帖数: 20643 | 3 ☆─────────────────────────────────────☆
heWG (我要减肥！！！) 于 (Tue Oct 9 19:00:55 2012, 美东) 提到:
发信人: heWG (我要减肥！！！), 信区: FleaMarket
标 题: [爆] ID sparseli (转载)
发信站: BBS 未名空间站 (Tue Oct 9 19:00:37 2012, 美东)
发信人: BCBill (Bill), 信区: ebiz
标 题: [爆] ID sparseli (转载)
发信站: BBS 未名空间站 (Tue Oct 9 18:55:12 2012, 美东)
发信人: BCBill (Bill), 信区: FleaMarket
标 题: [爆] ID sparseli
发信站: BBS 未名空间站 (Tue Oct 9 18:54:50 2012, 美东)
事情很简单，据说借别人的账号在amz买了我一个FBA打印机，然后我卖掉的时候在版上
说了一声疑似evil,他迫于压力就给我退回来了。说是原封不动退回来的，但是amz界定
为def... 阅读全帖 |
|
g******a
发帖数: 730 | 4 【 以下文字转载自 Programming 讨论区 】
发信人: greentea (挠挠新生活), 信区: Programming
标 题: 急问：C里的sparse matrix包？
发信站: BBS 未名空间站 (Tue Feb 6 14:56:39 2007)
我有一个大的binary sparse matrix,想做的操作只是对于每一列取出其行数和数值进
行计算，C里有什么简单的sparse matrix的包可以用吗？多谢～～ |
|
z****g
发帖数: 1978 | 5 sparse regression? 如果是说X是sparse matrix的话，找一个sparse matrix的库就可
以了啊 |
|
p*e
发帖数: 6785 | 6 所谓sparse，只是相对于别的比如 L2 L3，不是绝对的。
你还可以不是方形，L0.5 这种边凹进去的，那更sparse |
|
h**G
发帖数: 9825 | 7 【 以下文字转载自 ebiz 讨论区 】
发信人: BCBill (Bill), 信区: ebiz
标 题: [爆] ID sparseli (转载)
发信站: BBS 未名空间站 (Tue Oct 9 18:55:12 2012, 美东)
发信人: BCBill (Bill), 信区: FleaMarket
标 题: [爆] ID sparseli
发信站: BBS 未名空间站 (Tue Oct 9 18:54:50 2012, 美东)
事情很简单，据说借别人的账号在amz买了我一个FBA打印机，然后我卖掉的时候在版上
说了一声疑似evil,他迫于压力就给我退回来了。说是原封不动退回来的，但是amz界定
为defective。
站内说是他同学买的，结果全程都是li同学自己联系的我，这怎么让我相信是我同学？
Hi,
今天查论文, 偶尔看到这条信息. 发现我的信息被盗用. 可能是熟人做的.
我从不做这样的事情. 希望你找版主删除这条信息. 谢谢! 如果不相信的话,
我们可以电话联系.
发信站: 未名空间 (Mon Oct 8 22:20:42 2012)
来 源: 128.
... 阅读全帖 |
|
p****8
发帖数: 4158 | 8 re
【 以下文字转载自 ebiz 讨论区 】
发信人: BCBill (Bill), 信区: ebiz
标 题: [爆] ID sparseli (转载)
发信站: BBS 未名空间站 (Tue Oct 9 18:55:12 2012, 美东)
发信人: BCBill (Bill), 信区: FleaMarket
标 题: [爆] ID sparseli
发信站: BBS 未名空间站 (Tue Oct 9 18:54:50 2012, 美东)
事情很简单，据说借别人的账号在amz买了我一个FBA打印机，然后我卖掉的时候在版上
说了一声疑似evil,他迫于压力就给我退回来了。说是原封不动退回来的，但是amz界定
为defective。
站内说是他同学买的，结果全程都是li同学自己联系的我，这怎么让我相信是我同学？
Hi,
今天查论文, 偶尔看到这条信息. 发现我的信息被盗用. 可能是熟人做的.
我从不做这样的事情. 希望你找版主删除这条信息. 谢谢! 如果不相信的话,
我们可以电话联系.
发信站: 未名空间 (Mon Oct 8 22:20:42 2012)
来 源: 12... 阅读全帖 |
|
s*******y
发帖数: 558 | 9 【 以下文字转载自 CS 讨论区 】
发信人: starrysky (冰糖葫芦_爱可不可以永远幸福没有悲伤), 信区: CS
标 题: 请推荐一个处理sparse matrix SVD的java library
发信站: BBS 未名空间站 (Wed Feb 13 22:10:21 2008), 转信
Jama只能处理dense matrix
请问有没有open source的java libary能处理sparse matrix， 包括常见的运算譬如Si
ngular Value Decomposition的。
谢谢 |
|
J***J
发帖数: 6000 | 10 我们文科僧看问题角度和你们就是不一样
一个这么简单的问题怎么就给你们搞那么复杂呢
这不就是liyuanchao操(|x|) L1的老木(norm)导致他的JJ sparse
很难理解吗 |
|
|
发帖数: 1 | 12 A sparse matrix and find the connected components using multi threading
using all the cores.
execution time criteria 3 s => good, 2s =>great 700 ms => excellent |
|
s*******y
发帖数: 558 | 13 Jama只能处理dense matrix
请问有没有open source的java libary能处理sparse matrix， 包括常见的运算譬如Si
ngular Value Decomposition的。
谢谢 |
|
r*******w
发帖数: 121 | 14 i am looking for a java package that can work with fairly large sparse
matrix...for example, 900x10000, 3000x20000...am using COLT...but for the
smallest matrix (900x10000), it runs out of memory after three
days...investigating jama, jmp, jlapack now...but wonder if anyone has
particular experience with these packages to share...that would save me great
deal of time~~~~thanks~ |
|
w**w
发帖数: 100 | 15 需要解个方程 AX = b， A b 都是稀疏矩阵, 比较大。
size(A) = 50000, 50000
size(b) = 60000, 50000
matlab: x = b/A
用了 20 分钟，内存最多时居然用了 75G
python:
xx = scipy.sparse.linalg.splu(A)
xx_inv = xx.solve(np.eye(A.shape[0]))
x = b*xx_inv.T
同样用了很大内存，算了很久还没完，杀了。
有什么好的算法， 快 还少占内存？
多谢 |
|
w***n
发帖数: 1084 | 16 He can do A^T A x = A^T b, if A^T A is still sparse enough... |
|
w**w
发帖数: 100 | 17 没消失。 老婆前天出了车祸， 没时间来看大牛们的回帖， 不好意思
物理问题是，用DC 近似 解电网的 shift factor 或者叫 PTDF。
从书上看到如下方法：
PTDF = H * A * B^-1
H is an M×M matrix whose non-diagonal elements are all zero
A is the M×N adjacency matrix. It is also called the node- arc incidence
matrix, or the connection matrix
按我的理解 HXA 应该是 sparse... 但具体什么性质对于解法应该影响不大。主要问题
是怎么求 B^-1
B is an N × N matrix that is determined by the characteristics of the
transmission network as follows:
B_ii is positive numbers.
B_ij = B_ji are negative numbers. 稀疏对称矩... 阅读全帖 |
|
d****a
发帖数: 23 | 18 It is an 3D elliptic problem with periodic boundary conditions in lateral
boundaries and fixed top and bottom boundary condtions. After discretizing
by finite difference method, I get a big coefficient matrix with 39 nonzero
elements in each row. The matrix has dimension about 75,0000. Now the
problem is to solve the sparse linear system. However, this matrix elements
have a large numerical range, spaning 10 orders of magnitude. It is
nonsymmetric, not diagonally dominant, and not positive defin |
|
b***e
发帖数: 38 | 19 Perhaps you need to go back to physics or work on basis functions to make
the matrix better conditioned.
nonzero
elements
Sparse |
|
k*********g
发帖数: 791 | 20 dense matrix 为啥比 sparse matrix 解起来慢？
这个用最基本的哲学就知道了：我们处于的物理世界，包括一部分的数学世界，都有1
个原则：
邻居原则。
或者说，manifold 流型
求解线性方程的过程，就是对角线化过程。稀疏矩阵 跟 对角线矩阵 之间 的 metric
比 dense matrix 和 对角线 matrix 之间 的 metric 小，所以。。。 |
|
w**w
发帖数: 100 | 21 需要解个方程 AX = b， A b 都是稀疏矩阵, 比较大。
size(A) = 50000, 50000
size(b) = 60000, 50000
matlab: x = b/A
用了 20 分钟，内存最多时居然用了 75G
python:
xx = scipy.sparse.linalg.splu(A)
xx_inv = xx.solve(np.eye(A.shape[0]))
x = b*xx_inv.T
同样用了很大内存，算了很久还没完，杀了。
有什么好的算法， 快 还少占内存？
多谢 |
|
n******i
发帖数: 118 | 22 Matlab 把A,B存成sparse matrix呢 |
|
M****e
发帖数: 3715 | 23 把b拆成列向量 每个单独用迭代
sparse矩阵的线性方程迭代算法wiki上有应该介绍一些吧 |
|
|
w**w
发帖数: 100 | 25 需要解个方程 AX = b， A b 都是稀疏矩阵, 比较大。
size(A) = 50000, 50000
size(b) = 60000, 50000
matlab: x = b/A
用了 20 分钟，内存最多时居然用了 75G
python:
xx = scipy.sparse.linalg.splu(A)
xx_inv = xx.solve(np.eye(A.shape[0]))
x = b*xx_inv.T
同样用了很大内存，算了很久还没完，杀了。
有什么好的算法， 快 还少占内存？
多谢 |
|
n******i
发帖数: 118 | 26 Matlab 把A,B存成sparse matrix呢 |
|
M****e
发帖数: 3715 | 27 把b拆成列向量 每个单独用迭代
sparse矩阵的线性方程迭代算法wiki上有应该介绍一些吧 |
|
|
l***a
发帖数: 12410 | 29 i already have the data and trying to model the good/bad using logistic
regression. if I simply regress on the raw data, the model has a AUC of 0.75
and correct rate of 90% which looks not bad. but when I look at the correct
rate for good and bad the performance will look like
good: 1798 correct and 152 incorrect
bad: 2 correct and 48 incorrect
overall correct rate is 90% but for the bad part it's only 4%. I think that'
s due to the data is sparse. how do I work on it? |
|
t********y
发帖数: 469 | 30 sparse data
你应该给那些outcome不同的weight
再来run 那个proc logistic
比如说 yes的obs是1个
no的obs是100个
可以把no的outcome先group一下，只取10的obs
再给yes的weight=1
no的obs的weight =10 |
|
t********y
发帖数: 469 | 31 我很肯定，你必须给sparse data 加一个weight，才能做proc logistic，不过怎么创建weight，你可以自己选择不同的方法，这个可以很灵活。比如说x的值，可以取group的mean,median之类的。具体的操作，我记不大清楚了，以前看别的组有人这么做过。
如果是proc genmod
你可以先group这些data再来run你的model
model y/n = x /dist=bin link=logit;
hope |
|
t********y
发帖数: 469 | 32 sparse data
proc logistic 创建weight 变量，是我公司别的组作modeling的时候用的方法
proc genmod 用grouped data比ungrouped data的deviance更可靠，是学校的老师教授的。
你爱信不信。
你也甭跟我抬杠了，你觉得我说的不对，你就给个正确答案好了。 |
|
s***r
发帖数: 1121 | 33 Can SAS do the nonnegative sparse principal component analysis? |
|
s******g
发帖数: 972 | 34 小弟想给一类疾病死亡率作multivariate analysis
在考虑racial effect的时候，发现某些特定州因为aferican americn,或者asian/paci
fic数据不够，都是sparse data，就算一个病例，特定种族死亡率比其他州高，请教各
位，这种数据该如何处理。
example:
HAWAII 26.9101 9.2136 9.2136 5.1458 18.9816 2.1609 0 0
1.6396 0 2.3328
IDAHO 85.5819 0 0 0 25.4739 0 10.4516 0
0 2.9066 0
MAINE 68.9685 2.9198 2.9198 14.7624 25.4641 0 0 0
5.8873 3.4215 4.4782
NORTH DAKOTA 19.5924 0 0 ... 阅读全帖 |
|
c*****r
发帖数: 156 | 35 请教一下：一般处理sparse data的方法有哪些呢？
目的是想做clustering／classification
谢谢！ |
|
f**d
发帖数: 768 | 36 这是一本计算神经科学的优秀著作，全文拷贝这里（图和公式缺），有兴趣的同学可以
阅读
如需要，我可以分享PDF文件（－－仅供个人学习，无商业用途）
From Computer to Brain
William W. Lytton
From Computer to Brain
Foundations of Computational Neuroscience
Springer
William W. Lytton, M.D.
Associate Professor, State University of New York, Downstato, Brooklyn, NY
Visiting Associate Professor, University of Wisconsin, Madison
Visiting Associate Professor, Polytechnic University, Brooklyn, NY
Staff Neurologist., Kings County Hospital, Brooklyn, NY
In From Computer to Brain: ... 阅读全帖 |
|
发帖数: 1 | 37 我可以看得到，copy paste将就看下吧
Image
CreditCreditPhoto illustration by Joan Wong. Photographs by Ronghui Chen for
The New York Times.
Skip to content
Skip to site index
Where Does Affirmative Action Leave Asian-Americans?
A high-profile lawsuit against Harvard is forcing students and their
families to choose sides.
CreditCreditPhoto illustration by Joan Wong. Photographs by Ronghui Chen for
The New York Times.
By Jay Caspian Kang
Photographs by Ronghui Chen
Published Aug. 28, 2019
Updated Sept. ... 阅读全帖 |
|
p**m
发帖数: 11571 | 38 ☆─────────────────────────────────────☆
MrSingleton (unique) 于 (Sat Dec 29 22:18:04 2012, 美东) 提到:
老板太mean了，他的phd一个个忍气吞声的。我本来是自费读master的，但当时成绩在
所有graduate student里面是最好的，我老板就游说我读phd说他有钱支持我，我想挺
好啊，可以为家里省点钱，还有个phd的光环，一时欣喜就答应了，现在悔的肠子都清
了。和我一届的master的同学都找到了很好的工作，微软，亚麻，谷歌的都有，就连最
差的一个也找了一个小公司，日子过的挺爽的。
而我呢，整天被老板push，说话难听，因为我还算比较能干的，经常出活，出活时我本
来很开心，但从他那里得不到一丝安慰，反倒更加push我。这些我都忍了，但上个星期
因为是圣诞节，我就想向他请几天假和朋友一起出去玩。谁知道他确无名地对我发火，
还扬言要fire我，居然说你要是请假就滚出去不要再回来了。我当时晕了，我操，老子
又不确你那两个臭钱，你他妈的当时找到我主动给我钱的。现在居然让我“滚”，实在... 阅读全帖 |
|
s****h
发帖数: 3979 | 39 data frame API 1.3 才有。
弄进一个dense vector很直接：
import org.apache.spark.mllib.linalg.{Vector, Vectors}
val path = "～/test60m.txt"
val minPartitions = 4
val parsed = sc.textFile(path, minPartitions)
.map(_.trim)
.filter(line => !(line.isEmpty || line.startsWith("#")))
val a = parsed.map({ line =>
val fields = line.split(" ")
(fields(0).toInt, fields(1))})
val dataLoad = a.map(x => (x._1, Vectors.dense(x._2.split(',').map(_.
toDouble))))
可是sparse vector就不会了。
不知道怎么结合下面的例子
// Create a dense vector (... 阅读全帖 |
|
发帖数: 1 | 40 现在美国农村的萧条和悲惨
Rural America Is the New ‘Inner City’
A Wall Street Journal analysis shows that since the 1990s, sparsely
populated counties have replaced large cities as America’s most troubled
areas by key measures of socioeconomic well-being—a decline that’s
accelerating
At the corner where East North Street meets North Cherry Street in the small
Ohio town of Kenton, the Immaculate Conception Church keeps a handwritten
record of major ceremonies. Over the last decade, according to these
sacramen... 阅读全帖 |
|
c****n
发帖数: 21367 | 41 wooops, it is sparse... 20k x 20k sparse is really not too bad
however, for sparse matrix inversion, the first of the first is to
check whether there is empty row/column...
try "help sparse" in matlab...
.. |
|
t*******1
发帖数: 135 | 42 所以只是看列顺序，而不是看feature name是吗？
另外，predict的时候用原本的data matrix还是用了sparse.model.matrix之后的
sparse matrix呢？我试了一下用这两个结果不一样。我model training的时候是用的
sparse matrix，是不是predict的时候也要用sparse matrix？ |
|
p****n
发帖数: 9263 | 43 创刊号上这篇河南兄弟的大作是希伯来语的吗？
Paulownia serrata - a New Species from China
Dali Fu
Paulownia Research and Development Center, The Chinese Academy of Forestry,
Zhengzhou, Henan 450003, China, f****[email protected]
Paulownia serrata D. L. Fu et T. B. Zhao, sp. nov. Plate I
Species P. kawakamii Ito. similis, sed ramulis foliisque juvenilibus et
petiolis dense pilis longi-glandulosis et glandulis mastoideis, breviter
pilis glandulosis sparse villis rare dendro-pilis. foliis cordatis margine
irregulariter serrat... 阅读全帖 |
|
r****t
发帖数: 10904 | 44 ok，我 32 bit 下的，加两个整数 30 byte，第三个是 None, 不算的。
还有，你这个 graph 相当 sparse, 用 sparse matrix 直接上也是个办法，奖励是不少 sparse matrix 的算法。不过打死都不用矩阵操作的话就算了。 |
|
S*A
发帖数: 7142 | 45 sparse matrix 不知道能不能对付 8M x 8M.
scipy 到是有个 sparse package, 我怀疑不太行的。
sparse matrix link list 也是要费 memory 的。
64 bit 上面 pointer 8 byte, 不如 4 byte int 划算。 |
|
|
j********3
发帖数: 560 | 47 请问对于一个用sparse方式存储的接近奇异的矩阵，该如何求它的逆矩阵呢？如果不是
用sparse方式存储，可以用pinv命令来求，但是pinv命令对sparse方式存储的矩阵是无
效的。多谢了！ |
|
j********3
发帖数: 560 | 48 我原来用sparse来生成大矩阵，做奇异值分解的时候要用svds命令，但是svds本身调用
了zeros函数，这时程序提示
"Product of dimensions is greater than maximum integer."
或者有时候就是"out of memory"。请问碰到这种情况应该怎么办呢？
我最初的目的是要求解线性方程组，但是所要求解的线性方程组的系数矩阵接近奇异，
在版上求教之后得各位大虾指点，使用pinv函数得到了较好的结果。但是之后当所要处
理的系数矩阵增大（至大约2000×2000）时，程序提示"out of memory"。后使用
sparse命令代替zeros命令生成矩阵，但是却无法使用pinv，因为pinv本身调用的是svd
函数做奇异值分解，而对于sparse方式存储的矩阵，要使用svds命令。于是我就自己写
code用svds命令做奇异值分解，但是发现svds本身也用到了zeros来生成零矩阵，这样
，我就没有办法再进行下去了，因为我总不能将我要用的matlab自带函数都重新写一遍
。再次来版上求助，多谢各位大虾了。 |
|
f*****x
发帖数: 2748 | 49 T. Tao 是以他的调和分析功力取胜的吧。
sparse sensing这个领域的开创者应该是Donoho和Candes师徒(独立做的)。
我想像tao是这样惨和进sparse sensing的，有一次candes去某ucla的
daycare时(当时candes老婆在ucla任教)碰到tao,估计告诉了tao自己
正在做的东西并且有技术上困难，然后tao迅速搞定。他们另一项合作
是Dantzig selector,但是在领域里并不怎么被看好。 |
|
g*******n
发帖数: 2198 | 50 http://math.stackexchange.com/questions/1664018/is-there-an-ite
主要两个问题
1.U比较大的时候 没法直接算的时候怎么处理 LSMR只能解决Sparse的时候 如果不是
Sparse 是不是没办法了
2.后半个问题 如何iteratively得到theta， LSMR虽然简化了算法 但还是要存整个U
如果U过大 有memory问题的话怎么处理 我看下面的回答 用gradient descent根据
error function来算，但error function还是需要以前的data y_i u_i 有没有办法在
新的data进来的时候只用现有的data来update theta同时minimize error of whole
history, 比如theta_(i)=f(theta_(i-1),y_i, u_i) |
|
