d*****t
发帖数: 7903 | 1 问一个挺初级的实用问题：
如果有一个由7个点span成的6-dim 线形空间，其中5个点可以组成一个subspace S1,
如何快速的找到subspace S2 (基), so that S2 is perpendicular to S1?
线代学得还不到家，遇到实际问题就有点茫然了。
谢谢 | s*****n
发帖数: 2174 | 2 这个就是典型的回归问题啊. 设前5各点为V1,..,V5. 后面的两个点叫V6, V7.
分别用V6和V7对V1和V5的组合做回归, 得到两个residual向量, 就是S2空间的两个基.
回归(y=ax+e)的本质, 就是找y在X的列向量生成的空间中的投影, 其剩余部分e就是y里
面垂直于x空间的的部分.
如果用代数, 就把5各点列向量合并成矩阵X, 两个点的列向量合并成矩阵Y. S2空间其实
就是
Y - X(X^TX)^{-1}X^TY = (I - X(X^TX)^{-1}X^T)Y
那个X(X^TX)^{-1}X^T也叫hat矩阵, 是高维空间向子空间的投影矩阵. 而 I-hat 就是子
空间对高维空间的补空间的投影矩阵.
【在 d*****t 的大作中提到】
: 问一个挺初级的实用问题：
: 如果有一个由7个点span成的6-dim 线形空间，其中5个点可以组成一个subspace S1,
: 如何快速的找到subspace S2 (基), so that S2 is perpendicular to S1?
: 线代学得还不到家，遇到实际问题就有点茫然了。
: 谢谢
| d*****t
发帖数: 7903 | 3 一句话点醒梦中人，你这个法子好，我也重新更新了一遍对回归问题的理解。
我中午正在琢磨着能否用QR decomposition (Gram-Schmidt process),现在想来原理是
大同小异的。Gram-Schmidt is nothing but a series of regressions.
多谢多谢！
.
其实
是子
【在 s*****n 的大作中提到】
: 这个就是典型的回归问题啊. 设前5各点为V1,..,V5. 后面的两个点叫V6, V7.
: 分别用V6和V7对V1和V5的组合做回归, 得到两个residual向量, 就是S2空间的两个基.
: 回归(y=ax+e)的本质, 就是找y在X的列向量生成的空间中的投影, 其剩余部分e就是y里
: 面垂直于x空间的的部分.
: 如果用代数, 就把5各点列向量合并成矩阵X, 两个点的列向量合并成矩阵Y. S2空间其实
: 就是
: Y - X(X^TX)^{-1}X^TY = (I - X(X^TX)^{-1}X^T)Y
: 那个X(X^TX)^{-1}X^T也叫hat矩阵, 是高维空间向子空间的投影矩阵. 而 I-hat 就是子
: 空间对高维空间的补空间的投影矩阵.
| N**D
发帖数: 10322 | 4 deflation
【在 d*****t 的大作中提到】
: 问一个挺初级的实用问题：
: 如果有一个由7个点span成的6-dim 线形空间，其中5个点可以组成一个subspace S1,
: 如何快速的找到subspace S2 (基), so that S2 is perpendicular to S1?
: 线代学得还不到家，遇到实际问题就有点茫然了。
: 谢谢
| N**D
发帖数: 10322 | 5 赞基本功
.
其实
是子
【在 s*****n 的大作中提到】
: 这个就是典型的回归问题啊. 设前5各点为V1,..,V5. 后面的两个点叫V6, V7.
: 分别用V6和V7对V1和V5的组合做回归, 得到两个residual向量, 就是S2空间的两个基.
: 回归(y=ax+e)的本质, 就是找y在X的列向量生成的空间中的投影, 其剩余部分e就是y里
: 面垂直于x空间的的部分.
: 如果用代数, 就把5各点列向量合并成矩阵X, 两个点的列向量合并成矩阵Y. S2空间其实
: 就是
: Y - X(X^TX)^{-1}X^TY = (I - X(X^TX)^{-1}X^T)Y
: 那个X(X^TX)^{-1}X^T也叫hat矩阵, 是高维空间向子空间的投影矩阵. 而 I-hat 就是子
: 空间对高维空间的补空间的投影矩阵.
| h******a
发帖数: 198 | 6 也可以把这7个点组成一个矩阵，计算特征值，算单位化正交特征向量 也可以 |
|
