d**s
发帖数: 920 | 1 请教， 用word2vec， 怎么判断两个句子的相似度 ？
把每个句子中的每个词的vector 加起来， 再做dot product,
好像不make sense.
多谢大家。 |
L******i
发帖数: 3027 | 2 Jaro-Winkler distance method |
d**s
发帖数: 920 | 3 多谢， 我搜了一下， 又看了看wiki关于Jaro-Winkler distance method的介绍。
好像 Jaro-Winkler distance不是直接用Word2Vec产生的vector.
能給一个Jaro-Winkler distance直接用Word2Vec的reference 吗 ？
多谢。
【在 L******i 的大作中提到】
: Jaro-Winkler distance method
|
s*****l
发帖数: 7106 | 4 把stopword拿走
然后取所有词的平均值就好了 |
L******i
发帖数: 3027 | 5 如果要判断语意上的相似度 那就用LSTM
如果是词上的相似度 就用我说的办法
【在 d**s 的大作中提到】
: 请教， 用word2vec， 怎么判断两个句子的相似度 ？
: 把每个句子中的每个词的vector 加起来， 再做dot product,
: 好像不make sense.
: 多谢大家。
|
d**s
发帖数: 920 | |
d**s
发帖数: 920 | 7 >> 然后取所有词的平均值就好了
你是说，取平均值 of the vectors of 所有词 ?
这样就是两个vector 比相似 ？
【在 s*****l 的大作中提到】
: 把stopword拿走
: 然后取所有词的平均值就好了
|
d*****u
发帖数: 17243 | 8 word2vec只是把词map到向量而已，是句子的input。
至于句子的处理有很多方法。现在最常用的是用Transformer。
前两年最常用的是LSTM。
更简单的方法就是把词向量取平均值之类的。
【在 d**s 的大作中提到】
: LSTM 可以和Word2Vec 一起用吧 ？
|
L******i
发帖数: 3027 | 9 随便google一下similarity comparison of two sentences
你们这群码农 还不如我这物理千老
【在 d**s 的大作中提到】
: >> 然后取所有词的平均值就好了
: 你是说，取平均值 of the vectors of 所有词 ?
: 这样就是两个vector 比相似 ？
|
s*****l
发帖数: 7106 | 10 Bag of words 就是这么做的
【在 d**s 的大作中提到】
: >> 然后取所有词的平均值就好了
: 你是说，取平均值 of the vectors of 所有词 ?
: 这样就是两个vector 比相似 ？
|
d**s
发帖数: 920 | 11 多谢。
【在 d*****u 的大作中提到】
: word2vec只是把词map到向量而已，是句子的input。
: 至于句子的处理有很多方法。现在最常用的是用Transformer。
: 前两年最常用的是LSTM。
: 更简单的方法就是把词向量取平均值之类的。
|
j****n
发帖数: 464 | 12 这种 word2vec 弄句子相似性的东西， 实际效果都很糟糕。
当然发文章没问题 |
