求问一道关于NLP的面试题 - DataSciences版

本页内容为未名空间相应帖子的节选和存档，一周内的贴子最多显示50字，超过一周显示500字访问原贴

DataSciences版 - 求问一道关于NLP的面试题

相关主题
● 如何evaluate an unsupervised learning method?
● [Data Science Project Case] Generate Categories for Product
● Customer Journey Analytics的一般方法跟models
● 有没有做sentiment analysis的，求思路 (转载)
● 一个 senior data scientist 的面试题。
● Optimization over more than one metrics
● [经验帖] 我是如何当上DS的
● [Road map] From ClickStream to ConsumerInsight
● 欢迎加入“机器学习实践” 俱乐部
● 说说浅学ML的感受

相关话题的讨论汇总
话题: topic话题: relevant话题: 文本话题: lda话题: 一些

进入DataSciences版参与讨论

(共1页)

s***h
发帖数: 26

表示是某IT的DS intern，已挂但还是想为了以后的面试认真准备下
假设我们用topic models（比如LDA)搞出了一些主题，如何evaluate topic quality？
如果我们打算用Precision & Recall来衡量，你怎么建metrics来计算topic的relevant
（我觉得是topic和我们文章的relevant）。
我已经咨询了本校的一些博士，但是没有能够给我一个比较validate的idea。
我个人有点疑惑的点在于：LDA原本是unsupervised（当然也有Supervised版本），这
么干的话需要有一些label data帮助你做evaluate。在我们的情况下（ie 奥观海政治
相关文本），那么我们是不是在知道background情况下找一些感觉相关（ie 奥观海其
他同阶段政治文本）的documents 做training sets，然后想办法build metrics 然后
在test set上检验？这种在工业上是不是可行，有没有可能给个文本毫无任何
background那这样的话这套quality evaluation可行吗？
多谢！

d******e
发帖数: 7844

perplexity.

relevant

【在 s***h 的大作中提到】

: 表示是某IT的DS intern，已挂但还是想为了以后的面试认真准备下
: 假设我们用topic models（比如LDA)搞出了一些主题，如何evaluate topic quality？
: 如果我们打算用Precision & Recall来衡量，你怎么建metrics来计算topic的relevant
: （我觉得是topic和我们文章的relevant）。
: 我已经咨询了本校的一些博士，但是没有能够给我一个比较validate的idea。
: 我个人有点疑惑的点在于：LDA原本是unsupervised（当然也有Supervised版本），这
: 么干的话需要有一些label data帮助你做evaluate。在我们的情况下（ie 奥观海政治
: 相关文本），那么我们是不是在知道background情况下找一些感觉相关（ie 奥观海其
: 他同阶段政治文本）的documents 做training sets，然后想办法build metrics 然后
: 在test set上检验？这种在工业上是不是可行，有没有可能给个文本毫无任何

(共1页)

进入DataSciences版参与讨论

相关主题
● 说说浅学ML的感受
● [Data Science Project Case] Topic Learning
● Bioinformatics Position in a Genomics Center in a University in the Southern California
● Bioinformatics Position in a Genomics Center in a University in the Southern California
● Bioinformatics Position in a Genomics Center in a University in the Southern California
● SE/Data scientist找工作总结[F/G/L/T/D/P/U…] (转载)
● 机器学习日报
● 机器学习日报 2015-01-29 LDA入门与Java实现
● 机器学习日报2015年2月楼
● 新手学python，有个简单数据结构问题，在线急等

相关话题的讨论汇总
话题: topic话题: relevant话题: 文本话题: lda话题: 一些

boards