l*******s
发帖数: 1258 | 1 刚来股版不久，炒股菜菜鸟一只。
正琢磨着开发个股票情感分析软件或者网站，征求一下大家意见：
背景及需求：
炒股时，多多少少会关注其他人对某只股票的意见，包括来自专家、分析师、散户、政
府、社交媒体对某只股票看好还是看衰等。这对于选股和买卖时机把握是个挺有用的信
息。
基本功能：
算是个sentiment analysis搜索引擎吧，用户输入公司ticker，系统输出对该股票的简
单舆情分析，包括：
1.当天各大媒体、分析师、政府、social network、新闻对该股票的看法，看好还是不
看好
2.一段时间内，对该股票情绪的变化，比如搞个positive和negative态度的曲线图之类
的。
3.各种rank：比如最看好的股票top 10；最看衰的股票top 10；本月变化最大股票
top10等。
4.可以提供API，供用户customize。
数据来源：
1.news。比如yahoo、google之类的
2.social media。Twitter、linkedin、MitBBS股版
3.分析师报告，这个待定
技术：
简单起见，只搞肯定否定，或者说看好看衰两个sentiment。
这方面，算是比较了解。我是搞NLP的，sentiment analysis搞过些类似project，所以
知道这玩意怎么搞，也有信心能做出来。主要是跟NLP相关的东西我都感兴趣，就算是
为了爱好做着玩吧。
竞争对手：
已经有相当规模的公司，但是他们的产品主要面向机构，收费。比如Dataminr
巨头，比如布隆伯格儿、汤森如意特，他们还没有相关产品。
存在的问题：
1.不能保证做到精度很高，比如准确度达到某个很高的值85%，非常非常难。精力有限
、资源有限，开发质量跟正规公司没法比。
2.数据来源，twitter跟news，比较好用，大部分免费，速度也有保证。分析师报告不
了解。论坛，比如MitBBS股版，够呛能同意我用他们的数据。
3.需求。可能是最关键的问题：到底有没有人需要这个？是面向散户还是机构？个人感
觉只能从散户入手。大家还需要其他的什么东西？
请大家各抒己见，尤其是针对上面的问题。鼓励和拍砖都欢迎。 |
c*****o
发帖数: 1702 | 2 估计你这样就能做个类似VIX的指数。看看VIX指数怎么挣钱吧。 另外你这个会需要强
大的crawler跟big data storage. 另外twitter有流量限制的每天你弄不到多少数据/
媒体有严重的bias，媒体不代表大众的看法。现阶段你可以先搞股板sentiment 分析。
可惜中文sentiment比较难搞，没有现成的库
金融行当都是看track record的，你的sentiment指数能预测市场转向的话，肯定有人
愿意掏钱。不用担心。 |
l*******s
发帖数: 1258 | 3 thx回复。
呵呵，不懂VIX的说。
关于crawler和scraper，我开发过这玩意、工业级别的产品。问题不大。
big data storage，可能是个问题，只能是有所取舍的储存了。最小的空间解决方案就
是只存sentiment，不存整篇文章。
twitter的限制，正在调查，有多少做多少吧。
媒体的bias。bias，如何bias，恰恰是有人关心的东西吧。我瞎猜的。
现成的库：基本没有现成的库。中文英文都没有靠谱的。需要自己开发，好在我还懂这
个，也实现过，不过最后精度能如何不知道。
【在 c*****o 的大作中提到】
: 估计你这样就能做个类似VIX的指数。看看VIX指数怎么挣钱吧。 另外你这个会需要强
: 大的crawler跟big data storage. 另外twitter有流量限制的每天你弄不到多少数据/
: 媒体有严重的bias，媒体不代表大众的看法。现阶段你可以先搞股板sentiment 分析。
: 可惜中文sentiment比较难搞，没有现成的库
: 金融行当都是看track record的，你的sentiment指数能预测市场转向的话，肯定有人
: 愿意掏钱。不用担心。
|
t*********e
发帖数: 630 | 4 说到 news, 比如 CNBC 上的新闻，每天更新。这个需要 crawler 不断爬，然后你的
index 不断更新
感觉从不同 sources 抓到不断更新的数据，不是个小的任务
【在 l*******s 的大作中提到】
: 刚来股版不久，炒股菜菜鸟一只。
: 正琢磨着开发个股票情感分析软件或者网站，征求一下大家意见：
: 背景及需求：
: 炒股时，多多少少会关注其他人对某只股票的意见，包括来自专家、分析师、散户、政
: 府、社交媒体对某只股票看好还是看衰等。这对于选股和买卖时机把握是个挺有用的信
: 息。
: 基本功能：
: 算是个sentiment analysis搜索引擎吧，用户输入公司ticker，系统输出对该股票的简
: 单舆情分析，包括：
: 1.当天各大媒体、分析师、政府、social network、新闻对该股票的看法，看好还是不
|
l*******s
发帖数: 1258 | 5 这个好办，我在公司干的就是这玩意。就弄个scraper设定耗时间爬呗。
至于index更新，问题也不大。不要每次都重新index，只用增量更新耗费不了多少资源
。现成的工具，比如Elastic Search，我们测试过，非常快。
【在 t*********e 的大作中提到】
: 说到 news, 比如 CNBC 上的新闻，每天更新。这个需要 crawler 不断爬，然后你的
: index 不断更新
: 感觉从不同 sources 抓到不断更新的数据，不是个小的任务
|
t*********e
发帖数: 630 | 6 其实自己做先不用你说的那么复杂。如果能做个很不错的新闻阅读网站，每个股票相关
的一篇文章，做个简单摘要 text summarizaiton，然后做个 sentiment
classification, 就很有用了。
至于预测股票的走向，比较困难，也不一定有用。
【在 l*******s 的大作中提到】
: 这个好办，我在公司干的就是这玩意。就弄个scraper设定耗时间爬呗。
: 至于index更新，问题也不大。不要每次都重新index，只用增量更新耗费不了多少资源
: 。现成的工具，比如Elastic Search，我们测试过，非常快。
|
c*****o
发帖数: 1702 | 7 你crawl下来的东西肯定得存，否则怎么调model阿，没有backtest,你怎么知道你整得
一定对。必须要用历史来向客户推销阿
现在市场上有已经靠铺的text analytics 的API： Lexalytics Salience。
不过得花钱。你看着办 |
l*******s
发帖数: 1258 | 8 预测股票走向 我是不会做的。太多的人都在搞 我不觉得能比他们搞出什么新意来。
我只提供sentiment信息，预测走向让股民们自己弄吧。
新闻阅读，股票相关文章归类，摘要等，不是好多网站都做了吗。比如google finance
啊、yahoo finance啊
【在 t*********e 的大作中提到】
: 其实自己做先不用你说的那么复杂。如果能做个很不错的新闻阅读网站，每个股票相关
: 的一篇文章，做个简单摘要 text summarizaiton，然后做个 sentiment
: classification, 就很有用了。
: 至于预测股票的走向，比较困难，也不一定有用。
|
i*********n
发帖数: 320 | 9 给情感打分容易，你打1分还是10分其实没什么区别，因为用它来做预测那就是步子迈
得太大，扯着蛋了
你真要是把这个整妥了，我觉得你就可以载入史册了 |
l*******s
发帖数: 1258 | 10 只存URL，或者只存一段时间内的，比如一年。
已经有的这类工具或者公司何止lexalytics一家，但是是否已经做到靠谱，还很难说。
【在 c*****o 的大作中提到】
: 你crawl下来的东西肯定得存，否则怎么调model阿，没有backtest,你怎么知道你整得
: 一定对。必须要用历史来向客户推销阿
: 现在市场上有已经靠铺的text analytics 的API： Lexalytics Salience。
: 不过得花钱。你看着办
|
|
|
l*******s
发帖数: 1258 | 11 不会给情感打分，那太麻烦。就简单的binary结果。
至于预测，前面我也说了，我自己不会搞预测的。只是提供这种情感信息给用户，至于
预测，让用户自己去搞吧。
现在问题是，不知道用户觉得这玩意有没有用。。
【在 i*********n 的大作中提到】
: 给情感打分容易，你打1分还是10分其实没什么区别，因为用它来做预测那就是步子迈
: 得太大，扯着蛋了
: 你真要是把这个整妥了，我觉得你就可以载入史册了
|
t*********e
发帖数: 630 | 12 google/yahoo finance 这些都大而全，但也没特色。Seeking Alpha 分析文章不错，
但是没有内容分析功能，需要阅读全文。
你在哪里？弯曲吗。 其实我也在做这一块，说不定可以一起做。sentiment analysis
的精确度做到 80% 以上，不成问题
finance
【在 l*******s 的大作中提到】
: 预测股票走向 我是不会做的。太多的人都在搞 我不觉得能比他们搞出什么新意来。
: 我只提供sentiment信息，预测走向让股民们自己弄吧。
: 新闻阅读，股票相关文章归类，摘要等，不是好多网站都做了吗。比如google finance
: 啊、yahoo finance啊
|
b******r
发帖数: 74 | 13 大伙挖掘这个还不如挖掘一些小东西，比如yelp， Pandora的流量，广告客户分布等，
使劲挖出几个来，深入研究每家。搞新闻twitter的现在不少了吧 |
b*****p
发帖数: 9649 | 14 http://www.aaii.com/sentimentsurvey
Bullish 47.7% down 1.2
Neutral 31.0% down 1.8
Bearish 21.3% up 3 |
l*******s
发帖数: 1258 | 15 finance news类的看的不多 所以不了解
我在纽约
analysis
【在 t*********e 的大作中提到】
: google/yahoo finance 这些都大而全，但也没特色。Seeking Alpha 分析文章不错，
: 但是没有内容分析功能，需要阅读全文。
: 你在哪里？弯曲吗。 其实我也在做这一块，说不定可以一起做。sentiment analysis
: 的精确度做到 80% 以上，不成问题
:
: finance
|
l*******s
发帖数: 1258 | 16 说的是。
其实我正在做的就是一个挖掘FourSquare的应用：算是美食类的sentiment analysis吧
Dishes Map
http://www.dishesmap.com
里面用到了NLP、machine learning和sentiment analysis
【在 b******r 的大作中提到】
: 大伙挖掘这个还不如挖掘一些小东西，比如yelp， Pandora的流量，广告客户分布等，
: 使劲挖出几个来，深入研究每家。搞新闻twitter的现在不少了吧
|
l*******s
发帖数: 1258 | 17 当时 他家算是启发之一
【在 b*****p 的大作中提到】
: http://www.aaii.com/sentimentsurvey
: Bullish 47.7% down 1.2
: Neutral 31.0% down 1.8
: Bearish 21.3% up 3
|
q********g
发帖数: 10694 | |
o**p
发帖数: 199 | 19 google有个数据是多少搜索每天，股票热了搜的人也多了 |
s********t
发帖数: 4150 | 20 Not a new idea. Has been pursued by people (myself included). Not promising.
【在 l*******s 的大作中提到】
: 刚来股版不久，炒股菜菜鸟一只。
: 正琢磨着开发个股票情感分析软件或者网站，征求一下大家意见：
: 背景及需求：
: 炒股时，多多少少会关注其他人对某只股票的意见，包括来自专家、分析师、散户、政
: 府、社交媒体对某只股票看好还是看衰等。这对于选股和买卖时机把握是个挺有用的信
: 息。
: 基本功能：
: 算是个sentiment analysis搜索引擎吧，用户输入公司ticker，系统输出对该股票的简
: 单舆情分析，包括：
: 1.当天各大媒体、分析师、政府、social network、新闻对该股票的看法，看好还是不
|
|
|
g***c
发帖数: 11523 | 21 behaviour finance都研究十几年了
恐惧指数都七八年了
现在的TA，FA程序早就应用了
没看出你的想法有啥新意
【在 l*******s 的大作中提到】
: 刚来股版不久，炒股菜菜鸟一只。
: 正琢磨着开发个股票情感分析软件或者网站，征求一下大家意见：
: 背景及需求：
: 炒股时，多多少少会关注其他人对某只股票的意见，包括来自专家、分析师、散户、政
: 府、社交媒体对某只股票看好还是看衰等。这对于选股和买卖时机把握是个挺有用的信
: 息。
: 基本功能：
: 算是个sentiment analysis搜索引擎吧，用户输入公司ticker，系统输出对该股票的简
: 单舆情分析，包括：
: 1.当天各大媒体、分析师、政府、social network、新闻对该股票的看法，看好还是不
|
l*******s
发帖数: 1258 | 22 TA FA程序 你指的是哪些？
【在 g***c 的大作中提到】
: behaviour finance都研究十几年了
: 恐惧指数都七八年了
: 现在的TA，FA程序早就应用了
: 没看出你的想法有啥新意
|
c***s
发帖数: 1139 | 23
LOL
【在 q********g 的大作中提到】
: 不如把版上几个反指大牛直接定义成线性变量。
|
l*******s
发帖数: 1258 | 24 展开说说呗。
其实idea新不新无所谓，关键是会不会有需求。
promising.
【在 s********t 的大作中提到】
: Not a new idea. Has been pursued by people (myself included). Not promising.
|
A*****t
发帖数: 275 | 25 真正认真的炒股的是不看这些情感信息的，因为花街放出来的都虚虚实实，这些消息新
闻跟噪音一样，因为早就price in了。
真要做，扫描分析大盘领头股，热门股会更好。
【在 l*******s 的大作中提到】
: 刚来股版不久，炒股菜菜鸟一只。
: 正琢磨着开发个股票情感分析软件或者网站，征求一下大家意见：
: 背景及需求：
: 炒股时，多多少少会关注其他人对某只股票的意见，包括来自专家、分析师、散户、政
: 府、社交媒体对某只股票看好还是看衰等。这对于选股和买卖时机把握是个挺有用的信
: 息。
: 基本功能：
: 算是个sentiment analysis搜索引擎吧，用户输入公司ticker，系统输出对该股票的简
: 单舆情分析，包括：
: 1.当天各大媒体、分析师、政府、social network、新闻对该股票的看法，看好还是不
|
A*****t
发帖数: 275 | 26 花街有一句sell on news.
花街放大好消息出货骗散户站岗是常事，但也有好消息出来一直向北不回头的，消息有
多好是好消息是很难说的
【在 A*****t 的大作中提到】
: 真正认真的炒股的是不看这些情感信息的，因为花街放出来的都虚虚实实，这些消息新
: 闻跟噪音一样，因为早就price in了。
: 真要做，扫描分析大盘领头股，热门股会更好。
|
