l*******s
发帖数: 1258 | 1 刚来股版不久，炒股菜菜鸟一只。
正琢磨着开发个股票情感分析软件或者网站，征求一下大家意见：
背景及需求：
炒股时，多多少少会关注其他人对某只股票的意见，包括来自专家、分析师、散户、政
府、社交媒体对某只股票看好还是看衰等。这对于选股和买卖时机把握是个挺有用的信
息。
基本功能：
算是个sentiment analysis搜索引擎吧，用户输入公司ticker，系统输出对该股票的简
单舆情分析，包括：
1.当天各大媒体、分析师、政府、social network、新闻对该股票的看法，看好还是不
看好
2.一段时间内，对该股票情绪的变化，比如搞个positive和negative态度的曲线图之类
的。
3.各种rank：比如最看好的股票top 10；最看衰的股票top 10；本月变化最大股票
top10等。
4.可以提供API，供用户customize。
数据来源：
1.news。比如yahoo、google之类的
2.social media。Twitter、linkedin、MitBBS股版
3.分析师报告，这个待定
技术：
简单起见，只搞肯定否定，或者说看好看衰两个sentiment。... 阅读全帖 |
|
c*****o
发帖数: 1702 | 2 估计你这样就能做个类似VIX的指数。看看VIX指数怎么挣钱吧。 另外你这个会需要强
大的crawler跟big data storage. 另外twitter有流量限制的每天你弄不到多少数据/
媒体有严重的bias，媒体不代表大众的看法。现阶段你可以先搞股板sentiment 分析。
可惜中文sentiment比较难搞，没有现成的库
金融行当都是看track record的，你的sentiment指数能预测市场转向的话，肯定有人
愿意掏钱。不用担心。 |
|
发帖数: 1 | 3 前面说过：不要用神经网络！不要用神经网络！不要用神经网络！
CNN RNN啥的都是需要很多的feature，数据量要大，比如图片那种，全是像素，
feature都差不多，你扔到CNN里一层层BP就能把重要feature弄出来然后performance高。
但是你这个sentiment analysis，有两大原因，导致不能用NN这种暴力方法：
1. 数据量：太小，才几万句；NN在NLP领域唯一比较成功的就是各种embedding，不管
是BOW还是skip-gram，数据量都很大，你算算那些东西展开后，都是2的多少次方；这
个任务里，句子实在太少；
2. NLP里面，feature权重差别大：NLP不像图片，所有feature几乎可以看作都一样，
比如像素；就sentiment来讲，sentiment或者说opinion可能存在于词层面（pos）、短
语层面（chunking）、句子层面（syntax）、甚至段落（semantics）；什么NN加
word2vec只能照顾到词层面，顶多一部分短语层面，句子和段落的信息全丢了。
按照前面括号里提到的相关方法提取出feature，然后加入上... 阅读全帖 |
|
d**s
发帖数: 920 | 4 我试了nltk.sentiment.vader 中的 SentimentIntensityAnalyzer，
即便把它和spaCy一起用， 结果也比较令人失望。
请问， 现在比较好用做sentiment分析的有哪些 ？
多谢大家。 |
|
l*******r
发帖数: 3799 | 5 This suggests that a reversal is not imminent, at least due to sentiment.
But it also implies that the negativity
that drove the early phases of the rally are no longer present either.
The easy money has been made . . . the sledding now gets more challenging .
. .
http://www.ritholtz.com/blog/2009/12/us-equity-market-sentiment-review/ |
|
l*******s
发帖数: 1258 | 6 说的是。
其实我正在做的就是一个挖掘FourSquare的应用：算是美食类的sentiment analysis吧
Dishes Map
http://www.dishesmap.com
里面用到了NLP、machine learning和sentiment analysis |
|
w*****h
发帖数: 423 | 7 【 以下文字转载自 Programming 讨论区 】
发信人: waynezh (van), 信区: Programming
标 题: 有没有做sentiment analysis的，求思路
发信站: BBS 未名空间站 (Thu Oct 26 11:06:28 2017, 美东)
在公司做sentiment analysis，
现在的做法是这样
首先在大概几万句sentences中训练出word2vec model
然后将大概4000个labels的sentences转成vector, 80%作为training, 20%作为testing
， 用neural net作为classifier
类别三类，positive, neutral, negative
之前是公司的一个印度人在负责，达到63% accuracy
我接手之后调参 + 做一些ensemble提高到68% leader似乎不满足，觉得可以到70%甚
至80%
现在我想到思路有几个
1. 做semi-supervise, 没有label的数据有的是
2. unsupervise learning， 比如用autoe... 阅读全帖 |
|
g********n
发帖数: 2314 | 8 【 以下文字转载自 Stock 讨论区 】
发信人: minncai (minncai), 信区: Stock
标 题: U.S. July consumer sentiment plummets
发信站: BBS 未名空间站 (Fri Jul 16 17:28:32 2010, 美东)
The UMich index fell to 66.5 in early July from 76 in late June as consumers
have been worried about weak hiring and a slowly healing economy. The June
reading was the highest level in more than two years. The average level of
the index is around 87. Read more about sentiment's mysterious free fall.
The reading has only dropped this much or more seven ... 阅读全帖 |
|
|
c*****e
发帖数: 1106 | 10 Ya, agree with LZ and LS. Normally, I may think this is a contrarian
indicator hinting the last leg of a bull market; but like LS said, the extra
-low interest rate is driving people to other asset classes including stocks.
Regarding money flow and sentiment indicators, here is a good and very
recent article
http://www.marketwatch.com/story/how-to-follow-stock-market-mon |
|
|
a******a
发帖数: 231 | 12 ian't Michigan consumer sentiment index a joke? it is against retail sale
numbers |
|
m*****i
发帖数: 4342 | 13 The UMich index fell to 66.5 in early July from 76 in late June as consumers
have been worried about weak hiring and a slowly healing economy. The June
reading was the highest level in more than two years. The average level of
the index is around 87. Read more about sentiment's mysterious free fall.
The reading has only dropped this much or more seven times. The data goes
back to 1978. The drop of 9.5 points in early July compares with a drop of 9
.7 points following the terror attacks of Sept. |
|
g8
发帖数: 3784 | 14 Home Builder Sentiment Falls 2 Points in July to Lowest Level Since April of
2009 |
|
s*k
发帖数: 2941 | 15 since I'm a consumer and I have a sentiment too, hehe |
|
n*********e
发帖数: 25274 | 16 a jobless guy said he has -90 sentimental everyday, but nobody calls him. |
|
o******e
发帖数: 1001 | 17 半年来最低值，注定这个市场还不会继续大幅度上扬。
我对近期股市的高低点预测是10700和10300点，目前的市场是short的市场。
Mich Sentiment尽管只研究200住户的市场信心，但是这是一个前瞻性的指标，近期的
一些指标可能数据不会太好。9月的市场或许重复8月的情况，前半月张，后半月跌。 |
|
f********t
发帖数: 117 | 18 I want to start post some insider trading related info to this board. I hope
I can change or add to the short term bias on this board. My main goal is
to help these new comers, who can be easily influenced by others picks.
WARNING: THIS IS JUST AN OPINION BASED ON INSIDER TRADING DATA. STOCK MARKET
DOESNT TRADE BASED ON IT. INSIDERS ARE VALUE AND LONG TERM INVESTORS.
* S&P 500: Bearish
* Russell 2000: Bearish
* Sell Signals: Technology
* Sell Signals: Materials, Industrial Goods... 阅读全帖 |
|
f********t
发帖数: 117 | 19 NP. My companys product is not free. but I know insidercow.com is free,
along with several other websites. finwiz.com also has some info.
these free sites only provide data. no analysis or research.
发信人: boylover (虎子), 信区: Stock
标 题: Re: Insider sentiment --- WEEK OF Nov 5 - 15.
发信站: BBS 未名空间站 (Fri Nov 19 16:44:36 2010, 美东)
Thanks a lot for sharing!
Are infomation of insider activities publicly available? |
|
c****t
发帖数: 5452 | 20 consumer sentiment是最没用的指标了，不要指望这个了。你被套到什么点位了？现在
狂跌的可能性远大于涨，还是manage loss吧。 |
|
l*******s
发帖数: 1258 | 21 thx回复。
呵呵，不懂VIX的说。
关于crawler和scraper，我开发过这玩意、工业级别的产品。问题不大。
big data storage，可能是个问题，只能是有所取舍的储存了。最小的空间解决方案就
是只存sentiment，不存整篇文章。
twitter的限制，正在调查，有多少做多少吧。
媒体的bias。bias，如何bias，恰恰是有人关心的东西吧。我瞎猜的。
现成的库：基本没有现成的库。中文英文都没有靠谱的。需要自己开发，好在我还懂这
个，也实现过，不过最后精度能如何不知道。 |
|
t*********e
发帖数: 630 | 22 其实自己做先不用你说的那么复杂。如果能做个很不错的新闻阅读网站，每个股票相关
的一篇文章，做个简单摘要 text summarizaiton，然后做个 sentiment
classification, 就很有用了。
至于预测股票的走向，比较困难，也不一定有用。 |
|
l*******s
发帖数: 1258 | 23 预测股票走向 我是不会做的。太多的人都在搞 我不觉得能比他们搞出什么新意来。
我只提供sentiment信息，预测走向让股民们自己弄吧。
新闻阅读，股票相关文章归类，摘要等，不是好多网站都做了吗。比如google finance
啊、yahoo finance啊 |
|
t*********e
发帖数: 630 | 24 google/yahoo finance 这些都大而全，但也没特色。Seeking Alpha 分析文章不错，
但是没有内容分析功能，需要阅读全文。
你在哪里？弯曲吗。 其实我也在做这一块，说不定可以一起做。sentiment analysis
的精确度做到 80% 以上，不成问题
finance |
|
k*****a
发帖数: 1463 | 25 utwi was crying sell at ~2 level.
The sentiment of this board seem to be a good reverse indicator. |
|
f*****s
发帖数: 1589 | 26 want to know why
[在 kuzhida (悠国悠民) 的大作中提到：]
：utwi was crying sell at ~2 level.
：The sentiment of this board seem to be a good reverse indicator.
：........... |
|
M***n
发帖数: 5815 | 27 每天大家吵今天究竟会涨，还是跌。那么市场的sentiment可以通过哪些指标或者信息
来管中窥豹呢？列举几个给大家参考：
1. Put/Call Ratio。 这个Daily Put/Call ratio data 是 total CBOE options
volume.
2. Volatility Indices。 比较常用的有VIX and VXN。
3. Arms Index/TRIN。 这个是研究long-term overbought/oversold conditions
4. Advance/Decline Ratio Oscillator (ADRO) 。 这个是把算Put/Call ratio的方法
用来算stock market Advance/Decline data.
5. Total Market Rate-of-Change (ROC)。 这个是Measures near, intermediate and
long-term trends, and potential reversal points |
|
a*****1
发帖数: 3134 | 28 History can always be your guide and VRX story is awefully like ELN story 15
years ago.
When ELN dropped from $67 to $1, most of the people got burned along the way
catching the falling knife. Just when the sentiment could not be worse and
bankruptcy rumors were circling around, three things changed the event.
When CEO changed, the stock did not bounce, as a matter of fact it kept
dropping even though people acknowledged that it was a positive event.They
needed a portfolio manager, not a seasone... 阅读全帖 |
|
|
a********g
发帖数: 49 | 30 部分和前面一个哥们贴的文章相同，but much more fun to read.
打败了国王，大家都很high啊：“"It's pretty much bigger than that," McGrady
said, and that sentiment spread around the locker room.
Before the game, Juwan Howard turned to the bench and said, "Yao is going to
dominate."
After the game, Scott Padgett came into the locker room and said, "We finally
saw the Yao we know and love."
"We got on Tracy's back to get back in the game," Rockets forward Maurice
Taylor said. "From that point on, we just rode Yao. Yao took it home |
|
y*****y
发帖数: 3433 | 31 It appears that there may be some dangerous anti-climber sentiment along the
Clackamus River in Oregon. An individual left a fixed line on a crag, which
was cut in such a way as it was hidden. The climber believes that the rope
cut was hidden with murderous intent.
To read more,
http://cascadeclimbers.com/forum/ubbthreads.php/topics/962728/1 |
|
a****8
发帖数: 365 | 32 【 以下文字转载自 virgo 俱乐部 】
发信人: jnyn (水冥冲=毒舌), 信区: virgo
标 题: The sentiment: 因为我是处女座，所以。。
发信站: BBS 未名空间站 (Mon Sep 12 15:26:11 2011, 美东)
转载：
因为我是处女座，
所以逆来顺受，所有的指责宁愿保持沉默。
所以我其实不想伤害谁，却又伤害了太多人的冷漠。
所以心里有再多的苦涩也不愿多说。
喜欢用外表的冷漠，掩盖内心的火热。
所以习惯了喧嚣中享受孤独的快乐。
所以只会在一个人的时候偷偷让眼泪滑落。
所以在某个夜晚总是会想起了什么而辗转反侧。
所以即使付出再多也不想计较你给予了我些什么。
所以请不要埋怨我忽冷忽热，那样只是想给你一个完美的我。
所以只想尽力做好所有的，让你有更好的生活。
所以即使不够自信，我也可以坚强的面对生命里所有的挫折。
没有安全感的处女座。
自尊心很强，通常自己做错事就会很自责，但绝对不允许别人疾言厉色的指责，因
为我知道自己的错，一个本身就很自责的人，哪经得起那样的指责。
总是为别人着想，却总遭受冷落，不想伤害别人，却被别人伤的遍体鳞伤。
因为我... 阅读全帖 |
|
h*****l
发帖数: 161 | 33 女人独有的天真，和温柔的天分，要留给真爱自己的人
要是识货的人，哪怕送也可以
我知道被女人呵护，被女人疼的感觉
我知道在自己的爱人面前撒娇的样子
一段美好的感情，
美好到“极致”，可是如盛开的樱花般的短暂
留下来的，是一辈子的留恋
脱离了肉体，只有唯美了
这会有点sentimental |
|
w*****h
发帖数: 423 | 34 在公司做sentiment analysis，
现在的做法是这样
首先在大概几万句sentences中训练出word2vec model
然后将大概4000个labels的sentences转成vector, 80%作为training, 20%作为testing
， 用neural net作为classifier
类别三类，positive, neutral, negative
之前是公司的一个印度人在负责，达到63% accuracy
我接手之后调参 + 做一些ensemble提高到68% leader似乎不满足，觉得可以到70%甚
至80%
现在我想到思路有几个
1. 做semi-supervise, 没有label的数据有的是
2. unsupervise learning， 比如用autoencoder来initialize neural net
3. GBM or Random forest? 觉得这几个不可能超过我现在这个了
来这里希望得到一些启发，谢啦！ |
|
w***g
发帖数: 5958 | 35 你想到的思路都没有问题。但是都太incremental不够糙快猛。
我自己觉得，你的bottleneck是在word2vec和sentence to vector
这个大框架上。不知道你具体sentence to vector是怎么做的，
但是如果是变成固定维数的vector，那就比较肯定是一个可以
有所突破的bottleneck。你可以试下基于CNN或者RNN的model。
你在这里找找看有没有能用的代码：
https://nlp.stanford.edu/sentiment/
不过在这之前，我建议试下xgboost。固定维度的数据分类，标准
做法就是xgboost。注意树的深度不要太高，2,3,4试一下就差不多了。
我觉得这个能帮你从68%提高到70%。
semisupervised learning实战非常risky，轻易不要浪费时间在上面。
上CNN/RNN，我估计做好了能到75%以上。80%很可能超过了数据
本身的难度。
还有，你让business重新tag，如果差异可以量化，这个是一个非常
好的指标。如果让人做都有多少多少差异，就别指望机器能做的更好了。
testing |
|
w*****h
发帖数: 423 | 36 在公司做sentiment analysis，
现在的做法是这样
首先在大概几万句sentences中训练出word2vec model
然后将大概4000个labels的sentences转成vector, 80%作为training, 20%作为testing
， 用neural net作为classifier
类别三类，positive, neutral, negative
之前是公司的一个印度人在负责，达到63% accuracy
我接手之后调参 + 做一些ensemble提高到68% leader似乎不满足，觉得可以到70%甚
至80%
现在我想到思路有几个
1. 做semi-supervise, 没有label的数据有的是
2. unsupervise learning， 比如用autoencoder来initialize neural net
3. GBM or Random forest? 觉得这几个不可能超过我现在这个了
来这里希望得到一些启发，谢啦！ |
|
w***g
发帖数: 5958 | 37 你想到的思路都没有问题。但是都太incremental不够糙快猛。
我自己觉得，你的bottleneck是在word2vec和sentence to vector
这个大框架上。不知道你具体sentence to vector是怎么做的，
但是如果是变成固定维数的vector，那就比较肯定是一个可以
有所突破的bottleneck。你可以试下基于CNN或者RNN的model。
你在这里找找看有没有能用的代码：
https://nlp.stanford.edu/sentiment/
不过在这之前，我建议试下xgboost。固定维度的数据分类，标准
做法就是xgboost。注意树的深度不要太高，2,3,4试一下就差不多了。
我觉得这个能帮你从68%提高到70%。
semisupervised learning实战非常risky，轻易不要浪费时间在上面。
上CNN/RNN，我估计做好了能到75%以上。80%很可能超过了数据
本身的难度。
还有，你让business重新tag，如果差异可以量化，这个是一个非常
好的指标。如果让人做都有多少多少差异，就别指望机器能做的更好了。
testing |
|
l*******s
发帖数: 1258 | 38 以前搞过一阵子sentiment analysis，简单来说就是把一篇文章或者一段话中对某个东
西的看法提取出来，比如抓取当天关于facebook IPO的报道，判断里面多少持肯定态度
，多少持否定态度；多少看好，多少看衰。
具体到finance领域，可以是关于某个公司或者某个相关事件的观点分析，数据来源可
以是新闻报道，或者twitter、fb等social media。
我对finance一窍不通，所以来问问，就是好奇。 |
|
l*******s
发帖数: 1258 | 39 完全错误！
如果只是twitter那种简单的判断每条回复肯定否定的，弄个Max Entropy或者SVM之类
的一算就行，state of art都快接近90%的F1了。
但是给你一篇文章，从中抽取出topic、entity，然后找出相应的sentiment来，那是相
当的难。
应该是
that is almost one of the hottest and hardest topics in NLP |
|
l*******s
发帖数: 1258 | 40 最简单的那种twitter单条回复肯定否定判断已经90%了。
要是那种先抽取entity、event之类的然后判断sentiment的 相当低 |
|
s*3
发帖数: 53 | 41 in one of the projects I did, I just use textblob to do sentiment analysis,
it returns a score within [-1,1] for each document. this way, don't even
need word embedding at all.. |
|
X******2
发帖数: 5859 | 42 深秋是个容易让人sentimental的季节。 |
|
p**********e
发帖数: 177 | 43 NO, it does not.
I think it's good for the market.
1. Less bubbly feeling about the market
2. Returns liquidity back to the mkt , it took last few weeks.
3. Real money goes into real value stocks
AAPL would've drag down the sentiment.
FB, pssssss... |
|
d*******g
发帖数: 85 | 44 ZT from RealMoney
Helene Meisler
3/8/2010 2:22 PM EST
The Index put/call ratio is over 200%. In the past year we have had three
other times this has reached over 200%. It turns out 2 out of the 3 times it
was a short term top in the market. Or at least we went sideways for
several days.
Add to this the ISE equity call/put ratio is also over 200%. This is usually
associated with a down day shortly thereafter.
Thus I think I would say sentiment is no longer leaning "too bearish." That'
s a bit of |
|
f********t
发帖数: 117 | 45 WARNING: THIS IS JUST AN OPINION BASED ON INSIDER TRADING DATA. STOCK MARKET
DOESNT TRADE BASED ON IT. INSIDERS ARE VALUE AND LONG TERM INVESTORS.
INSIDER SELLS DONT ALWAYS MEAN THEY THINK THEIR COMPANIES WILL NOT DO WELL.
Strong Sell Bias Continues, But Financial Insiders Push Buying Levels Higher
* S&P 500: Bearish Bias
* Russell 2000: Bearish Bias
* Buy Signals: Financial
* Sell Signals: Energy and Healthcare
* Sell Signals: Consumer Discretionary and Technology
(As of 11... 阅读全帖 |
|
f********t
发帖数: 117 | 46 just want to give you brief update on insider sentiment.
insiders are mostly bearish, in another word, they are selling like there
is no tommorrow.
but some insider buying are notable.
PMI
ULBI
KAMN
ESCA
wpp
you can add to you watchlist
Note that I personally think frogs like me should stay away from trading for
now because who the hell know what it will be like in next 2 months. |
|
f********t
发帖数: 117 | 47 insider sentiment improved over the past week.
energy sector shows a buy signal in our system.
but do proceed with caution. |
|
c***1
发帖数: 3281 | 48 试图了解sentiment乍听很有道理，实践上却是非常困难，而且有时候还非常危险的。
sentiments是最难捉摸的东西。一个星期之前很容易就可以说sentiment凄风惨雨，什
么好消息都被忽略。几天过后就是雨过天晴，坏消息都被忽略。 如果是靠sentiment,
那在上一个星期有空仓位的现在是要腰斩还是转向呢？实际上，靠sentiment reading
的很可能会被两面抽。
然而，sentiment是挺重要。所以怎么让它可靠一点呢？我想，就是尽量了解这情绪后
面的驱使力/原因。这后面的驱使力/原因有些是需要长期酝酿的，有些是很突然也很短
暂的。后者，一般人是无法预测转折点。前者是有迹可循的。
2007年街上歌舞声平。当时在古板说熊市来了，不是被笑傻子，就是被骂走了。而事实
上当时所谓的sentiments是绝对高涨的。牛股越牛，指数创新高。结果就在大概十月的
时候，在新高不久，突然间“sentiments"全变了。接下来的thanksgiving sales,和再
接下来的事情，大家都知道发生什么事了。
但是如果你看看这sentiments是不是sustainable,很多迹象... 阅读全帖 |
|
Y****g
发帖数: 662 | 49 Examples of trading in Beijing???
http://finance.yahoo.com/mbview/threadview/?&bn=6f75e9b2-46b2-3
SA is pumping it over and over, hoping the RUN can last til EOD
chndaytraderby chndaytrader.Feb 6, 2013 10:26 AM.Permalink
I need fresh air, can't breath in Beijing~
Sentiment: Strong Buy
............................................................................
.............................
INVN inside IPAD?? that was the Rumor
chndaytraderby chndaytrader.Feb 6, 2013 11:37 AM.Permalink
Hope it bl... 阅读全帖 |
|
b******a
发帖数: 12216 | 50 ☆─────────────────────────────────────☆
rotvap (湖南神策军) 于 (Mon Jun 14 17:42:01 2010, 美东) 提到:
papillon和yorkshire的mix, 7岁， ~ 12磅。
万般无奈才作出这样的选择，如果能在这里找到好心人，无论如何比送shelter强。
狗狗今年7岁了，本来一直都还好，直到08年三月我们女儿出生后。诚然，女儿占用了
我们绝大部分的精力，但是我基本上还是做到了每天带他出去。不过即使就算我们有空
的时候，也不可能做到像以前那样和他亲密，很少再抱着他，毕竟担心他身上有什么虫
子病毒之类。同样也是为了减少病毒传播的几率，我们给了他一些行动范围的限制，不
允许上二楼，不允许去living room(女儿的游戏室）。
狗狗于是大概是觉得受到了冷落， 情况开始变得越来越糟糕。首先是一直没有问题的
大小便开始乱来，我家是地毯所以格外的麻烦。于是我在家里装了栏杆， 一段时间解
决了问题，但是他后来居然学会了怎么把栏杆顶开， 夜间或者白天家里没人的时候，
去living room大小便。虽然我想出了... 阅读全帖 |
|
