P**H
发帖数: 2272 | 1 响应主席的号召来点实质的东东（码这么多字版主发个包子吧）
附件是目前我在搭建的系统。
已经完成了数据库，R和Amibroker的部分，前端的数据更新，简单的数据分析。
前端的数据更新程序自动从Yahoo和Google下载数据存到数据库里面。程序使用增量更
新只下载需要的数据所以效率很高。要提醒一句是不要高频向Google或者Yahoo请求数
据，否则会被服务器认为是攻击。我基本是一个请求后延迟1-2秒。呵呵，小马哥要看
到这里可能有似曾相识的感觉。
Amibroker和R只跟我local数据库打交道，不再从网上读数据。R有RODBC包，可以很方
便读读数据库数据。AB使用ODBC插件，我感觉和本地的速度没明显差别。目前我用AB做
为Charting和presentation tool，很方便，还可以把数据库的分析结果加进来。
分析的程序正在试验中。我比较感兴趣除了基本TA参数外就是股票间的关联，所以想通
过不同股票间EMA和SMA结合量的变化用不同的参数做关联分析生成短期中期和长期的变
化曲线。希望用统计方法分析现金流动和炒作的趋势。然后放到历史数据中去验证这种
分析结果。如果某股小概率大偏离关联的股群，根据回调的概率可以出出相应的信号。
另外一个做分析程序的感觉就是如果你的开发环境提供了一个强大的统计库，似乎可以
不再需要再用R来分析。每日routine的工作都让程序去完成好了。R只用在很特别的例
子要手工处理，不适合大量的扫描工作。还有一个我还没测试把R和EXCEL连起来，在
EXCEL里面可以把数据交给R处理，结果显示在EXCEL的表里面。这在某些情况下很便利。
使用数据库系统是因为需要大量的计算。因为R和AB的限制，不便于每日反复读取不同
的源数据，而且编程上面不如Java或者C来的方便。在local网络中读数据效率高。数据
库而且可以供不同系统共享数据，还可以用其他DataMining的工具分析走向提取
Pattern。数据库端还准备扩展成一个管理系统，比如股票的基本统计数据，所属的
sector和industry的数据，都从网上自动读。以后还要查找跟踪P/E的变化。一个良好
的分析系统同时也应该提供良好的数据管理能力。
数据库设计的一个建议就是历史数据表尽量避免用trigger，合理索引，如果能分数据
块尽量合理划分。我的历史数据表一年大概要增加一百五十万条记录可能还更多。所以
必须要能handle海量的数据查询。我最开始建的数据表加了100多个tickets后就慢的几
乎动不了。现在改进设计后，每天自动更新6000个股票的每日数据大概需要1-1.5个小
时就能完成。
为了建这个系统我把R in nutshell和Data Mashup和AFL编程和概率统计几本书都过了
一遍。希望更多的人也建自己的系统，自己做分析。至少能学到很多知识，或者对以后
换工作也有帮助。 |
b******u
发帖数: 3215 | |
s*****2
发帖数: 1035 | 3 是自己学习还是开放给别人用的?
【在 P**H 的大作中提到】
: 响应主席的号召来点实质的东东（码这么多字版主发个包子吧）
: 附件是目前我在搭建的系统。
: 已经完成了数据库，R和Amibroker的部分，前端的数据更新，简单的数据分析。
: 前端的数据更新程序自动从Yahoo和Google下载数据存到数据库里面。程序使用增量更
: 新只下载需要的数据所以效率很高。要提醒一句是不要高频向Google或者Yahoo请求数
: 据，否则会被服务器认为是攻击。我基本是一个请求后延迟1-2秒。呵呵，小马哥要看
: 到这里可能有似曾相识的感觉。
: Amibroker和R只跟我local数据库打交道，不再从网上读数据。R有RODBC包，可以很方
: 便读读数据库数据。AB使用ODBC插件，我感觉和本地的速度没明显差别。目前我用AB做
: 为Charting和presentation tool，很方便，还可以把数据库的分析结果加进来。
|
D**********d
发帖数: 849 | 4 好贴，顶！
其实用 Amibroker 的 Amiquote 可以很方便地从 Yahoo 下载 History Daily data,
优点有。
1. 多线程，速度快，全部 7k 多个ticker，在我烂 laptop 上只需 20'.
2. 不用理会增不增量的问题。它会帮你处理好
3. 可以很方便导出（通过 afl 编程,可以是任意格式）
4. 可以利用 Yahoo Fundamental Data
至于 Free 的当天 minute data, 我用Bash Shell 从一个网站上下载，也是 7k
tickers, 大概 10' 就完成。可惜的是 Amibroker 对海量数据的处理很弱，对内存的
安排很差。可能用 MySQL 会好一点。 |
l**n
发帖数: 7272 | 5 不错
你的实时数据，延时大概有多大？
对了，还有一个很小的问题：如果延时是x秒，那么比1/x频率高的采样是否还有意义？
比如，一个上班族白天不能随时监视股市。顶多能一两个小时看一眼。另外，这个人也
不相信DIY的trading系统。那么分钟量级的数据对他是否还有用？ |
l*******r
发帖数: 3799 | 6 If trading EOD, sqlite is enough for all EOD data. If getting very slow,
there are probably some problems with your design. For example, it only
takes less than 10 mins to update all daily EOD data. I use sqlite. |
s*****n
发帖数: 5488 | 7 没看懂增量更新那部分。
p/e peg也可以从yhoo更新。
【在 P**H 的大作中提到】
: 响应主席的号召来点实质的东东（码这么多字版主发个包子吧）
: 附件是目前我在搭建的系统。
: 已经完成了数据库，R和Amibroker的部分，前端的数据更新，简单的数据分析。
: 前端的数据更新程序自动从Yahoo和Google下载数据存到数据库里面。程序使用增量更
: 新只下载需要的数据所以效率很高。要提醒一句是不要高频向Google或者Yahoo请求数
: 据，否则会被服务器认为是攻击。我基本是一个请求后延迟1-2秒。呵呵，小马哥要看
: 到这里可能有似曾相识的感觉。
: Amibroker和R只跟我local数据库打交道，不再从网上读数据。R有RODBC包，可以很方
: 便读读数据库数据。AB使用ODBC插件，我感觉和本地的速度没明显差别。目前我用AB做
: 为Charting和presentation tool，很方便，还可以把数据库的分析结果加进来。
|
a****g
发帖数: 8131 | 8 nice
我最近也在做类是的
最近交易有少许心得，希望能够通过系统地分析做到consistency
【在 P**H 的大作中提到】
: 响应主席的号召来点实质的东东（码这么多字版主发个包子吧）
: 附件是目前我在搭建的系统。
: 已经完成了数据库，R和Amibroker的部分，前端的数据更新，简单的数据分析。
: 前端的数据更新程序自动从Yahoo和Google下载数据存到数据库里面。程序使用增量更
: 新只下载需要的数据所以效率很高。要提醒一句是不要高频向Google或者Yahoo请求数
: 据，否则会被服务器认为是攻击。我基本是一个请求后延迟1-2秒。呵呵，小马哥要看
: 到这里可能有似曾相识的感觉。
: Amibroker和R只跟我local数据库打交道，不再从网上读数据。R有RODBC包，可以很方
: 便读读数据库数据。AB使用ODBC插件，我感觉和本地的速度没明显差别。目前我用AB做
: 为Charting和presentation tool，很方便，还可以把数据库的分析结果加进来。
|
P**H
发帖数: 2272 | 9 实时的数据我还没想好怎么处理比较好，但是不太会存储在本地。
最可能的情况是监控几个tickets，有信号发email或者message到手机。
我定义自己不做DT。Swing Trading中实时数据能提供一个几天内可以接受的高点或者
地点就足够了。现在还不是我看重的地方。
软件主要是自己用，但是web端和message可以和朋友共享。想通过自己的数据分析回答
象这样的问题：比如某股某天大阳，所有主要的技术数据都看好，基本面没变化。但第
二天第三天都跌很多。或者全部反过来的情形。看到过烛线图和TA数据屡屡不灵的情况
。所以我想知道对某个股而言，出现这种烛线或者TA数据型有多大可能性升或者跌。这
需要系统回溯大量历史数据做运算和分析，如果有关联的还可以获得更多的对比分析。
我感觉一般MM都喜欢做自己熟悉的股票，所以长时间都会留下他们的痕迹，比如这个股
里面MM喜欢12%洗盘，另外一种可能5%就洗盘。
【在 l**n 的大作中提到】
: 不错
: 你的实时数据，延时大概有多大？
: 对了，还有一个很小的问题：如果延时是x秒，那么比1/x频率高的采样是否还有意义？
: 比如，一个上班族白天不能随时监视股市。顶多能一两个小时看一眼。另外，这个人也
: 不相信DIY的trading系统。那么分钟量级的数据对他是否还有用？
|
P**H
发帖数: 2272 | 10 历史变化，村长的秘技之一
【在 s*****n 的大作中提到】
: 没看懂增量更新那部分。
: p/e peg也可以从yhoo更新。
|
j********e
发帖数: 1192 | 11 请问Free的当天minute data在哪有呀？
【在 D**********d 的大作中提到】
: 好贴，顶！
: 其实用 Amibroker 的 Amiquote 可以很方便地从 Yahoo 下载 History Daily data,
: 优点有。
: 1. 多线程，速度快，全部 7k 多个ticker，在我烂 laptop 上只需 20'.
: 2. 不用理会增不增量的问题。它会帮你处理好
: 3. 可以很方便导出（通过 afl 编程,可以是任意格式）
: 4. 可以利用 Yahoo Fundamental Data
: 至于 Free 的当天 minute data, 我用Bash Shell 从一个网站上下载，也是 7k
: tickers, 大概 10' 就完成。可惜的是 Amibroker 对海量数据的处理很弱，对内存的
: 安排很差。可能用 MySQL 会好一点。
|
c*********o
发帖数: 8367 | 12 都是大牛啊， 不象我， 也就晚上回家看看freestockcharts.com....that is it...
太惭愧了。
【在 P**H 的大作中提到】
: 历史变化，村长的秘技之一
|
G*******m
发帖数: 16326 | |
