h*********n
发帖数: 256 | 1 【 以下文字转载自 Database 讨论区 】
发信人: happysansan (happy inside your heart), 信区: Database
标 题: 问个关于数据到SQL数据库的传送和整合问题
发信站: BBS 未名空间站 (Thu Feb 7 12:55:12 2013, 美东)
公司有很多tester，每个tester PC 都自己采集数据，最终会有数据文件，格式是.txt
文件，不同的tester数据的结构并不完全一致，但是比较类似。现在的任务是每个
tester的数据要收集到一台SQL server上，最终的目的是得到每台tester测试的数据然
后可以统一report。而且这一切不要人工的介入，也就是一切靠软件实现。我是主要作
硬件的，对软件只是粗浅了解。
问题比较大，请版上的大侠们指点指点。有什么办法可以实现，用什么programming
tool比较适合用。
谢谢。 | n*w
发帖数: 3393 | | t****a
发帖数: 1212 | 3 你的这个问题我不觉得有什么tool直接能完成。要写一些scripts
首先得把数据结构整一致了，如果不完全一致，那么要明确分成哪几种格式
让tester把他们的数据共享给你的程序，比如用共享文件夹
你要有一个程序定时的去检查这些文件夹，看是否有新数据，发现有新数据就需要上传
到数据库 | c*****m
发帖数: 1160 | 4 可以对每一个不同的tester数据的结构都做一个template，然后用bulk insert
我昨天刚好新作了一个template，是关于web log的：
9.0
22
1 SQLCHAR 0 12 "," 1 DataFileID
""
2 SQLCHAR 0 24 "," 2 LUDate
""
3 SQLCHAR 0 900 "," 3 URL
SQL_Latin1_General_CP1_CI_AS
4 SQLCHAR 0 30 "," 6 CPCode
""
5 SQLCHAR 0 30 "," 4 OKVolume
""
6 SQLCHAR 0 21 "," 5 ErrorVolume
""
7 SQLCHAR 0 21 "," 7 0xx
""
8 SQLCHAR 0 21 "," 8 200
""
9 SQLCHAR 0 21 "," 9 206
""
10 SQLCHAR 0 21 "," 10 2xx
""
11 SQLCHAR 0 21 "," 11 302
""
12 SQLCHAR 0 21 "," 12 304
""
13 SQLCHAR 0 21 "," 13 3xx
""
14 SQLCHAR 0 21 "," 14 404
""
15 SQLCHAR 0 21 "," 15 4xx
""
16 SQLCHAR 0 21 "," 16 OffloadedHits
""
17 SQLCHAR 0 21 "," 17 OriginHits
""
18 SQLCHAR 0 21 "," 18 Initiated
""
19 SQLCHAR 0 21 "," 19 Completed
""
20 SQLCHAR 0 30 "," 20 PerCompleted
""
21 SQLCHAR 0 30 "," 21 OriginOKVolume
""
22 SQLCHAR 0 30 "\n" 22 OriginErrorVolume
""
数据来源那边改变一下格式，我就需要做一个新的模板来适应它们的新格式, tmd.
总之，你对每一个不同的数据结构都做一个模板，然后在每一个test pc上面都放一个
相应的模板文件，就可以轻易地bulk insert了。 | c*****m
发帖数: 1160 | 5 reference:
Use a Format File to Bulk Import Data (SQL Server)
http://msdn.microsoft.com/en-us/library/ms178129.aspx | c*********e
发帖数: 16335 | 6 text文件里面，一行数据就是数据库表里面的一行吗？
如果是，text文件的一行里面，每项是用什么分隔的？比如csv是用逗号，也有用|的，
或者其他的。
txt
【在 h*********n 的大作中提到】
: 【 以下文字转载自 Database 讨论区 】
: 发信人: happysansan (happy inside your heart), 信区: Database
: 标 题: 问个关于数据到SQL数据库的传送和整合问题
: 发信站: BBS 未名空间站 (Thu Feb 7 12:55:12 2013, 美东)
: 公司有很多tester，每个tester PC 都自己采集数据，最终会有数据文件，格式是.txt
: 文件，不同的tester数据的结构并不完全一致，但是比较类似。现在的任务是每个
: tester的数据要收集到一台SQL server上，最终的目的是得到每台tester测试的数据然
: 后可以统一report。而且这一切不要人工的介入，也就是一切靠软件实现。我是主要作
: 硬件的，对软件只是粗浅了解。
: 问题比较大，请版上的大侠们指点指点。有什么办法可以实现，用什么programming
| h*********n
发帖数: 256 | 7 Thank you all for the useful info provided, I will look into what's being
mentioned here.
Thanks again. | s*****n
发帖数: 5488 | 8 为什么要sql server呢？ 简单的寸文件或者mongoDB都好的多。
txt
【在 h*********n 的大作中提到】
: Thank you all for the useful info provided, I will look into what's being
: mentioned here.
: Thanks again.
| h*********n
发帖数: 256 | 9 要利用公司已经有的一台sql server。
【在 s*****n 的大作中提到】
: 为什么要sql server呢？ 简单的寸文件或者mongoDB都好的多。
:
: txt
| c*********e
发帖数: 16335 | 10 在sql server里面加一个database,这个database里加一个表。所有的tester的数据都
存到这个表里面。或者，一个tester存到一个表里，然后最后join这些表。
txt
【在 h*********n 的大作中提到】
: 要利用公司已经有的一台sql server。
| s****0
发帖数: 117 | 11 要是我的话，拿 R 就可以对付了.
http://www.r-project.org/
txt
【在 h*********n 的大作中提到】
: 要利用公司已经有的一台sql server。
|
|
