B*****g
发帖数: 34098 | 1 公司要bulk load数据去oracle，数据是text。需要multiple CPU工作，咋搞？数据比
较大，一个文件几百G。
啥hibernate，spring的都能用吗？
谢谢。 |
g*****g
发帖数: 34805 | 2 干这个活，显然写一个脚本就行了。
【在 B*****g 的大作中提到】
: 公司要bulk load数据去oracle，数据是text。需要multiple CPU工作，咋搞？数据比
: 较大，一个文件几百G。
: 啥hibernate，spring的都能用吗？
: 谢谢。
|
B*****g
发帖数: 34098 | 3 你上班也晃悠? 你的意思就是说啥都不用，standard的就行了？
【在 g*****g 的大作中提到】
: 干这个活，显然写一个脚本就行了。
|
k***r
发帖数: 4260 | 4 应该什么都不用吧。灌data就行了
【在 B*****g 的大作中提到】
: 你上班也晃悠? 你的意思就是说啥都不用，standard的就行了？
|
B*****g
发帖数: 34098 | 5 数据量太大，一般load回把server搞死的
【在 k***r 的大作中提到】
: 应该什么都不用吧。灌data就行了
|
k***r
发帖数: 4260 | 6 add a delay, load more slowly
【在 B*****g 的大作中提到】
: 数据量太大，一般load回把server搞死的
|
B*****g
发帖数: 34098 | 7 need to load fast, but only given limited resources.
【在 k***r 的大作中提到】
: add a delay, load more slowly
|
g*****g
发帖数: 34805 | 8 Go as fast as you can without bringing the server down, use
smaller data to figure out the right delay.
【在 B*****g 的大作中提到】
: need to load fast, but only given limited resources.
|
B*****g
发帖数: 34098 | 9 谢谢，让我先看看
【在 g*****g 的大作中提到】
: Go as fast as you can without bringing the server down, use
: smaller data to figure out the right delay.
|
B*****g
发帖数: 34098 | 10 谢谢
【在 k***r 的大作中提到】
: add a delay, load more slowly
|
|
|
s******e
发帖数: 493 | 11 Actually this is a good question.
Rule of thumb: no ORM should be used for bulk load. |
B*****g
发帖数: 34098 | 12 let me google ORM first.
【在 s******e 的大作中提到】
: Actually this is a good question.
: Rule of thumb: no ORM should be used for bulk load.
|
k***r
发帖数: 4260 | 13 Just don't use any of the fancy stuff :)
【在 B*****g 的大作中提到】
: let me google ORM first.
|
F****n
发帖数: 3271 | 14 Why not just write a Java I/O class then you can control everything
including buffering and delay.
【在 k***r 的大作中提到】
: add a delay, load more slowly
|
b******y
发帖数: 9224 | 15 I second Foxman. Keep it simple I guess. |
s***y
发帖数: 124 | 16 Just use SQL Loader,
You can tune many parameters while using SQL Loader |
