c*****d
发帖数: 6045 | 1 应该是log产生的太快了
可以查询一下v$log_history
select sequence#, to_char(first_time, 'yyyy-mm-dd hh24:mi')
from v$log_history |
|
T******r
发帖数: 861 | 2 我记得commit了才写到transcation log，然后checkpoint写到data file。对嘛？ |
|
c*****d
发帖数: 6045 | 3 我也是这么记的commit了才写到transcation log |
|
t****n
发帖数: 263 | 4 Of course uncommitted transaction should be written to the log. Otherwise,
how can it be rolled back if anything bad happens before it being committed.
A checkpoint writes dirty pages to disks. It doesn't give a shit to if the
transaction is committed or not. |
|
s**********o
发帖数: 14359 | 5 好像是写的，比如删除100B的记录，没删完之前LOG就开始增长了。 |
|
T******r
发帖数: 861 | 6 确实是写的
找到这么一段话
a log record may contain details of either a closed (committed) transaction
or an open (uncommitted) transaction, and in each case the data modified by
the transaction may or may not have been written to the data files,
depending on whether or not a checkpoint has occurred. |
|
h**o
发帖数: 548 | 7 大概几十台servers, 每台server每天分析几十GB公司自己格式的web log.
目前是用c 语言分析,结果存成每日的xml.
然后有一台management server, 每天从 这几十台servers 收集 xml结果，
再用 perl parse 这些 xml 并和已有的历史文件（也是xml）合并生成 一个新的历史
文件。
记录包括daily，weekly, monthly的各种信息。
现在问题是这个xml文件太大不好parse。 想问能否用sql从新设计？
statistics 包括:
userID_$attr1_$attr2_$attr3_$attr4,
url_$attr1_$attr2_$attr3
sessionID_$attr3_$attr4
...
其中
$attrX is variable with a value. e.g. $attr3 is 手机类型 whose value can be
userID, url, sessionID are long lists of str... 阅读全帖 |
|
s****a
发帖数: 9912 | 8 数据这么多，为什么没考虑直接WRITE IN DATABASE呢，
XML搞大量数据，慢就一个字，数据库数据库，是用来
存数据的，XML要能替代数据库，DBA都去喝西北风去了。
LOG数据这么重要，为什么不CUSTOMIZE写几个程序存进
数据库呢。与其成天去PARSE，为什么一开始没设计好 |
|
e****7
发帖数: 4387 | 9
每天web log 有多少gb 啊，以前在公司里专门做这个，我们每天只有只有6-7gb, data
mart 里存一年的，大概1.5T，然后所以数据转入OLAP。速度比数据库快多了。 |
|
n****f
发帖数: 905 | 10 别激动朋友。 请问这种 LOG 文件， 要如何做 PARTITION？
parse 之前要不要 DROP indexes?
parse 之后要不要重建 indexes?
呵呵， 慢， 仅仅是一个现象， 原因有很多。。。。
俺说说硬件不合法啊？ |
|
h**o
发帖数: 548 | 11 谢谢大家。
对，瓶颈不在"分析web log."而在“把当天的xml和已有的历史文件（也是xml）
累积(是merge,不是简单的加)生成一个新的历史文件xml”这步。
前一年还好，现在客户多了，访问的量大了。累积量也大了，
历史文件 里 userID， url等 好多。没法parse了。
xml设计不是我做的。但现在要我重新设计。
客户需求类似于OLAP。
举个例子: userID_$attr1_$attr2_$attr3_$attr4：
$attr１ 包括 上传｜下传
$attr2 包括 各种 各种手机电脑类型 包括 爱风 | 安猪｜...
$attr3 包括 用户的 content 类型 包括 图型 | 文本 | 视频 | ...
$attr4 包括 公司的东西。 attr4A | attr4B | attr4C | attr4D | ...
例如 monthly report of userID_下传_爱风_视频_attr4A 目的是求：
每月有多少爱风手机用户下传attr4A的视频。注意每个符合要求的用户string都要存在
这张report里，否则将来merge时没法知道... 阅读全帖 |
|
D*****n
发帖数: 363 | 12 I have user id and password to access a remote computer that opens up a
shared folder for me. I wanna write a program that logs onto it (also
running XP/2000/2003) and copy a few files back. What .Net apis to use
to access the remote computer? |
|
l*s
发帖数: 783 | 13 ☆─────────────────────────────────────☆
Dintern (.Net newbie) 于 (Mon Jan 29 23:57:40 2007) 提到:
I have user id and password to access a remote computer that opens up a
shared folder for me. I wanna write a program that logs onto it (also
running XP/2000/2003) and copy a few files back. What .Net apis to use
to access the remote computer?
☆─────────────────────────────────────☆
cogt (苦荆茶) 于 (Tue Jan 30 09:10:06 2007) 提到:
impersonate? I didn't do that before..
☆───────────────────────── |
|
b**********g
发帖数: 460 | 14 大家知道用什么工具能够analyze the log files. 谢谢 |
|
b**********g
发帖数: 460 | 15 NT log file. Home computer or web server |
|
n***t
发帖数: 8357 | 16 今天我的一台旧电脑（WIN10 PRO）上午自己SHUTDOWN，下午我重启后在EVENT VIEWER
里只看到下午重启的LOG，上午的没有。
这个是怎么回事？
谢谢！ |
|
|
b**k
发帖数: 1219 | 18 经常看见有的朋友没登陆,却吱呀一声log out |
|
j**n
发帖数: 54 | 19 【 以下文字转载自 Database 讨论区 】
发信人: jrun (AAA), 信区: Database
标 题: MYSQL 的LOG SIZE怎么在不停 变大
发信站: BBS 未名空间站 (Wed Oct 11 20:08:33 2006)
我们要保留大概30天的数据， 然后不要的就用DELETE去掉， 现在发现数据库的SIZE还
是在不停变大。 什么原因有大虾知道吗？
多谢多谢。 |
|
k***r
发帖数: 496 | 20 【 以下文字转载自 Security 讨论区 】
发信人: kiler (Killer), 信区: Security
标 题: 在我的router里发现这样的一个log信息
发信站: BBS 未名空间站 (Sat Jan 6 03:27:41 2007)
Time Message Source Destination
Jan/05/2007 06:07:35 Unknow Packet!! 82.101.189.49:36185 68.32.102.111:42641
Note
Packet Dropped
68.32.102.111 是我的router的ip。这个82.101.189.49:36185想干什么？
谢谢指教。 |
|
l*****b
发帖数: 82 | 21 My current system is single-threaded with several modules which are
processed in sequence. I use SMTPAppender to capture error and send warning
emails with the following format:
[time][thread-1][module 1]start: XXXXXXX
[time][thread-1][module 2]XXXXXXX
[time][thread-1][module 3]XXXXXXX
[time][thread-1][module 4]ERR: XXXXXXX
After I change the system to multhithreaded, the logs will be tangled up
like:
[time][thread-1][module 1]start: XXXXXXX
[time][thread-2][module 1]start: XXXXXXX
[time][thread |
|
g*****g
发帖数: 34805 | 22 You either create logger per thread, or maybe extend SMTPAppender and
filter the log the way you want.
warning |
|
l*****b
发帖数: 82 | 23 Thanks, goodbug. Those are good advice. I have some questions on them:
For logger per thread, will it impact the performance? Provided thread pool
max is 200, there are about 200 logger at some time.
For customed SMTPAppender, how many buffer should I set? If threads
increased, it has chance the fixed buffer cannot reach the first log entry. |
|
A**o
发帖数: 1550 | 24 question: how do you capture error and remembers the previous log event?
or how many emails you receive in the single thread mode in your example?
warning |
|
l*****b
发帖数: 82 | 25 Hi,Amao, I use SMTPAppender. It has a buffer setting to record specific
number of log events. My setting in single thread mode is 10. When error
occurs, one email is send out with 10 events. |
|
A**o
发帖数: 1550 | 26 thanks for explaining. but i doubt the logger per thread
model would work without make your own extentions.
anyway, i don't think your request is what log4j intends to do.
and from my experience, tempering with log4j other than config is not worthy.
how about dump everything into a db using jdbc appender,
and assign each thread with a uid and log it.
and when an error occurs,
dig the db, and query on the uid, and send your email? |
|
c**t
发帖数: 2744 | 27 the log file is created by log4j; but somehow ChainSaw can't recognize.. any
one experienced the same issue? |
|
d**s
发帖数: 920 | 28 Hi, All:
请大家推荐Web Log Analysis tools
I have tried WebLog Expert Lite, I am thinking if I shall pay for its
professional version.(or can I download it free somewhere ?)
What is your recommendation ? Google Paralytics is too simple and need to
change very webpage.
Thanks. |
|
d**s
发帖数: 920 | 29 It is not a web log analysis tool. |
|
d**s
发帖数: 920 | 30 Dear Linux Guru:
We do not want to use Google Analytics,
能否推荐最好的web access log analysis tools ?
Thanks, |
|
G*F
发帖数: 427 | 31 我在notebook上装了个ubuntu 12.04。所有硬件都能识别。但是suspend再唤醒之后，
无线鼠标就不动了，再拔下来插上也没用。然后syslog就猛涨。每毫秒都有很多log，
好像就是跟USB有关的。哪位高手知道这个该怎么办？ |
|
f*********r
发帖数: 242 | 32 I want to have some tasks be executed everytime when I shut down or log out.
What is the best method? Thanks a lot. |
|
w*s
发帖数: 7227 | 33 it works partially, everything goes to log file, not console display.
any idea pls ? |
|
b********e
发帖数: 58 | 34 Actually, for the specific example, I got 3.000000 on my machine. If you are
only concerned with integer numbers and very sticky on the precision of the
result, maybe log function (no matter what the base is) is not your choice.
Good luck. |
|
c******o
发帖数: 1277 | 35 cassandra确实更适合做多写少读的log。 |
|
d*******r
发帖数: 3299 | 36 其实我是用过Mongo, 没用过Cassandra, 组里有人用，说Cassandra有很多参数要调整
，要难学一点。
组里有不少人还在用 MySQL, 我想他们也能查询我做这个 log server. 不知道
Cassandra有靠谱点的白痴 client / web GUI 没有。
e.g. 不知道这种东西靠谱不
https://github.com/sebgiroux/Cassandra-Cluster-Admin
还有，HBase 现在跟 Cassandra 比起来如何，用起来能更简单可靠吗? |
|
z****e
发帖数: 54598 | 37 hbase比cassandra还难搞
db用来做log就over kill了
如果你想找类似c*的，用couchdb
这个容易搞，支持python做查询
跟mongodb比较怎么说
couchdb vs mongodb
就像
cassandra vs hbase |
|
g*****g
发帖数: 34805 | 38 log server does have high load, in fact, it can easily be the highest load
server among your services. |
|
d*******r
发帖数: 3299 | 39 是的，我打算用一种通用格式的API(e.g. REST)包装 log server 的 service，然后
AWS内网的其他 hosts，call 这个API就是了。
pretty
to |
|
z*******3
发帖数: 13709 | 40 你们这个系统还真杂啊
我刚跟一个集团的cio聊了下
他跟我也有相同的观点
就是技术太杂本身就是错误的
所以他们用了一段时间groovy之后
还是丢掉了groovy，回到java上去
因为java本身普及的范围广
groovy欠缺点，会的人不多
我用aop也是不用aspectj的额外定义的语法
也只用spring的aop，这样都是java，减少各种障碍
你这种杂语言系统如果要做成web service的话
vert.x很好用啊
log |
|
|
