日志文件详细地记录了系统每天发生的各种各样的事件。用户可以通过日志文件检查错误产生的原因,或者在受到攻击和黑客入侵时追踪攻击者的踪迹。日志的两个比较重要的作用是:审核和监测。
在网站设计制作、成都网站设计过程中,需要针对客户的行业特点、产品特性、目标受众和市场情况进行定位分析,以确定网站的风格、色彩、版式、交互等方面的设计方向。创新互联建站还需要根据客户的需求进行功能模块的开发和设计,包括内容管理、前台展示、用户权限管理、数据统计和安全保护等功能。
Linux系统的日志主要分为两种类型:
1.进程所属日志
由用户进程或其他系统服务进程自行生成的日志,比如服务器上的access_log与error_log日志文件。
2.syslog消息
系统syslog记录的日志,任何希望记录日志的系统进程或者用户进程都可以给调用syslog来记录日志。
日志系统可以划分为三个子系统:
1. 连接时间日志--由多个程序执行,把纪录写入到/var/log/wtmp和/var/run/utmp,login等程序更新wtmp和utmp文件,使系统管理员能够跟踪谁在何时登录到系统。
2. 进程统计--由系统内核执行。当一个进程终止时,为每个进程往进程统计文件(pacct或acct)中写一个纪录。进程统计的目的是为系统中的基本服务提供命令使用统计。
3. 错误日志--由syslogd(8)执行。各种系统守护进程、用户程序和内核通过syslog(3)向文件/var/log/messages报告值得注意的事件。
2.察看日志文件
Linux系统所有的日志文件都在/var/log下,且必须有root权限才能察看。
日志文件其实是纯文本的文件,每一行就是一个消息。察看方式有很多。
1. cat命令。日志文件总是很大的,因为从第一次启动Linux开始,消息都累积在日志文件中。如果这个文件不只一页,那么就会因为显示滚动得太快看不清文件的内容。
2. 文本编辑器。最好也不要用文本编辑器打开日志文件,这是因为一方面很耗费内存,另一方面不允许随意改动日志文件。
3.用more或less那样的分页显示程序。
4.用grep查找特定的消息。
每一行表示一个消息,而且都由四个域的固定格式组成:
n 时间标签(timestamp),表示消息发出的日期和时间
n 主机名(hostname)(在我们的例子中主机名为escher),表示生成消息的计算机的名字。如果只有一台计算机,主机名就可能没有必要了。但是,如果在网络环境中使用syslog,那么就可能要把不同主机的消息发送到一台服务器上集中处理。
n 生成消息的子系统的名字。可以是"kernel",表示消息来自内核,或者是进程的名字,表示发出消息的程序的名字。在方括号里的是进程的PID。
n 消息(message),剩下的部分就是消息的内容。
举例:
在[root@localhost root]# 提示符下输入:tail /var/log/messages
Jan 05 21:55:51 localhost last message repeated 3 times
Jan 05 21:55:51 localhost kernel: [drm] AGP 0.99 on Intel i810 @ 0xf0000000 128M
B
Jan 05 21:55:51 localhost kernel: [drm] Initialized i830 1.3.2 20021108 on minor
Jan 05 21:55:51 localhost kernel: mtrr: base(0xf0000000) is not aligned on a siz
e(0x12c000) boundary
Jan 05 21:56:35 localhost 1月 28 21:56:35 gdm(pam_unix)[4079]: session opened f
or user root by (uid=0)
Jan 05 21:56:39 localhost 1月 28 21:56:39 gconfd (root-4162): 正在启动(版本 2.
2.0),pid 4162 用户"root"
Jan 05 21:56:39 localhost 1月 28 21:56:39 gconfd (root-4162): 解析的地址"xml:re
adonly:/etc/gconf/gconf.xml.mandatory"指向位于 0 的只读配置源
Jan 05 21:56:39 localhost 1月 28 21:56:39 gconfd (root-4162): 解析的地址"xml:re
adwrite:/root/.gconf"指向位于 1 的可写入配置源
Jan 05 21:56:39 localhost 1月 28 21:56:39 gconfd (root-4162): 解析的地址"xml:re
adonly:/etc/gconf/gconf.xml.defaults"指向位于 2 的只读配置源
Jan 05 21:58:20 localhost kernel: MSDOS FS: IO charset cp936
值得注意的是,与连接时间日志不同,进程统计子系统默认不激活,它必须启动。在Linux
系统中启动进程统计使用accton命令,必须用root身份来运行。accton命令的形式为:accton
file,file必须事先存在。先使用touch命令创建pacct文件:touch
/var/log/pacct,然后运行accton:accton
/var/log/pacct。一旦accton被激活,就可以使用lastcomm命令监测系统中任何时候执行的命令。若要关闭统计,可以使用不带任何
参数的accton命令。
3.日志系统工作原理及配置
3.1 syslog
它同closelog, openlog共同给system logger发送消息。
Linux内核由很多子系统组成,包括网络、文件访问、内存管理等。子系统需要给用户传送一些消息,这些消息内容包括消息的来源及其重要性等。所有的子系统都要把消息送到一个可以维护的公用消息区。于是,就有了一个叫Syslog的程序。
这个程序负责接收消息(比如:系统核心和许多系统程序产生的错误信息、警告信息和其他信息,每个信息都包括重要级),并把消息分发到合适的地方。通常情况
下,所有的消息都被记录到特定的文件——日志文件中(通常是/var/adm或/var/log目录下的messages文件),特别重要的消息也会在用
户终端窗口上显示出来。
syslog工具有两个重要文件:syslogd和syslog.Conf
它能接受访问系统的日志信息并且根据 "/etc/syslog.conf" 配置文件中的指令处理这些信息。守护进程和内核提供了访问系统的日志信息。因此,任何希望生成日志信息的程序都可以向 syslog 接口呼叫生成该信息。
3.2 syslogd守护进程
就象其它复杂的操作系统那样,Linux也是由很多不同的子系统组成的。有些叫做daemon的程序一直在后台运行(daemon:守护神之意。也就是
说,他们"默默无闻",不需要和用户交互),处理一些象打印、发送邮件、建立Internet连接,等等日常工作。每一个子系统发出日志消息的时候都会给
消息指定一个类型。一个消息分成两个部分:"设备(facility)"和"级别(level)"。"设备"标识发出消息的子系统,可以把同一类型的消息组合在一起,"级别"表示消息的重要性,其范围从debug(最不重要)到emerg(最重要),facility和level组合起来称为priority。(详细解释参照5.3)
/usr/include/sys/syslog.h中对此有相关的定义。
用户看不到daemon程序,因为它们没有窗口和用户界面。但是,这些程序有时候也要给用户传递一些信息。为了实现这个目的,就需要一个特殊的机制。syslogd就是daemon的一个很好的例子,它在后台运行并且把消息从日志区转移到日志文件中去。
函数接口
#include
void openlog( char * , int , int )
其中,可以是以下值的OR组合:
LOG_CONS : 如果消息无法送到syslogd,直接输出到系统console。
LOG_NDELAY : 立即打开到syslogd的连接,默认连接是在第一次写入讯息时才打开的。
LOG_PERROR : 将消息也同时送到stderr 上
LOG_PID : 将PID记录到每个消息中
void syslog( int , char * )
其中,是facility和level的OR组合
void closelog( void )
一般只需要用syslog()函数,其他函数可以不用。
3.3 syslog.conf
这是一个非常重要的文件。位于"/etc/"目录下。通知 syslogd 如何根据设备和信息重要级别来报告信息。
该文件使用下面的形式:
facility.level action
syslog.conf 的第一列facility.level用来指定日志功能和日志级别,中间用.隔开,可以使用*来匹配
所有的日志功能和日志级别。第二列action是消息的分发目标。
空白行和以#开头的行是注释,可以忽略。
Facility.level 字段也被称做选择域(seletor)。
n facility 指定 syslog 功能,主要包括以下这些:
auth 由 pam_pwdb 报告的认证活动。
authpriv 包括特权信息如用户名在内的认证活动
cron 与 cron 和 at 有关的信息。
daemon 与 inetd 守护进程有关的信息。
kern 内核信息,首先通过 klogd 传递。
lpr 与打印服务有关的信息。
mail 与电子邮件有关的信息
mark syslog 内部功能用于生成时间戳
news 来自新闻服务器的信息
syslog 由 syslog 生成的信息
user 由用户程序生成的信息
uucp 由 uucp 生成的信息
local0----local7 与自定义程序使用,例如使用 local5 做为 ssh 功能
* 通配符代表除了 mark 以外的所有功能
level 级别,决定讯息的重要性。
与每个功能对应的优先级是按一定顺序排列的,emerg 是最高级,其次是 alert,依次类推。缺省时,在 /etc/syslog.conf 记录中指定的级别为该级别和更高级别。如果希望使用确定的级别可以使用两个运算符号!(不等)和=。
例如:user.=info 表示告知 syslog 接受所有在 info 级别上的 user 功能信息。
n 以下的等级重要性逐次递减:
emerg 该系统不可用
alert 需要立即被修改的条件
crit 阻止某些工具或子系统功能实现的错误条件
err 阻止工具或某些子系统部分功能实现的错误条件
warning 预警信息
notice 具有重要性的普通条件
info 提供信息的消息
debug 不包含函数条件或问题的其他信息
none 没有重要级,通常用于排错
* 所有级别,除了none
n action 字段为动作域,所表示的活动具有许多灵活性,特别是,可以使用名称管道的作用是可以使 syslogd 生成后处理信息。
syslog 主要支持以下活动:
file 将消息追加到指定的文件尾
terminal 或 print 完全的串行或并行设备标志符
@host 远程的日志服务器
username 将消息写到指定的用户
named pipe 指定使用 mkfifo 命令来创建的 FIFO 文件的绝对路径。
* 将消息写到所有的用户
选择域指明消息的类型和优先级;动作域指明syslogd接收到一个与选择标准相匹配的消息时所执行的动作。每个选项是由设备和优先级组成。当指明一个优先级时,syslogd将纪录一个拥有相同或更高优先级的消息。比如如果指明"crit",则所有标为crit、alert和emerg的消息将被纪录。每行的行动域指明当选择域选择了一个给定消息后应该把他发送到什么地方。
以下是一个实际站点的配置(syslog.conf)文件:
# Store critical stuff in critical
#
*.=crit;kern.none /var/adm/critical
这个将把所有信息以优先权的crit保存在/var/adm/critical文件中,除了一些内核信息
# Kernel messages are first, stored in the kernel
# file, critical messages and higher ones also go
# to another host and to the console
#
kern.* /var/adm/kernel
kern.crit @finlandia
kern.crit /dev/console
kern.info;kern.!err /var/adm/kernel-info
第一条代码指引一些内核设备访问文件/var/adm/kernel的信息。
第二条代码直接引导所有拥有crit和更高优先权的内核信息访问远程主机。如果它们也存储在远程主机上,仍旧可以试着找到毁坏的原因。
第四行说明syslogd 保存了所有拥有info 到warning优先级的内核信息在/var/adm/kernel-info文件夹下。所有err和更高优先级的被排除在外。
# The tcp wrapper loggs with mail.info, we display
# all the connections on tty12
#
mail.=info /dev/tty12
这个引导所有使用mail.info (in source LOG_MAIL | LOG_INFO)的信息到/dev/tty12下,第12
个控制台。例如tcpwrapper
tcpd
(8)载缺省时使用这个
# Store all mail concerning stuff in a file
mail.*;mail.!=info /var/adm/mail
模式匹配了所有具有mail功能的信息,除了拥有info优先级的。他们将被保存在文件/var/adm/mail中
# Log all mail.info and news.info messages to info
#
mail,news.=info /var/adm/info
提取所有具有mail.info 或news.info 功能优先级的信息存储在文件/var/adm/info中
# Log info and notice messages to messages file
#
*.=info;*.=notice;\
mail.none /var/log/messages
使所有syslogd日志中具有info 或notice功能的信息存储在文件/var/log/messages中,除了所有mail功能的信息
# Log info messages to messages file
#
*.=info;\
mail,news.none /var/log/messages
这个声明使syslogd日志中所有具有info优先权的信息存储在/var/log/messages文件中。但是一些有mail 或news功能的信息不能被存储。
# Emergency messages will be displayed using wall
#
*.=emerg *
这行代码告诉syslogd写所有紧急信息到所有当前登陆用户日志中。这个将被实现
# Messages of the priority alert will be directed
# to the operator
#
*.alert root,joey
*.* @finlandia
这个代码指引所有具有alert 或更高级权限的信息到终端操作。
第二行代码引导所有信息到叫做finlandia的远程主机。这个代码非常有用,特别是在所有syslog信息将被保存到一台机器上的群集计算机。
3.4 klogd 守护进程
klog是一个从UNIX内核接受消息的设备
klogd
守护进程获得并记录 Linux 内核信息。通常,syslogd 会记录 klogd
传来的所有信息。也就是说,klogd会读取内核信息,并转发到syslogd进程。然而,如果调用带有 -f filename 变量的 klogd
时,klogd 就在 filename 中记录所有信息,而不是传给 syslogd。当指定另外一个文件进行日志记录时,klogd
就向该文件中写入所有级别或优先权。Klogd 中没有和 /etc/syslog.conf 类似的配置文件。使用 klogd 而避免使用
syslogd 的好处在于可以查找大量错误。
总结
其中,箭头代表发送消息给目标进程或者将信息写入目标文件。
图1 Linux日志系统
日志管理及日志保护
logrotate程序用来帮助用户管理日志文件,它以自己的守护进程工作。logrotate周期性地旋转日志文件,可以周期性地把每个日志文件重命名
成一个备份名字,然后让它的守护进程开始使用一个日志文件的新的拷贝。在/var/log/下产生如maillog、maillog.1、
maillog.2、boot.log.1、boot.log.2之类的文件。它由一个配置文件驱动,该文件是
/etc/logroatate.conf。
以下是logroatate.conf文件例子:
# see "man logrotate" for details
# rotate log files weekly
weekly
#以7天为一个周期
# keep 4 weeks worth of backlogs
rotate 4
#每隔4周备份日志文件
# send errors to root
errors root
#发生错误向root报告
# create new (empty) log files after rotating old ones
create
#转完旧的日志文件就创建新的日志文件
# uncomment this if you want your log files compressed
#compress
#指定是否压缩日志文件
# RPM packages drop log rotation information into this directory
include /etc/logrotate.d
# no packages own lastlog or wtmp -- we'll rotate them here
/var/log/wtmp {
monthly
create 0664 root utmp
rotate 1
}
# system-specific logs may be configured here
在网络应用中,有一种保护日志的方式,在网络中设定一台秘密的syslog主机,把这台主机的网卡设为混杂模式,用来监听子网内所有的syslog包,这
样把所有需要传送日志的主机配置为向一台不存在的主机发送日志即可。这样即使黑客攻陷了目标主机,也无法通过syslog.conf文件找到备份日志的主
机,那只是一个不存在的主机。实际操作中还可以辅以交换机的配置,以确保syslog包可以被备份日志主机上的syslog进程接受到。比如把
syslog.conf中的传送日志主机设为
@192.168.0.13,但实际网络中不存在这个日志主机,实际可能是192.168.0.250或者其他主机正在接受syslog包。
1、Linux下重要日志文件介绍
/var/log/boot.log
该文件记录了系统在引导过程中发生的事件,就是Linux系统开机自检过程显示的信息,如图1所示:
图1 /var/log/boot.log示意
/var/log/cron
该日志文件记录crontab守护进程crond所派生的子进程的动作,前面加上用户、登录时间和PID,以及派生出的进程的动作。CMD的一个动作是cron派生出一个调度进程的常见情况。REPLACE(替换)动作记录用户对它的cron文件的更新,该文件列出了要周期性执行的任务调度。RELOAD动作在REPLACE动作后不久发生,这意味着cron注意到一个用户的cron文件被更新而cron需要把它重新装入内存。该文件可能会查到一些反常的情况。该文件的示意请见图2:
图2 /var/log/cron文件示意
/var/log/maillog
该日志文件记录了每一个发送到系统或从系统发出的电子邮件的活动。它可以用来查看用户使用哪个系统发送工具或把数据发送到哪个系统。图3所示是该日志文件的片段:
图3 /var/log/maillog文件示意
该文件的格式是每一行包含日期、主机名、程序名,后面是包含PID或内核标识的方括号、一个冒号和一个空格,最后是消息。该文件有一个不足,就是被记录的入侵企图和成功的入侵事件,被淹没在大量的正常进程的记录中。但该文件可以由/etc/syslog文件进行定制。由/etc/syslog.conf配置文件决定系统如何写入/var/messages。
/var/log/syslog
默认Fedora不生成该日志文件,但可以配置/etc/syslog.conf让系统生成该日志文件。它和/etc/log/messages日志文件不同,它只记录警告信息,常常是系统出问题的信息,所以更应该关注该文件。要让系统生成该日志文件,在/etc/syslog.conf文件中加上:*.warning /var/log/syslog 该日志文件能记录当用户登录时login记录下的错误口令、Sendmail的问题、su命令执行失败等信息。该日志文件记录最近成功登录的事件和最后一次不成功的登录事件,由login生成。在每次用户登录时被查询,该文件是二进制文件,需要使用lastlog命令查看,根据UID排序显示登录名、端口号和上次登录时间。如果某用户从来没有登录过,就显示为"**Never logged in**"。该命令只能以root权限执行。简单地输入lastlog命令后就会看到类似图4的信息:
图4 lastlog命令的运行结果
/var/log/wtmp
该日志文件永久记录每个用户登录、注销及系统的启动、停机的事件。因此随着系统正常运行时间的增加,该文件的大小也会越来越大,增加的速度取决于系统用户登录的次数。该日志文件可以用来查看用户的登录记录,last命令就通过访问这个文件获得这些信息,并以反序从后向前显示用户的登录记录,last也能根据用户、终端tty或时间显示相应的记录。
/var/run/utmp
该日志文件记录有关当前登录的每个用户的信息。因此这个文件会随着用户登录和注销系统而不断变化,它只保留当时联机的用户记录,不会为用户保留永久的记录。系统中需要查询当前用户状态的程序,如 who、w、users、finger等就需要访问这个文件。该日志文件并不能包括所有精确的信息,因为某些突发错误会终止用户登录会话,而系统没有及时更新 utmp记录,因此该日志文件的记录不是百分之百值得信赖的。
以上提及的3个文件(/var/log/wtmp、/var/run/utmp、/var/log/lastlog)是日志子系统的关键文件,都记录了用户登录的情况。这些文件的所有记录都包含了时间戳。这些文件是按二进制保存的,故不能用less、cat之类的命令直接查看这些文件,而是需要使用相关命令通过这些文件而查看。其中,utmp和wtmp文件的数据结构是一样的,而lastlog文件则使用另外的数据结构,关于它们的具体的数据结构可以使用man命令查询。
每次有一个用户登录时,login程序在文件lastlog中查看用户的UID。如果存在,则把用户上次登录、注销时间和主机名写到标准输出中,然后login程序在lastlog中记录新的登录时间,打开utmp文件并插入用户的utmp记录。该记录一直用到用户登录退出时删除。utmp文件被各种命令使用,包括who、w、users和finger。
下一步,login程序打开文件wtmp附加用户的utmp记录。当用户登录退出时,具有更新时间戳的同一utmp记录附加到文件中。wtmp文件被程序last使用。
/var/log/xferlog
该日志文件记录FTP会话,可以显示出用户向FTP服务器或从服务器拷贝了什么文件。该文件会显示用户拷贝到服务器上的用来入侵服务器的恶意程序,以及该用户拷贝了哪些文件供他使用。
该文件的格式为:第一个域是日期和时间,第二个域是下载文件所花费的秒数、远程系统名称、文件大小、本地路径名、传输类型(a:ASCII,b:二进制)、与压缩相关的标志或tar,或"_"(如果没有压缩的话)、传输方向(相对于服务器而言:i代表进,o代表出)、访问模式(a:匿名,g:输入口令,r:真实用户)、用户名、服务名(通常是ftp)、认证方法(l:RFC931,或0),认证用户的ID或"*"。图5是该文件的部分显示:
图5 /var/log/xferlog文件示意
2、Linux日志输出查看方式
Linux下面提供了许多文本工具来查看和处理日志文件,下面给读者提供一些比较常见和有用的工具。
dmesg
使用dmesg命令可以快速查看最后一次系统引导的引导日志。如图6所示:
图6 dmesg显示结果
如上所示,通常它的内容会很多,所以我们往往使用如下命令以分页的方式显示引导信息,如图7所示:
# dmesg | more
img alt="dmesg" more命令显示结果"="" src="" style="padding: 0px; margin: 0px auto; list-style: none; display: block; width: 482px; height: 365px;"
图7 dmesg|more命令显示结果
tail
tail命令设计用于显示文本文件的最后几行。使用-f开关,当日志增加新的内容时,tail将继续显示新的输出。如图8所示:
# tar -f /var/log/messages
图8 使用tail查看日志
上面的命令将显示/var/log/messages文件的最后6行,然后继续监控那个文件,并输出新的行为。要停止tail -f命令,使用[Ctrl + C]来中止进程。
more和less
more的工作方式与DOS版本相同。您可以将它指向一个文件,或者通过它以管道输出信息,以分页的方式来查看信息。例如,以分页方式显示maillog日志文件的内容:
# more maillog
图9 使用more查看日志
然后,可以使用q或者[Ctrl+C]来停止查看文件。
less 是另一个文本阅读器,不过它还允许在文件中滚动浏览以及检索信息。如下所示:
# less /var/log/cron-20090830
图9 使用less命令查看日志
上面的命令将显示/var/log/yum.log文件的内容,可以使用q来停止查看文件。
其他方式
Linux中的日志文件对于系统的故障诊断和维护来说至关重要。许多诸如WWW、FTP、SMTP等网络应用服务的Linux日志记录都是记录到专门指定的文本文件中(比如access.log,error.log等等),所以不需要专门的工具来查看这些文件。用户可以选择Vi、gEdit等简单的文本编辑工具查看使用。
用cat命令查看linux服务器日志文件。cat /var/log/messages
cat /var/log/dmesg这个是硬件的 pre t="code" l="xml"日 志 文 件 说 明
/var/log/message 系统启动后的信息和错误日志,是Red Hat Linux中最常用的日志之一
/var/log/secure 与安全相关的日志信息
/var/log/maillog 与相关的日志信息
/var/log/cron 与定时任务相关的日志信息
/var/log/spooler 与UUCP和news设备相关的日志信息
/var/log/boot.log 守护进程启动和停止相关的日志消息
Linux日志文件在/var/log目录下,可以通过命令查看日志文件。
1,cat messages可以查看某个日志文件。
2,要达到实时更新,可以通过tail命令查看更新的数据,例如tail -f messages。
3,tail命令参数:
-f 循环读取
-q 不显示处理信息
-v 显示详细的处理信息
-c数目 显示的字节数
-n行数 显示行数
--pid=PID 与-f合用,表示在进程ID,PID死掉之后结束.
-q, --quiet, --silent 从不输出给出文件名的首部
-s, --sleep-interval=S 与-f合用,表示在每次反复的间隔休眠S秒。
日志文件夹的默认存储路径是:/var/log 下面是几个重要的日志文件: /var/log/messages:包括整体系统信息,其中也包含系统启动期间的日志。此外,还包括mail,cron,daemon,kern和auth等内容。 /var/log/syslog:它和/etc/log/messages日志文件不同,它只记录警告信息,常常是系统出问题的信息。 /var/log/user.log:记录所有等级用户信息的日志。 /var/log/auth.log:包含系统授权信息,包括用户登录和使用的权限机制等。 日志是一种文本文件,因此可以使用查看文本文件的命令来查看日志。 cat /var/log/messages 查询日志的全部内容 head -5 /var/log/messages 查询日志的前5行 tail -5 /var/log/messages 查询日志的最新5行 sed -n '5,10p' /var/log/messages 查询日志的5到10行