当前位置 博文首页 > lyaeq:linux文件系统和日志分析

    lyaeq:linux文件系统和日志分析

    作者:lyaeq 时间:2021-06-26 18:30

    一、Linux文件系统

    1.inode与block

    1.概述:

    (1)文件数据包括元信息与实际信息

     

    (2)文件存储在硬盘上,硬盘最小存储单位是“扇区”,每个扇区存储512字节

     

    (3)block:

       *.连续的八个扇区组成一个block(4k)

       *.是文件存取的最小单位

     

     (4)inode:(索引节点)

       *.中文译名为索引节点,也叫   i    节点

       *.用于存储文件元信息

     

    2.inode和biock的关系

                                 元信息     →   inode

                                  数据        →   block

    *.文件数据包括实际数据与元信息(类似文件的属性)文件数据存储在 块 中,存储文件源信息(比如文件的创建者、创建日期、文件大小、文件权限等)的区域就叫做inode、因此目标也是一种文件,结构乳下图所示:

    文件名1 inode号码1
    文件名2 inode号码2
    文件名3 inode号码3
    ........ .........

    *.每个inode都有一个号码,操作系统用inode号码来识别不同的文件,Linux系统内部不使用文件名,而使用inode号码来识别文件,对于系统来说,文件名是inode号码便于识别的别称文件名和inode号码是  一  一 对应关系,每个inode号码对应一个文件名

     

    查看文件名对应inode号码有两种方式

    1 查看文件名对应的inode号码
    ls -i
    2 查看文件inode信息中的inode号码
    stat 文件名

     

    3.inode包含文件的元信息

    * 文件的字节数

    * 文件拥有者的User ID

    * 文件的Group ID

    * 文件的读、写、执行权限

    * 文件的时间戳等

     

    4.Linux系统文件三个主要的时间属性

    * ctime(change time)  最后一次改变文件或目录属性的时间

    *  atime (access time) 最后一次访问文件或目录的时间

    *  mtime (modify time) 最后一次修改文件或目录内容的时间

     

    5.用户通过文件名打开文件时,系统内部的过程

    * 系统找到这个文件名对应的inode号码

    *  通过inode号码,获取inode信息

    *  根据inode信息,找到文件数据所在的block,读出数据

     

    6.硬盘分区后的结构

                                              文件名   →   目录项      目录块

                                              元信息   →   inode        inode 表区块

                                              数据       →    block        biock  数据区

    7.访问文件的简单流程

     

                                                                                                                                                           是  → 指定对应的数据biock                                                                                                                                           

    用户访问文件----------通过文件名→系统查找文件对应的inode→判断用户是否具备访问权限------|

                                                                                否 → 返回permission

                                                                                                                                                                                denied

     

    8.inode的大小

    * inode也会消耗硬盘空间:每个inode号的大小一般是128字节或256字节

    * 格式化文件系统时确定inode的总数

    * 使用df -i命令可以常看每个硬盘分区的inode总数和已经使用的数量

    9.inode特点

    由于inode 号码与文件名分离,导致Linux系统具备一下几种特有的现象

    * 文件名包含特殊字符,可能无法正常删除,直接删除inode,能够起到删除文件的作用

    1 删除inode号的方法
    2 【root@cocalhost~]#find ./ -inum 68201002 -exec rm -i {}\;
    3 【root@cocalhost~】#find./ inum 68201002 -delete

    * 移动文件或重命名文件,只是改变文件名,不影响inode号(这里指的是非挂载磁盘)

    * 打开一个文件以后,系统就以inode号码来识别这个文件,不在考虑文件名

    * 文件数据被修改保存后,会生成一个新的inode号码

     

     

     

     

     

     

    10.硬连接和软件

    * 为文件或目录建立链接文件

    * 链接文件的分类和对比

    操作和范围 软链接 硬链接
    删除原始文件后 失效 仍然可用
    使用范围 适用于文件或目录 只可用于文件
    保存位置 与原始文件可以位于不同文件系统中 必须与原始文件在同一个文件系统(如一个Linux分区)内

    * 软链接的格式

    1 硬链接
    ln  源文件  目标位置
    2 软链接
    ls [-s]   源文件或者目录...      链接文件或者目标位置

    11.恢复误删的文件(EXT类型)

    *1 大概步骤

    (1)编译安装extundelete软件包

    (2)安装依赖包

    *    e2fsprogs-libs-1.41.12- 18. el6.x86_ 64.rpm

    *   e2fsprogs-devel-1 41.12-18.el6.x86_ 64.rpm

    (3)配置、编译及安装、模拟删除并执行恢复操作

    *  extundelete-0.2.4.tar.bz2

    *2 详细步骤如下添加新磁盘,具体步骤可以参考本文第三段:磁盘管理的检测并确认新硬盘

    缺新磁盘添加成功

    对磁盘进行分区,更改类型

    对新建的分区进行格式化,类型为ext3

    挂载并查看

    安装e2fsprogs-devel 和e2fsprogs-libs程序

     从网上下载安装e2fsprogs-devel 和e2fsprogs-libs程序

    将extundelete-0.2.4.tar拖入Linux中

    使用tar命令进行解压

    编译并安装

    将安装程序的bin目录软连接到环境变量的目录下

    创建文件并删除进行测试

     12.xfs类型文件备份和恢复

    1.Centos 7系统默认采用xfs类型的文件,xfs类型的文件可使用xfsdump 与xfsrestore 工具进行备份恢复。

       xfsdump的备份级别有两种: 0表示完全备份; 1-9表示增量备份。xfsdump的备份级别默认为0。

    2..xfsdump的命令格式

        xfsdump -f 备份存放位置 要备份的路径或设备文件

    3.xfsdump命令常用的选项

     

    -f 指定备份文件目录
    -L 指定标签session label
    -M 指定设备标签media label
    -S 备份单个文件,-s后面不能直接跟路径

    4.xfsdump使用限制

    只能备份已挂载的文件系统
    必须使用root的权限才能操作
    只能备份XFS文件系统
    备份后的数据只能让xfsrestore解析
    不能备份两个具有相同UUID的文件系统(可用blkid命令查看)

    5.演示备份和恢复的具体步骤

    将前面使用的分区sdb1进行解挂并格式化为xfs格式后重新挂载,也可以重新创建然后类型修改为xfs类型,具体步骤参考上一个实验。

    在挂载目录创建文件用于后面测试用

    查看程序是否安装,指定备份目录和需要备份的磁盘

    创建文件并且删除进行测试

    二、日志文件

    日志保存位置默认位于:/var/log目录下

    1.日志的功能

    用于记录系统、程序运行中发生的各种事件
    通过阅读日志,有助于诊断和解决系统故障

     

    2.日志文件的分类

    1.内核及系统日志

    由系统服务rsyslog统一进行管理,日志格式基本相似
    主配置文件/etc/rsyslog.conf

    2.用户日志

    记录系统用户登录及退出系统的相关信息

    3..程序日志

    由各种应用程序独立管理的日志文件,记录格式不统一

    3.主要日志文件分类

    1.内核及公共消息日志:

    /var/log/messages: 记录Linux内核消息及各种应用程序的公共日志信息,包括启动、I0错误、网络错误、程序故障等。
    对于未使用独立日志文件的应用程序或服务,一般都可以从该日志文件中获得相关的事件记录信息。

    2..计划任务日志

    /var/log/ cron: 记录crond计划任务产生的事件信息。

    3..系统引导日志

    /var/ log/ dmesg: 记录Linux系统在引导过程中的各种事件信息。

    4.邮件系统日志:

    /var/log/maillog:记录进入或发出系统的电子邮件活动。

    5..用户登录日志

    /var/log/secure: 记录用户认证相关的安全事件信息。
    /var/log/lastlog: 记录每个用户最近的登录事件。二进制格式
    /var/log/wtmp: 记录每个用户登录、注销及系统启动和停机事件。二进制格式
    /var/ run/btmp: 记录失败的、错误的登录尝试及验证事件。二进制格式

    6.日志配置文件和日志消息等级

    vim /etc/rsyslog.conf #查看rsyslog.conf配置文件
    * . info;mail.none;authpriv.none;cron.none /var/log/messages
    *.info #表示info等级及以上的所有等级的信息都写到对应的日志文件里
    mail.none #表示某事件的信息不写到日志文件里(这里比如是邮件)

    Linux系统内核日志消息的优先级别(数字等级越小,优先级越高,消息越重要):

    级别 消息 级别 具体描述
    0 EMERG 紧急 会导致主机系统不可用的情况
    1 ALERT 警告 必须马上采取措施解决的问题
    2 CRIT 严重 比较严重的情况
    3 ERR 错误 运行出现错误
    4 WARNING 提醒 可能影响系统功能,需要提醒用户的重要事件
    5 NOTICE 注意 不会影响正常功能,但是需要注意的事件
    6 INFO 信息 一般信息
    7 DEBUG 调试 程序或系统调试信息等

    7..日志记录的一般格式

     

    8.分析工具

    users、who、 W、last、 lastb
    last命令用于查询成功登录到系统的用户记录

    lastb命令用于查询登录失败的用户记录

    9..程序日志分析:由相应的应用程序独立进行管理

    access_log ——记录客户访问事件
    error_log ——记录错误事件

    10.代理服务:/var/log/squid/

    access.log、cache.log
    分析工具
    文本查看、grep过来检索、Webmin管理套件中查看
    awk、sed等文本过滤、格式化编辑工具
    Webalizer、Awstats等专用日志分析工具

     

    11.日志管理策略

    及时做好备份和归档
    延长日志保存期限
    控制日志访问权限
    日志中可能会包含各类敏感信息,如账户和口令等
    *1.集中管理日志
    将服务器的日志文件发到统一-的日志文件服务器
    便于日志信息的统- -收集、 整理和分析
    杜绝日志信息的意外丢失、恶意篡改或删除
    bk