当前位置 博文首页 > 江晓龙的博客：filebeat使用module收集mysql慢查询日志（十一）
mysql主要收集慢查询日志和error日志
1.安装mysql
[root@mysql ~]# yum -y install mariadb-server
2.修改配置文件制定数据存放路径
[root@mysql ~]# vim /etc/my.cnf
[mysqld]
datadir=/data/mysql
socket=/var/lib/mysql/mysql.sock
symbolic-links=0
[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid
!includedir /etc/my.cnf.d
3.创建数据目录并赋权
[root@mysql ~]# mkdir /data/mysql
[root@mysql ~]# chown -R mysql:mysql /data/mysql/
4.启动mysql
[root@mysql ~]# systemctl start mariadb
这是临时开启的，想要永久开启需要修改配置文件，临时开启每次重启数据库都会关闭
1.查询慢sql时长（多长时间内没执行完就表示是慢sql，这是时10秒）
MariaDB [(none)]> show variables like 'long_query_time%';
+-----------------+-----------+
| Variable_name | Value |
+-----------------+-----------+
| long_query_time | 10.000000 |
+-----------------+-----------+
1 row in set (0.01 sec)
2.查询慢sql是否开启
MariaDB [(none)]> show variables like 'slow_query%';
+---------------------+----------------+
| Variable_name | Value |
+---------------------+----------------+
| slow_query_log | OFF |
| slow_query_log_file | mysql-slow.log |
+---------------------+----------------+
2 rows in set (0.00 sec)
3.开启慢sql
MariaDB [(none)]> set global slow_query_log=ON;
Query OK, 0 rows affected (0.00 sec)
MariaDB [(none)]> show variables like 'slow_query%';
+---------------------+----------------+
| Variable_name | Value |
+---------------------+----------------+
| slow_query_log | ON |
| slow_query_log_file | mysql-slow.log |
+---------------------+----------------+
2 rows in set (0.00 sec)
sleep命令就执行每一条数据查询使用多少秒，这样一来就可以产生慢日志了
MariaDB [(none)]> select sleep(5),user,host from mysql.user;
+----------+------+-----------+
| sleep(5) | user | host |
+----------+------+-----------+
| 0 | root | 127.0.0.1 |
| 0 | root | ::1 |
| 0 | | localhost |
| 0 | root | localhost |
| 0 | | mysql |
| 0 | root | mysql |
+----------+------+-----------+
6 rows in set (30.00 sec)
[root@mysql ~]# tail -f /data/mysql/mysql-slow.log 查询慢日志
1.开启mysql modules配置
[root@mysql /data/mysql]# filebeat modules enable mysql
Enabled mysql
2.修改mysql modules配置文件
[root@mysql ~]# vim /etc/filebeat/modules.d/mysql.yml
- module: mysql
error:
enabled: true
var.paths: ["/var/log/mariadb/mariadb.log"]
slowlog:
enabled: true
var.paths: ["/data/mysql/mysql-slow.log"]
3.重启filebeat
[root@mysql ~]# systemctl restart filebeat
MariaDB [(none)]> select sleep(2),user,host from mysql.user;
+----------+------+-----------+
| sleep(2) | user | host |
+----------+------+-----------+
| 0 | root | 127.0.0.1 |
| 0 | root | ::1 |
| 0 | | localhost |
| 0 | root | localhost |
| 0 | | mysql |
| 0 | root | mysql |
+----------+------+-----------+
6 rows in set (12.00 sec)
MariaDB [(none)]> select sleep(5),user,host from mysql.user;
+----------+------+-----------+
| sleep(5) | user | host |
+----------+------+-----------+
| 0 | root | 127.0.0.1 |
| 0 | root | ::1 |
| 0 | | localhost |
| 0 | root | localhost |
| 0 | | mysql |
| 0 | root | mysql |
+----------+------+-----------+
6 rows in set (30.01 sec)
已经生成了索引，由于我们没有指定索引名，所以是默认的，第一次做mysql日志收集，可以先不指定索引库，首先等索引库数据生成后，看里面的json字段，根据字段信息来确定在filebeat中做匹配规则
打开数据浏览的时候已经可以确定根据那个字段去做匹配规则，最终自定义索引名了
fileset.name这个字段就是module配置文件中的的不同日志区分的关键点，也可以拿这个作为匹配规则
1.配置filebeat
[root@mysql ~]# vim /etc/filebeat/filebeat.yml
- index: "mysql-error-%{+yyyy.MM.dd}"
when.contains:
fileset.name: "error"
- index: "mysql-slowlog-%{+yyyy.MM.dd}"
when.contains:
fileset.name: "slowlog"
2.重启filebeat
[root@mysql ~]# systemctl restart filebeat
mysql-error索引
mysql-slowlog索引
点击Discovery—选择mysql-error索引—查看数据
点击小三角即可看到数据的详细内容
已经全部是json格式
[root@mysql ~]# mkdir /data/kibana_module/kibana_module_mysql/
[root@mysql ~]# cd /data/kibana_module/kibana_module_mysql/
[root@mysql /data/kibana_module/kibana_module_mysql]# cp -r /usr/share/filebeat/kibana/6/* .
[root@mysql /data/kibana_module/kibana_module_mysql]# find dashboard/ -type f ! -name "*mysql*" |xargs rm -rf
[root@mysql /data/kibana_module/kibana_module_mysql]# sed -i 's#filebeat\-\*#mysql\-\*#g' dashboard/Filebeat-mysql.json
[root@mysql /data/kibana_module/kibana_module_mysql]# sed -i 's#filebeat\-\*#mysql\-\*#g' index-pattern/filebeat.json
[root@mysql ~]# filebeat setup --dashboards -E setup.dashboards.directory= /data/kibana_module/kibana_module_mysql/
Loading dashboards (Kibana must be running and reachable)
Loaded dashboards
导入成功
查看图形，只有少量有数据
