当前位置 博文首页 > 一篇文章带你从入门到精通:RabbitMQ
IDC(互联网数据中心)的定义:中间件是一种独立的系统软件服务程序,分布式应用软件借助这种软件在不同的技术之间共享资源,中间件位于客户机服务器的操作系统之上,管理计算资源和网络通信。
首先,中间件是某一类软件的总称,而不是某一种具体的软件。它是一种位于平台(操作系统硬件) 和 应用程序之间的通用服务,它屏蔽了底层操作系统的各种复杂性,减轻了开发人员的技术负担,同时它的设计不针对某一具体目标,而是提供具有普遍通用特点的功能模块服务,这些服务具有标准的程序接口和协议,根据平台的不同,也可以有不同的实现。
通俗的例子(仅供参考,并不算完全一致):
我开了一家咖啡店,我身边有 A B C 等 n 家咖啡豆的供应商,但是我肯定要挑选价格又实惠,质量还不错的豆子,但是市场是受到多方面因素波动的,可能我现在的选择,在一段时间后已经不是最佳选项了。所以我专门找到一家市场中介,让他帮我操心这一摊子事情,我只和你说清价格和质量要求,你去找就是了,过程我一点也不操心。这个中介的概念,就类似中间件的
这一段,来自我之前写的 Dubbo 入门的那篇文章哈
在百度以及维基中的定义都相对专业且晦涩,大部分博客或者教程经常会使用《分布式系统原理和范型》中的定义,即:“分布式系统是若干独立计算机的集合,这些计算机对于用户来说就像是单个相关系统”
下面我们用一些篇幅来通俗的解释一下什么叫做分布式
提到分布式,不得不提的就是 “集中式系统”,这个概念最好理解了,它就是将功能,程序等安装在同一台设备上,就由这一台主机设备向外提供服务
举个最简单的例子:你拿一台PC主机,将其改装成了一台简单的服务器,配置好各种内容后,你将MySQL,Web服务器,FTP,Nginx 等等,全部安装在其中,打包部署项目后,就可以对外提供服务了,但是一旦这台机器无论是软件还是硬件出现了问题,整个系统都会受到严重的牵连错误,鸡蛋放在一个篮子里,要打就全打了
既然集中式系统有这样一种牵一发而动全身的问题,那么分布式的其中一个作用,自然是来解决这样的问题了,正如定义中所知,分布式系统在用户的体验感官里,就像传统的单系统一样,一些变化都是这个系统本身内部进行的,对于用户并没有什么太大的感觉
例如:淘宝,京东这种大型电商平台,它们的主机都是数以万计的,否则根本没法处理大量的数据和请求,具体其中有什么划分,以及操作,我们下面会说到,但是对于用户的我们,我们不需要也不想关心这些,我们仍可以单纯的认为,我们面对的就是 “淘宝” 这一台 “主机”
所以分布式的一个相对专业一些的说法是这样的(进程粒度)两个或者多个程序,分别运行在不同的主机进程上,它们互相配合协调,完成共同的功能,那么这几个程序之间构成的系统就可以叫做分布式系统
这几者都是相同的程序 —— 分布式这几者都是不同的程序 —— 集群
消息中间件,顾名思义就是用来处理消息相关服务的中间件,它提供了一种系统之间通信交互的通道,例如发送方只需要把想传输的信息交给消息中间件,而发送的协议,方式,发送过程中出现的网络,故障等等问题,都由中间件进行处理,因此它负责保证信息的可靠传输。
所以消息中间件,就是一种用来接受数据,存储数据,发送数据的技术,它提供了各种功能,可以实现消息的高可用,高可靠,也提供了很好的容错机制等。可以程序对系统资源的占用,以及传输效率的提升有很大帮助。
常说的 MQ 就是指消息队列,即 Message Quene,常见的消息队列有,经典的 ActivieMQ,热门的 Kafka,阿里的 RocketMQ 等等,以及这里讲解的 RabbitMQ。
不同的 MQ 有着不同的特点,以及其更加擅长的方向,倒也说不上谁好谁坏,只有谁更合适。
根据业务的需要,其实它可以有多种应用场景,例如解耦,削峰填谷,广播等,我们举两个场景来梳理一下简单的过程
最近在考虑买几本书看,就以买书下订单举例,当我点击购买之后,可能会有这么一串业务逻辑执行,① 减去库存容量 ② 生成订单 ③ 支付 ④ 更新订单状态 ⑤ 发送购买成功短信 ⑥ 更新商品快递揽收状态。在初期阶段,我们完全可以让这些业务同步执行,但是后期为了提升效率,就可以将需要立即执行的任务和可稍缓执行的任务进行分离,例如 ⑤ 发送购买成功短信 ⑥ 更新商品快递揽收状态,都可以考虑异执行。在主流程执行结束后,这些可稍缓的业务可以通过给 MQ 发送消息,就判定已经执行,保证流程先结束。然后再通过拉取 MQ 消息,或者 MQ 主动推送去异步执行其他的业务。
例如发送一条带有已读未读标识的公告信息,所以需要对每一个用户都写一条这样的公告消息,例如存到 MongoDB 中,即便 MongoDB 也支撑不下来瞬时写入百万、千万记录的情况,所以可以考虑使用消息队列。比如说我们可以在Java后端系统上面,用异步多线程的方法,向消息队列MQ中发送消息,这样Web系统发布公告消息的时候就不占用数据库正常的 CRUD 操作。系统消息保存在消息队列中,我们只是用它来做削峰填谷,系统消息最终还是要存储在数据库上面。于是我们可以这样设计,在用户登陆系统的时候,用异步线程从消息队列MQ中,接收该用户的系统消息,然后把系统消息存储在数据库中,最后消息队列MQ中的该条消息自动删除。因为用户的错峰登录,所以往数据库中写入消息的任务也变成了错峰写入。
RabbitMQ 是一个使用 Erlang 语言编写,且遵循 AMQP协议的开源消息队列系统,支持多种客户端(语言),用于在分布式系统中存储消息,转发消息,具有高可用,高可扩性,易用性等特征。
更详细的介绍可以直接看一下官网:https://www.rabbitmq.com/
总之这就是一种常见的消息队列,它的这些特点,都会在后面逐条讲解到,我们首先从入门下载安装部分先说起,然后再到使用。
一般来说,安装的方式有手动安装和 Docker 安装,大部分场景下,都会使用 Docker 安装,但是作为学习阶段,如果不是特别着急,学习一下手动安装,也不是什么坏事。
注:云服务器和虚拟机都可以,演示的 Linux 版本为 CentOS 7.9
注:可以在 Linux 中通过 yum 直接下载安装,这里选择了在自己的 Windows 主机先下载文件,然后再通过 FTP 传到 Linux 上,直接安装。可以避免虚拟机上因为网络而造成的一些下载问题。
首先打开官网的下载目录,然后根据自己 Linux 的版本,选择版本。
1.地址:https://www.rabbitmq.com/download.html
2.因为 RabbitMQ 是 Erlang 语言编写的,所以还需要提供 Erlang 环境,接着去下载 Erlang。
3.将文件上传到 Linux 中(我这里指定位置是 /usr/local/bin/rabbitmq ,可以自己更改选择)
[root@centos7 rabbitmq]# ls esl-erlang_23.2.3-1_centos_7_amd64.rpm rabbitmq-server-3.8.14-1.el7.noarch.rpm [root@centos7 rabbitmq]# pwd /usr/local/bin/rabbitmq
4.安装 Erlang 、Socat 和 RabbitMQ
# 安装 Erlang,安装后执行 erl -v 显示版本号则代表成功 rpm -ivh esl-erlang_23.2.3-1_centos_7_amd64.rpm # 安装 Socat 这里没有下载源文件,而是直接通过 yum 在线安装,因为它并不大 yum install -y socat # 安装 RabbitMQ rpm -ivh rabbitmq-server-3.8.14-1.el7.noarch.rpm
5.安装结束,启动服务查看 RabbitMQ 是否可以启动成功
# 启动服务 systemctl start rabbitmq-server # 开机自启 systemctl enable rabbitmq-server # 停止服务 systemctl stop rabbitmq-server # 查看服务状态 systemctl status rabbitmq-server.service
如图所示,即安装启动成功
上面的安装其实已经结束了,但是 RabbitMQ 提供给了我们一个 Web 形式的管理界面,默认是没有的,需要进行安装。
1.安装 Web 管理插件,然后重启服务
# 安装命令 rabbitmq-plugins enable rabbitmq_management # 重启服务 systemctl restart rabbitmq-server
2.一定要开放 Linux 防火墙 的 15672 端口,否则就会无法访问,在学习阶段,你甚至可以去查询命令把防火墙关掉
对应服务器(阿里云,腾讯云等)就是在安全组中开放 15672 端口
访问 Linux IP:15672 ,例如 http://192.168.122.1:15672
# 查询 15672 是否开放,一般默认都是 no firewall-cmd --query-port=15672/tcp # 开放指定端口 15672 firewall-cmd --add-port=15672/tcp --permanent # 重新载入 firewall-cmd --reload # 再次查询,结果就是 yes 了 firewall-cmd --query-port=15672/tcp
3.添加远程登录的账户
# 新增用户 用户名和密码都是 admin rabbitmqctl add_user admin admin
4.为远程登录的账户添加权限
# 设置用户分配操作权限,admin 用户的权限为 administrator rabbitmqctl set_user_tags admin administrator
5.为用户添加资源权限
# 命令格式为: set_permissions [-p <vhostpath>] <user> <conf> <write> <read> # 这里即为 admin 用户开启 配置文件和读写的权限 rabbitmqctl set_permissions -p / admin ".*"".*"".*"
6.访问 Linux IP:15672 ,例如 http://192.168.122.1:15672
,输入刚才设置好的用户名密码 admin
1.添加用户:rabbitmqctl add_user <username> <password>
2.修改密码:rabbitmqctl change_password <username> <newpass>
3.删除用户:rabbitmqctl delete_user <username>
4.用户列表:rabbitmqctl list_users
5.设置用户角色:rabbitmqctl set_user_tags <username> <tag1,tag2>
6.删除用户所有角色:rabbitmqctl set_user_tags <username>
7.为用户添加资源权限:set_permissions [-p <vhostpath>] <user> <conf> <write> <read>
使用:输入 rabbitmqctl ,则会提示可能使用的命令,然后 使用 rabbitmqctl hepl <命令> 可以查看具体命令的使用方法和参数。
Tags 就是用来指定用户的角色
在 Docker 中安装 RabbitMQ 不需要自己去考虑版本,环境等的各种冲突不兼容问题,是非常便捷的,我演示的这台虚拟机是一个 CentOS 7.9 裸机,所以我们从更新 yum,到安装 Docker 和 安装 RabbitMQ 按步骤都讲一下
1.更新 yum 到最新版
# 更新 yum yum update # 检查yum依赖的几个包 yum-utils 提供 yum-config-manager 功能, 后面两个是 devicemapper 用到的 yum install -y yum-utils device-mapper-persistent-data lvm2
2.设置 yum 源为阿里云
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
1.使用 yum 安装 docker
yum install docker-ce -y
2.通过查看版本,检查安装是否成功
docker -v
sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json <<-'EOF' { "registry-mirrors": ["https://<你的ID>.mirror.aliyuncs.com"] } EOF sudo systemctl daemon-reload sudo systemctl restart docker
当配置某一个加速器地址之后,若发现拉取不到镜像,请切换到另一个加速器地址。国内各大云服务商均提供了 Docker 镜像加速服务,建议根据运行 Docker 的云平台选择对应的镜像加速服务。
阿里云镜像获取地址:https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors,登陆后,左侧菜单选中镜像加速器就可以看到你的专属地址了
# 启动 docker systemctl docker start # 停止 docker systemctl docker stop # 重启 docker systemctl docker restart # 查看 docker 状态 systemctl status docker # 开机自启 systemctl enable docker systemctl unenable docker
# 导入镜像文件 docker load < xxx.tar.gz # 查看安装的镜像 docker images # 删除镜像 docker rmi 镜像名
注:直接用 2.2.3.2 一句话安装 会更好一些
1.RabbitMQ 的镜像
docker pull rabbitmq:management
2.创建并运行容器(具体参数在 3 中介绍)
docker run -id --name 容器名 -p 15672:15672 -p 5672:5672 rabbitmq:management
上面的安装方式,就是先获取到 RabbitMQ 镜像后再开始安装,这里是没有问题的,创建时会有一个问题,因为我们要安装 management 也就是它的 web 管理,如果不做一些处理,默认装好的是没有用户的,所以还需要像前面一样自己进去配置,而 Docker Hub 已经给出了我们配置的示例,即使用 -e
代表配置,使用 RABBITMQ_DEFAULT_USER
和 RABBITMQ_DEFAULT_PASS
配置用户名和密码
更多请查看 Docker Hub 官方给予例子中的 Setting default user and password 章节https://registry.hub.docker.com/_/rabbitmq/
1.执行安装
docker run -di --name myrabbitmq -e RABBITMQ_DEFAULT_USER=admin -e RABBITMQ_DEFAULT_PASS=admin -p 15672:15672 -p 5672:5672 -p 25672:25672 -p 61613:61613 -p 1883:1883 rabbitmq:management
2.通过容器状态,查看是否运行成功
# 查看容器运行状态docker ps -a# 启动docker start 容器名# 停止docker stop 容器名# 退出命令行,不停止exit# 进入到node容器(如果开启了 -t 的情况)docker exec -it 容器名 bash
下面分别讲解一下这些参数的说明:
-i
:表示运行容器。-t
:表示为容器保留交互的方式(命令行),即分配一个伪终端。所以常常会见到 -it
这样的搭配。--name
:为容器起个名字。-v
:表示目录映射关系(前者是宿主机目录,后者是映射到宿主机上的目录),可以使用多个 -v
做多个目录或文件映射。注意:推荐做目录映射,在宿主机上做修改,然后共享到容器上。-d
:表示创建一个守护式容器在后台运行(这样创建容器后不会自动登录容器,如果只加 -i -t
两个参数,创建后就会自动进去容器),即后端挂起运行。-p
:表示端口映射,前者是宿主机端口,后者是容器内的映射端口。可以使用多个 -p
做多个端口映射,只有做了端口映射,才能被外界访问。给大家举个例子:
# 查看容器运行状态 docker ps -a # 启动 docker start 容器名 # 停止 docker stop 容器名 # 退出命令行,不停止 exit # 进入到node容器(如果开启了 -t 的情况) docker exec -it 容器名 bash
因为使用了 -t 这个参数,所以可以分配到一个伪终端,通过 docker exec -it 容器名 bash 进入命令行
-v 目录映射后,进入容器后,也会有一个一模一样的 demo 文件夹,例如在其中可以执行 python 程序
4369 :erlang发现端口
5672:client端通信端口
15672:管理界面ui端口
25672:server间内部通信端口
61613:不带TLS和带TLS的STOMP客户端
1883:不启用和启用TLS的MQTT客户端
比较关键的就是 5672 和 15672
更多端口详情可以访问官网文档https://www.rabbitmq.com/networking.html
注:如果要通过远程连接,例如访问 web 管理页面的 15672 端口,Java 客户端连接的 5672 端口, 一定要进行一个开放操作,否则都连接不到。
# 查询 15672 是否开放,一般默认都是 no firewall-cmd --query-port=15672/tcp # 开放指定端口 15672 firewall-cmd --add-port=15672/tcp --permanent # 重新载入 firewall-cmd --reload # 再次查询,结果就是 yes 了 firewall-cmd --query-port=15672/tcp
]以下是关闭防火墙的命令
systemctl disable firewalld systemctl stop firewalld
安装结束后,就要进入主题,即用 Java 或者 Springboot 代码来实现 RabbitMQ的几种方式,但是想要很好的理解这几种路由交换方式,就需要对它的协议和架构模型有所了解。
协议,网络协议的简称,网络协议是通信计算机双方必须共同遵从的一组约定。如怎么样建立连接、怎么样互相识别等。只有遵守这个约定,计算机之间才能相互通信交流。它的三要素是:语法、语义、时序。
为了使数据在网络上从源到达目的,网络通信的参与方必须遵循相同的规则,这套规则称为协议(protocol),它最终体现为在网络上传输的数据包的格式。
1.语法:数据与控制信息的结构和格式,以及数据出现的顺序。
2.语义:解释控制信息每个部分的意义,以及规定了需要发出何种控制信息以及完成的动作做出何种响应。
3.时序:对事件发生顺序的详细说明。
人们形象地把这三个要素描述为:做什么,怎么做,做的顺序。
举个例子 HTTP 协议
语法:HTTP 规定了请求报文和响应报文的格式
语义:客户端主动发起请求称为请求,服务端随之返回数据,称为响应
时序: 一个请求对应一个响应,而且先有请求后有响应
对于一个消息中间件来说,其主要责任就是负责数据传递,存储,分发,高性能和简洁才是我们所追求的,而 HTTP 请求报文头和响应报文头是比较复杂的,包含了Cookie,数据的加密解密,窗台吗,响应码等附加的功能,我们并不需要这么复杂的功能。
同时大部分情况下 HTTP 大部分都是短链接,在实际的交互过程中,一个请求到响应都很有可能会中断,中断以后就不会执行持久化,就会造成请求的丢失。这样就不利于消息中间件的业务场景,因为消息中间件可能是一个长期的获取信息的过程,出现问题和故障要对数据或消息执行持久化等,目的是为了保证消息和数据的高可靠和稳健的运行
RabbitMQ 的使用的协议是 AMQP(advanced message queuing protocol),它在2003年时被提出,最早用于解决金融领不同平台之间的消息传递交互问题。
AMQP 更准确的说是一种 binary wire-level protocol(链接协议)。这是其和 JMS 的本质差别,AMQP 不从 API 层进行限定,而是直接定义网络交换的数据格式。这使得实现了AMQP的 Provider(Producer) 天然性就是跨平台的。
相比较其它消息协议,其特性为:
1.分布式事务支持
2.消息的持久化支持
3.高性能和高可靠的消息处理优势
想要学习后面的几种消息具体的发送模式,这个模型图就必须理解清楚,因为这几种方式就是对这个模型不同程度的选择和缩减
Producer
:消息的生产者(发送消息的程序)。Connection
:应用程序与Broker之间的网络连接。Channel
:信道,即信息传输的通道,可以建立多个 Channel,每个 Channel 代表一个会话任务。
Broker(Server)
:标识消息队列服务器实体,例如这里就是 RabbitMQ Server。Virtual Host
:虚拟主机,一个 Broker 中可以设置多个 Virtual Host,用作不同用户的权限隔离。
Exchange
:交换机,用来接收生产者发送的消息,然后将这些消息根据路由键发送到队列。Binding
:Exchange 和 Queue 之间的虚拟连接,Binding 中可以包括多个 Routing key。Routing key
:路由规则,虚拟机用它来确认如何路由一个特定消息。Queue
:消息队列,它是消息的容器,用来保存消息,每一条消息都能传入一个或者多个队列中,等待消费者消费,即取出这个消息。Consumer
:消息的消费者(接收消息的程序)。官网介绍几种模型:https://www.rabbitmq.com/getstarted.html
截止目前为止,官网一共提供了 7 中模型的介绍,我们主要介绍前五种基本的模式,也有人将 Direct 和 Topic模式都归入 Routing 模式,也可以看做四大种。
首先创建好一个不使用骨架的 Maven 项目,然后引入 RabbitMQ 依赖,还有单元测试依赖即可
<dependency> <groupId>com.rabbitmq</groupId> <artifactId>amqp-client</artifactId> <version>5.10.0</version> </dependency> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version> </dependency>
在这里,我们创建了一个新的 Virtual Hosts,用来为这个Java项目服务,大家还可以创建一个新的用户,然后对其开启这个 Virtual Hosts 的访问权限(即将虚拟主机与用户绑定)。我们这里还是用 admin(我之前创建的一个管理员权限用户) 来演示。
注:这部分不去做也可以,直接用 / 和 admin 用户也行
由于我们后面要演示多种例子,而每一次获取连接和释放连接、关闭资源等操作代码都是一致的,为了防止代码冗余,优化代码,更易理解,提取出一个工具类,这样大家将重心放在不同实现方式的对比上就行了。
public class RabbitMqUtil { /** * 主机名 即 Linux IP地址 */ private static String host = ""; /** * 端口号 客户端访问默认都是 5672 */ private static int port = 0; /** * 虚拟主机 可以设置为默认的 / 或者自己创建出指定的虚拟主机 */ private static String virtualHost = ""; /** * 用户名 */ private static String username = ""; /** * 密码 */ private static String password = ""; // 使用静态代码块为Properties对象赋值 static { try { //实例化对象 Properties properties = new Properties(); //获取properties文件的流对象 InputStream in = RabbitMqUtil.class.getClassLoader().getResourceAsStream("rabbitmq.properties"); properties.load(in); // 分别获取 value host = properties.getProperty("host"); port = Integer.parseInt(properties.getProperty("port")); virtualHost = properties.getProperty("virtualHost"); username = properties.getProperty("username"); password = properties.getProperty("password"); } catch (Exception e) { e.printStackTrace(); } } /** * 获取连接 * * @return 连接 */ public static Connection getConnection() { try { // 创建连接工厂 ConnectionFactory connectionFactory = new ConnectionFactory(); // 设置连接 rabbitmq 主机 connectionFactory.setHost(host); // 设置端口号 connectionFactory.setPort(port); // 设置连接的虚拟主机(数据库的感觉) connectionFactory.setVirtualHost(virtualHost); // 设置访问虚拟主机的用户名和密码 connectionFactory.setUsername(username); connectionFactory.setPassword(password); // 返回一个新连接 return connectionFactory.newConnection(); } catch (Exception e) { e.printStackTrace(); } return null; } /** * 关闭通道和释放连接 * * @param channel channel * @param connection connection */ public static void close(Channel channel, Connection connection) { try { if (channel != null) { channel.close(); } if (connection != null) { connection.close(); } } catch (Exception e) { e.printStackTrace(); } } }
host=192.168.122.1 port=5672 virtualHost=/rabbitmq_maven_01 username=admin password=adminv
说明:
Producer
:消息的生产者(发送消息的程序)。Queue
:消息队列,理解为一个容器,生产者向它发送消息,它把消息存储,等待消费者消费。Consumer
:消息的消费者(接收消息的程序)。由图所示,简单队列模式,一个生产者,经过一个队列,对应一个消费者。可以看做是点对点的一种传输方式,相较与 3.1.3 中的模型图,最主要的特点就是看不到 Exchange(交换机) 和 routekey(路由键) ,正是因为这种模式简单,所以并不会涉及到复杂的条件分发等等,因此也不需要用户去显式的考虑交换机和路由键的问题。