当前位置 博文首页 > 努力充实,远方可期:【Jenkins】持续集成环境实战
pdf供下载:https://download.csdn.net/download/hancoder/19835802
1、持续集成及Jenkins介绍
2、Jenkins安装和持续集成环境配置
3、Jenkins构建Maven项目
4、Jenkins+Docker+SpringCloud微服务持续集成
5、基于Kubernetes/K8S构建Jenkins微服务持续集成平台
软件开发生命周期又叫做SDLC(Software Development Life Cycle),它是集合了计划、开发、测试和部署过程的集合。如下图所示 :
这是生命周期的第一阶段,根据项目需求,团队执行一个可行性计划的分析。项目需求可能是公司内部或者客户提出的。这阶段主要是对信息的收集,也有可能是对现有项目的改善和重新做一个新的项目。还要分析项目的预算多长,可以从哪方面受益及布局,这也是项目创建的目标。
第二阶段就是设计阶段,系统架构和满意状态(就是要做成什么样子,有什么功能),和创建一个项目计划。计划可以使用图表,布局设计或者文者的方式呈现。
第三阶段就是实现阶段,项目经理创建和分配工作给开者,开发者根据任务和在设计阶段定义的目标进行开发代码。依据项目的大小和复杂程度,可以需要数月或更长时间才能完成。
测试人员进行代码测试 ,包括功能测试、代码测试、压力测试等。
最后进阶段就是对产品不断的进化改进和维护阶段,根据用户的使用情况,可能需要对某功能进行修改,bug修复,功能增加等。
瀑布模型是最著名和最常使用的软件开发模型。瀑布模型就是一系列的软件开发过程。它是由制造业繁衍出来的。一个高度化的结构流程在一个方向上流动,有点像生产线一样。在瀑布模型创建之初,没有其它开发的模型,有很多东西全靠开发人员去猜测,去开发。这样的模型仅适用于那些简单的软件开发, 但是已经不适合现在的开发了。
下图对软件开发模型的一个阐述。
优势 | 劣势 |
---|---|
简单易用和理解 | 各个阶段的划分完全固定,阶段之间产生大量的文档,极大地增加了工作量。 |
当前一阶段完成后,您只需要去关注后续阶段。 | 由于开发模型是线性的,用户只有等到整个过程的末期才能见到开发成果,从而增加了开发风险。 |
为项目提供了按阶段划分的检查节点 | 瀑布模型的突出缺点是不适应用户需求的变化。 |
敏捷开发(Agile Development) 的核心是迭代开发(Iterative Development) 与 增量开发(Incremental Development) 。
对于大型软件项目,传统的开发方式是采用一个大周期(比如一年)进行开发,整个过程就是一次"大开发";迭代开发的方式则不一样,它将开发过程拆分成多个小周期,即一次"大开发"变成多次"小开发",每次小开发都是同样的流程,所以看上去就好像重复在做同样的步骤。
举例来说,SpaceX 公司想造一个大推力火箭,将人类送到火星。但是,它不是一开始就造大火箭,而是先造一个最简陋的小火箭 Falcon 1。结果,第一次发射就爆炸了,直到第四次发射,才成功进入轨道。然后,开发了中型火箭 Falcon 9,九年中发射了70次。最后,才开发 Falcon 重型火箭。如果SpaceX 不采用迭代开发,它可能直到现在还无法上天。
软件的每个版本,都会新增一个用户可以感知的完整功能。也就是说,按照新增功能来划分迭代。
举例来说,房产公司开发一个10栋楼的小区。如果采用增量开发的模式,该公司第一个迭代就是交付一号楼,第二个迭代交付二号楼…每个迭代都是完成一栋完整的楼。而不是第一个迭代挖好10栋楼的地基,第二个迭代建好每栋楼的骨架,第三个迭代架设屋顶…
虽然敏捷开发将软件开发分成多个迭代,但是也要求,每次迭代都是一个完整的软件开发周期,必须按照软件工程的方法论,进行正规的流程管理。
早期交付
敏捷开发的第一个好处,就是早期交付,从而大大降低成本。 还是以上一节的房产公司为例,如果按照传统的"瀑布开发模式",先挖10栋楼的地基、再盖骨架、然后架设屋顶,每个阶段都等到前一个阶段完成后开始,可能需要两年才能一次性交付10栋楼。也就是说,如果不考虑预售,该项目必须等到两年后才能回款。 敏捷开发是六个月后交付一号楼,后面每两个月交付一栋楼。因此,半年就能回款10%,后面每个月都会有现金流,资金压力就大大减轻了。
降低风险
敏捷开发的第二个好处是,及时了解市场需求,降低产品不适用的风险。 请想一想,哪一种情况损失比较小:10栋楼都造好以后,才发现卖不出去,还是造好第一栋楼,就发现卖不出去,从而改进或停建后面9栋楼?
持续集成( Continuous integration , 简称 CI )指的是,频繁地(一天多次)将代码集成到主干。
**持续集成的目的,就是让产品可以快速迭代,同时还能保持高质量。**它的核心措施是,代码集成到主干之前,必须通过自动化测试。只要有一个测试用例失败,就不能集成。
通过持续集成, 团队可以快速的从一个功能到另一个功能,简而言之,敏捷软件开发很大一部分都要归功于持续集成。
持续集成的流程
根据持续集成的设计,代码从提交到生产,整个过程有以下几步。
流程的第一步,是开发者向代码仓库提交代码。所有后面的步骤都始于本地代码的一次提交(commit)
代码仓库对commit操作配置了钩子(hook),只要提交代码或者合并进主干,就会跑自动化测试。
通过第一轮测试,代码就可以合并进主干,就算可以交付了。
交付后,就先进行构建(build),再进入第二轮测试。所谓构建,指的是将源码转换为可以运行的实际代码,比如安装依赖,配置各种资源(样式表、JS脚本、图片)等等。
构建完成,就要进行第二轮测试。如果第一轮已经涵盖了所有测试内容,第二轮可以省略,当然,这时构建步骤也要移到第一轮测试前面。
过了第二轮测试,当前代码就是一个可以直接部署的版本(artifact)。将这个版本的所有文件打包(tar ?lename.tar * )存档,发到生产服务器。
一旦当前版本发生问题,就要回滚到上一个版本的构建结果。最简单的做法就是修改一下符号链接,指向上一个版本的目录。
1、降低风险,由于持续集成不断去构建,编译和测试,可以很早期发现问题,所以修复的代价就少;
2、对系统健康持续检查,减少发布风险带来的问题;
3、减少重复性工作;
4、持续部署,提供可部署单元包;
5、持续交付可供使用的版本;
6、增强团队信心;
Jenkins 是一款流行的开源持续集成(Continuous Integration)工具,广泛用于项目开发,具有自动化构建、测试和部署等功能。官网: http://jenkins-ci.org/。
Jenkins的特征:
开源的Java语言开发持续集成工具,支持持续集成,持续部署。
易于安装部署配置:可通过yum安装,或下载war包以及通过docker容器等快速实现安装部署,可方便web界面配置管理。
消息通知及测试报告:集成RSS/E-mail通过RSS发布构建结果或当构建完成时通过e-mail通知,生成JUnit/TestNG测试报告。
分布式构建:支持Jenkins能够让多台计算机一起构建/测试。
文件识别:Jenkins能够跟踪哪次构建生成哪些jar,哪次构建使用哪个版本的jar等。
丰富的插件支持:支持扩展插件,你可以开发适合自己团队使用的工具,如git,svn,maven,docker等。
1)首先,开发人员每天进行代码提交,提交到Git仓库
2)然后,Jenkins作为持续集成工具,使用Git工具到Git仓库拉取代码到集成服务器,再配合JDK,
Maven等软件完成代码编译,代码测试与审查,测试,打包等工作,在这个过程中每一步出错,都重新再执行一次整个流程。
3)最后,Jenkins把生成的jar或war包分发到测试服务器或者生产服务器,测试人员或用户就可以访问应用。
虚拟机统一采用CentOS7。
名称 | IP地址 | 安装的软件 |
---|---|---|
代码托管服务器 | 192.168.66.100 | Gitlab-12.4.2 |
持续集成服务器 | 192.168.66.101 | Jenkins-2.190.3,JDK1.8,Maven3.6.2,Git, SonarQube |
应用测试服务器 | 192.168.66.102 | JDK1.8,Tomcat8.5 |
官网: https://about.gitlab.com/
GitLab 是一个用于仓库管理系统的开源项目,使用Git作为代码管理工具,并在此基础上搭建起来的web服务。
GitLab和GitHub一样属于第三方基于Git开发的作品,免费且开源(基于MIT协议),与Github类似,可以注册用户,任意提交你的代码,添加SSHKey等等。不同的是,GitLab是可以部署到自己的服务器上,数据库等一切信息都掌握在自己手上,适合团队内部协作开发,你总不可能把团队内部的智慧总放在别人的服务器上吧?简单来说可把GitLab看作个人版的GitHub。
\1. 安装相关依赖
yum -y install policycoreutils openssh-server openssh-clients post?x
\2. 启动ssh服务&设置为开机启动
systemctl enable sshd && sudo systemctl start sshd
\3. 设置post?x开机自启,并启动,post?x支持gitlab发信功能
systemctl enable post?x && systemctl start post?x
\4. 开放ssh以及http服务,然后重新加载防火墙列表 ?rewall-cmd --add-service=ssh --permanent ?rewall-cmd --add-service=http --permanent ?rewall-cmd --reload
如果关闭防火墙就不需要做以上配置
\5. 下载gitlab包,并且安装在线下载安装包:
wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el6/gitlab-ce-12.4.2-ce.0.el6.x 86_64.rpm
安装:
rpm -i gitlab-ce-12.4.2-ce.0.el6.x86_64.rpm
\6. 修改gitlab配置
vi /etc/gitlab/gitlab.rb
修改gitlab访问地址和端口,默认为80,我们改为82 external_url ‘http://192.168.66.100:82’
nginx[‘listen_port’] = 82
\7. 重载配置及启动gitlab gitlab-ctl recon?gure gitlab-ctl restart
\8. 把端口添加到防火墙
?rewall-cmd --zone=public --add-port=82/tcp --permanent ?rewall-cmd --reload
启动成功后,看到以下修改管理员root密码的页面,修改密码后,然后登录即可
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hJwrsczu-1624726844473)(file:///C:/Users/HAN/AppData/Local/Temp/msohtmlclip1/01/clip_image038.jpg)]
1)创建组
使用管理员 root 创建组,一个组里面可以有多个项目分支,可以将开发添加到组里面进行设置权限,不同的组就是公司不同的开发项目或者服务模块,不同的组添加不同的开发即可实现对开发设置权限的管理
2)创建用户
创建用户的时候,可以选择Regular或Admin类型。
创建完用户后,立即修改密码
3)将用户添加到组中
选择某个用户组,进行Members管理组的成员
Gitlab用户在组里面有5种不同权限:
4)在用户组中创建项目
以刚才创建的新用户身份登录到Gitlab,然后在用户组中创建新的项目
下面来到IDEA开发工具,我们已经准备好一个简单的Web应用准备到集成部署。我们要把源码上传到Gitlab的项目仓库中。
1)项目结构说明
我们建立了一个非常简单的web应用,只有一个index.jsp页面,如果部署好,可以访问该页面就成功啦!
2)开启版本控制
2)提交代码到本地仓库先Add到缓存区
git add
再Commit到本地仓库
3)推送到Gitlab项目仓库中
这时都Gitlab的项目中拷贝url地址
输入gitlab的用户名和密码,然后就可以把代码推送到远程仓库啦
刷新gitlab项目
1)安装JDK
Jenkins需要依赖JDK,所以先安装JDK1.8 yum install java-1.8.0-openjdk* -y
安装目录为:/usr/lib/jvm
2)获取jenkins安装包
下载页面:https://jenkins.io/zh/download/安装文件:jenkins-2.190.3-1.1.noarch.rpm
3)把安装包上传到192.168.66.101服务器,进行安装 rpm -ivh jenkins-2.190.3-1.1.noarch.rpm
4)修改Jenkins配置
vi /etc/sysco?g/jenkins
修改内容如下: JENKINS_USER=“root” JENKINS_PORT=“8888”
5)启动Jenkins
systemctl start jenkins
6)打开浏览器访问 http://192.168.66.101:8888
注意:本服务器把防火墙关闭了,如果开启防火墙,需要在防火墙添加端口
7)获取并输入admin账户密码
cat /var/lib/jenkins/secrets/initialAdminPassword
8)跳过插件安装
因为Jenkins插件需要连接默认官网下载,速度非常慢,而且经过会失败,所以我们暂时先跳过插件安装
9)添加一个管理员账户,并进入Jenkins后台
保存并完成
开始使用Jenkins
Jenkins本身不提供很多功能,我们可以通过使用插件来满足我们的使用。例如从Gitlab拉取代码,使用Maven构建项目等功能需要依靠插件完成。接下来演示如何下载插件。
修改Jenkins插件下载地址
Jenkins国外官方插件地址下载速度非常慢,所以可以修改为国内插件地址: Jenkins->Manage Jenkins->Manage Plugins,点击Available
这样做是为了把Jenkins官方的插件列表下载到本地,接着修改地址文件,替换为国内插件地址
cd /var/lib/jenkins/updates
sed -i 's/http:\/\/updates.jenkinsci.org\/download/https:\/\/mirrors.tuna.tsinghua.edu.cn\/jenkins/g' default.json && sed -i
's/http:\/\/www.google.com/https:\/\/www.baidu.com/g' default.json
最后,Manage Plugins点击Advanced,把Update Site改为国内插件下载地址 https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json
Sumbit后,在浏览器输入: http://192.168.66.101:8888/restart ,重启Jenkins。下载中文汉化插件
Jenkins->Manage Jenkins->Manage Plugins,点击Available,搜索"Chinese"
完成后如下图:
重启Jenkins后,就看到Jenkins汉化了!(PS:但可能部分菜单汉化会失败)
我们可以利用Role-based Authorization Strategy 插件来管理Jenkins用户权限安装Role-based Authorization Strategy插件
授权策略切换为"Role-Based Strategy",保存
在系统管理页面进入 Manage and Assign Roles
点击"Manage Roles"
我们添加以下三个角色:
保存。创建用户
在系统管理页面进入 Manage Users
分别创建两个用户:jack和eric
系统管理页面进入Manage and Assign Roles,点击Assign Roles
绑定规则如下:
eric用户分别绑定baseRole和role1角色
jack用户分别绑定baseRole和role2角色
保存。
以itcast管理员账户创建两个项目,分别为itcast01和itheima01
结果为:
eric用户登录,只能看到itcast01项目
jack用户登录,只能看到itheima01项目
凭据可以用来存储需要密文保护的数据库密码、Gitlab密码信息、Docker私有仓库密码等,以便Jenkins可以和这些第三方的应用进行交互。
要在Jenkins使用凭证管理功能,需要安装Credentials Binding插件
安装插件后,左边多了"凭证"菜单,在这里管理所有凭证
可以添加的凭证有5种:
常用的凭证类型有:Username with password(用户密码)和SSH Username with private key(SSH密钥)
接下来以使用Git工具到Gitlab拉取项目源码为例,演示Jenkins的如何管理Gitlab的凭证。
安装Git插件和Git工具
在CentOS7上安装Git插件
为了让Jenkins支持从Gitlab拉取源码,需要安装Git插件。
CentOS7上安装Git工具:
yum install git -y 安装
git --version 安装后查看版本
1)创建凭证
Jenkins->凭证->系统->全局凭证->添加凭证
选择"Username with password",输入Gitlab的用户名和密码,点击"确定"。
2)测试凭证是否可用
创建一个FreeStyle项目:新建Item->FreeStyle Project->确定
SSH免密登录示意图:公钥私钥
使用root用户生成公钥和私钥 ssh-keygen -t rsa
在/root/.ssh/目录保存了公钥和私钥
2)把生成的公钥放在Gitlab中
以root账户登录->点击头像->Settings->SSH Keys
复制刚才id_rsa.pub文件的内容到这里,点击"Add Key"
|
3)在Jenkins中添加凭证,配置私钥
在Jenkins添加一个新的凭证,类型为"SSH Username with private key",把刚才生成私钥文件内容复制过来
4)测试凭证是否可用
新建"test02"项目->源码管理->Git,这次要使用Gitlab的SSH连接,并且选择SSH凭证
同样尝试构建项目,如果代码可以正常拉取,代表凭证配置成功!
在Jenkins集成服务器上,我们需要安装Maven来编译和打包项目。安装Maven
先上传Maven软件到192.168.66.101
tar -xzf apache-maven-3.6.2-bin.tar.gz #解压
mkdir -p /opt/maven # 创建目录
mv apache-maven-3.6.2/* /opt/maven # 移动文件
#**配置环境变量**
vi /etc/pro?le
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export MAVEN_HOME=/opt/maven
export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin
source /etc/pro?le #配置生效
mvn -v #查找Maven版本
全局工具配置
Jenkins->Global Tool Con?guration->JDK->新增JDK,配置如下:
指定JDK的JAVA_HOME即可
Jenkins->Global Tool Con?guration->Maven->新增Maven,配置如下:
同理指定MAVEN的MAVEM_HOME
Manage Jenkins->Con?gure System->Global Properties ,添加三个全局变量JAVA_HOME、M2_HOME、PATH+EXTRA
$M2_HOME/bin$
mkdir /root/repo # 创建本地仓库目录
vi /opt/maven/conf/settings.xml
# 本地仓库改为:/root/repo/
#添加阿里云私服地址:
alimaven aliyun maven http://maven.aliyun.com/nexus/content/groups/public/ central
使用之前的gitlab密码测试项目,修改配置
找到"源码管理"->“Git”,在Repository URL复制Gitlab中的项目URL
这时会报错说无法连接仓库!在Credentials选择刚刚添加的凭证就不报错啦
保存配置后,点击构建”Build Now“ 开始构建项目
构建->增加构建步骤->Execute Shell
查看linux的**/var/lib/jenkins/workspace/**目录,发现已经从Gitlab成功拉取了代码到Jenkins中。
在Jenkins里输入 mvn clean package
再次构建,如果可以把项目打成war包,代表maven环境配置成功啦!
把Tomcat压缩包上传到192.168.66.102服务器
yum install java-1.8.0-openjdk* -y # 安装JDK
tar -xzf apache-tomcat-8.5.47.tar.gz #解压
mkdir -p /opt/tomcat #创建目录
mv /root/apache-tomcat-8.5.47/* /opt/tomcat #移动文件
/opt/tomcat/bin/startup.sh #启动tomcat
注意:服务器已经关闭了防火墙,所以可以直接访问Tomcat啦地址为:http://192.168.66.102/8080
默认情况下Tomcat是没有配置用户角色权限的
但是,后续Jenkins部署项目到Tomcat服务器,需要用到Tomcat的用户,所以修改tomcat以下配置,添加用户及权限
vi /opt/tomcat/conf/tomcat-users.xml
内容如下:
<tomcat-users>
<role rolename="tomcat"/>
<role rolename="role1"/>
<role rolename="manager-script"/>
<role rolename="manager-gui"/>
<role rolename="manager-status"/>
<role rolename="admin-gui"/>
<role rolename="admin-script"/>
<user username="tomcat" password="tomcat" roles="manager-gui,managerscript,tomcat,admin-gui,admin-script"/>
</tomcat-users>
用户和密码都是:tomcat
注意:为了能够刚才配置的用户登录到Tomcat,还需要修改以下配置
vi /opt/tomcat/webapps/manager/META-INF/context.xml
<!--
<Valve className="org.apache.catalina.valves.RemoteAddrValve"
allow="127\.\d+\.\d+\.\d+|::1|0:0:0:0:0:0:0:1" />
-->
把上面这行注释掉即可!重启Tomcat
/opt/tomcat/bin/shutdown.sh 停止
/opt/tomcat/bin/startup.sh 启动
访问: http://192.168.66.102:8080/manager/html ,输入tomcat和tomcat,看到以下页面代表成功啦
Jenkins中自动构建项目的类型有很多,常用的有以下三种:
每种类型的构建其实都可以完成一样的构建过程与结果,只是在操作方式、灵活度等方面有所区别,在实际开发中可以根据自己的需求和习惯来选择。(PS:个人推荐使用流水线类型,因为灵活度非常高)
下面演示创建一个自由风格项目来完成项目的集成过程:拉取代码->编译->打包->部署
1)创建项目
2)配置源码管理,从gitlab拉取代码
构建->添加构建步骤->Executor Shell
echo "开始编译和打包"
mvn clean package
echo "编译和打包结束"
把项目部署到远程的Tomcat里面
Jenkins本身无法实现远程部署到Tomcat的功能,需要安装Deploy to container插件实现
2)添加Tomcat用户凭证
部署到容器(远程tomcat)
点击"Build Now",开始构建过程
4)部署成功后,访问项目 http://192.168.66.102:8080/web_demo-1.0-SNAPSHOT/
1)IDEA中源码修改并提交到gitlab
2)在Jenkins中项目重新构
3)访问Tomcat
1)安装Maven Integration插件
2)创建Maven项目
3)配置项目
拉取代码和远程部署的过程和自由风格项目一样,只是"构建"部分不同
之前是通过shell来指定编译后的行为
继续git push,然后点击构建
就完成了clean、package
编写构建过程
1)概念
Pipeline,简单来说,就是一套运行在 Jenkins 上的工作流框架,将原来独立运行于单个或者多个节点的任务连接起来,实现单个任务难以完成的复杂流程编排和可视化的工作。