博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
小博无线CI系统演进之路
阅读量:5748 次
发布时间:2019-06-18

本文共 2023 字,大约阅读时间需要 6 分钟。

小博无线技术团队至2014年创建以来,这三年多以来所使用的CI系统经过数次升级换代,现已全部上云,全面实现了容器化和pipeline化,并引入了扁平和伸缩的实践来节省云计算成本。本文回顾了CI系统的成长历程。

2014 - virtual box

2014年初,拼了一台16G内存的PC机,在上面开了多个virtual box,一个跑gitlab, 一个跑jenkins master, 剩下的几个就用于搭建build环境,作为jenkins的ssh slave。上线部署通过配置promotion plugin实现 - 先将build出来的release package scp到线上ecs, 再ssh运行一个安装升级脚本。

遇到的问题

  • virtual box比较重,很耗资源,16G内存也跑不了几个虚拟机
  • virtual box实例是长期存在的,每次build都要注意对应的cleanup操作,避免不同的build之间相互干扰
  • 每个虚拟机都需要单独的环境配置,复制成本高
  • scp+ssh的上线方式难以统一运作,基本上每个服务都需要定制;如果代码和配置都有变更,升级部署及回滚动作都可能相当复杂且风险较高

2015 - docker

2014年底,docker慢慢流行开来,容器比虚拟机要轻量很多,并且环境配置可以用Dockerfile很方便的以代码形式管理起来,我们便将原本以virtual box形式存在的jenkins slave都替换成了docker。

另外,将线上服务也容器化,将代码和配置统一装入一个docker image, 这样可以整体升级部署或回退,就消除了"代码和配置都有变更时,是先回滚配置,还是先回滚代码?"的难题。

遇到的问题

  • docker虽然解决了资源消耗的问题,但此时的docker仍然是作为长期存在的ssh slave来运行的,在build时仍然需要考虑对应的cleanup操作以避免不同的build之间相互干扰
  • 每个服务的相关CI配置仍然是用jenkins web ui进行配置,变更比较麻烦,并且需要jenkins的配置权限

2016 - Jenkins pipeline & docker plugin

6月份,办公室停了两次电,有一次竟长达两天!为了解决停电问题对上线迭代的影响,我们将位于办公室内的CI系统逐步迁移到了阿里云上。本地的数据备份和恢复是一件非常麻烦的事情,上云后,数据备份就方便多了。

另外,同年4月份Jenkins官方在新发布的Jenkins 2.0中开始全面推进pipeline,随着这次迁移,我们也一并实施了pipeline结合docker plugin的容器化改造。

pipeline化后,所有的build动作都通过代码仓库中的Jenkinsfile定义,完全不需要在jenkins的网页上进行配置,开发通过git push Jenkinsfile就能实现对CI流程的控制。

容器化后,CI的各种build环境也通过Dockerfile得以标准化,并且每次build的容器都是按需新建的,无需考虑cleanup操作。

2017 - mesos plugin & auto scaling

之前的docker plugin连接的docker cloud是一个单点ecs, 负责代码的编译,测试,打包,及部署操作,对于线上运行的各种微服务项目,还能应付,但如果用来跑编译路由器固件这种CPU密集型的任务,就力有未逮了。另一方面,预发布的测试集群由于流量很小,在绝大多数时候,各个节点的CPU都是空闲的。于是自然想到将预发布环境和CI环境进行扁平化:利用mesos plugin在预发布测试环境的mesos集群中集成jenkins framework, 用于运行容器化的jenkins slave。

固件编译虽然很耗CPU,但这只是一个耗时不到1小时的短任务,如果为了一天只做几次的build而多开几台包月ecs,会带来巨大的浪费。使用自动伸缩,当jenkins提示mesos资源不足时,利用API创建按量ecs加入mesos集群,等build完成后就将它释放掉,是一种高性价比的解法。

结论

系统化、标准化是降低成本,提升效率和质量的重要手段。2014年开始搭建CI系统时,build环境、部署环境、部署方式和配置方式都很零散,难以管理和维护。从2014-2017,先用容器标准化build环境和部署环境,并用pipeline标准化部署方式和配置方式,有效降低系统复杂度后,再用云计算资源降低电力供应和数据备份的风险和维护成本,最后用"扁平"与"伸缩"[1]降低云计算成本。


[1] 在云计算的五种基本实践方法 - "冗余, 漂移, 伸缩, 熔断, 扁平"中,"扁平"与"伸缩"是两种提高资源利用率,降低成本的方法,这方面的更多介绍请参考《云计算十字真言及其在小博无线的实践》一文 (

转载地址:http://swrzx.baihongyu.com/

你可能感兴趣的文章
关于爱情只有一句忠告
查看>>
CentOS 7下安装部署Oracle11g图文教程
查看>>
F#初学笔记06
查看>>
实战:将企业域名解析委派给企业DNS服务器
查看>>
在Lync 2013环境部署Office Web Apps
查看>>
微软大会Ignite,你准备好了么?
查看>>
读书笔记-高标管事 低调管人
查看>>
Master带给世界的思考:是“失控”还是进化
查看>>
用户和开发者不满苹果iCloud问题多多
查看>>
java.lang.UnsatisfiedLinkError:no dll in java.library.path终极解决之道
查看>>
我的工具:文本转音频文件
查看>>
【许晓笛】从零开始运行EOS系统
查看>>
【跃迁之路】【460天】程序员高效学习方法论探索系列(实验阶段217-2018.05.11)...
查看>>
C++入门读物推荐
查看>>
TiDB 源码阅读系列文章(七)基于规则的优化
查看>>
Spring之旅第八站:Spring MVC Spittr舞台的搭建、基本的控制器、请求的输入、表单验证、测试(重点)...
查看>>
数据结构与算法——常用排序算法及其Java实现
查看>>
你所不知的Webpack-多种配置方法
查看>>
React.js 集成 Kotlin Spring Boot 开发 Web 应用实例详解
查看>>
webpack+typescript+threejs+vscode开发
查看>>