开源LAIN 基于Docker的PaaS平台

本周小编为大家介绍一个由宜信大数据创新中心 开源的一款基于DockerPaaS平台LAIN。

LAIN简介

LAIN平台是以Docker容器技术为基础,规范了应用开发、测试、集成、上线部署等流程,提供了裸机之上、应用开发之下的DevOps问题的整体解决方案,并且很大成都上提高了资源的使用率,优化了冗余资源池。

目前,宜信大数据创新中心的姨搜、指旺理财、商通贷等核心应用都有在 LAIN 这个基础设施上运行超过了半年以上。

LAIN设计的目标(不限于所列目标)

  • 降低系统管理复杂度
  • 简化服务的部署管理
  • 优化基础服务的调配
  • 提高资源的使用效率
  • 统一开发测试生产三环境
  • 持续交付工作流的良好支持

LAIN特性列表

● 基于配置文件定义应用

  1. 在现有的应用上只需要增加一个配置文件lain.yaml 即可定义应用在 lain 集群里的编译和运行
  2. 对应用代码的侵入性很低

● SDN 网络安全隔离

  1. 使用开源的 calico 项目构建 SDN 网络
  2. 高效率的应用内网络互通
  3. 应用间网络默认隔离
  4. 显式声明应用间的服务互访

● 基于容器技术支持多样化的技术

  1. 使用开源的Docker项目构建容器云
  2. 扩展封装Dockerfile ,使用自定义的 yaml 格式进行应用的集群定义
  3. 只要符合最简单的lain cluster runtime interface ,可自由选择制作base image
  4. 容器技术天然的支持隔离系统和应用的依赖
  5. lain SDK/CLI 以及 可选的 ci 组件支援代码版本和镜像之间的对应关系
  6. 编译时和运行时镜像均可完全定制和隔离

● 应用在线扩容缩容

  1. 使用开源的swarm 调度应用部署
  2. 深度封装swarm docker API,自行开发集群控制器(deployd)以及应用控制器(console)
  3. 直接支持用户 API 调用进行容器实例数扩容,缩容
  4. 直接支持用户 API 调用进行容器单实例资源的扩容,缩容(CPU,MEM)

● 节点在线扩容缩容

  1. 使用开源的ansible开发集群管理运维工具包
  2. 集群的服务器节点(NODE)兼容同一个 C 段内的 物理服务器,虚拟机,公有云服务器
  3. 集群管理工具包支持 add NODE和 remove NODE指令,快速进行底层资源扩容和缩容

● 服务自动维持和灾难恢复

  1. 容器实例级别的服务巡检和维持,自动迁移和服务恢复
  2. 基于虚 ip 自动漂移的入口load balancer HA
  3. 高级 API 支持服务定制迁移

● 内部服务依赖和发现机制

  1. 集群支持Service/Resource 机制
  2. 集群整体的Service服务应用
  3. 应用私有Service(即Resource)服务应用
  4. 集群支援特别的Service应用类型和 Resource 应用类型
  5. 在 lain.yaml 中显式声明使用的 Service / Resource
  6. 基于 DNS 的服务发现机制
  7. 可编程的 service/resource load balancer
  8. 默认提供可用的RoundRobin类型的load balancer

● 统一认证

  1. 集群自行开发统一认证组件(sso)
  2. 支持 oauth2的多种认证方式

● 虚 ip 和 load balancer 统一管理

  1. 支持virtual ip和应用proc的注册,应用可注册virtual ip 来进行对外服务
  2. 基于 etcd lock 机制的virtual ip漂移机制,应用load balancer可借此实现 HA

● web load balancer 的自动配置

  1. 使用开源的 nginx 和 tengine 封装 web 服务的 load balancer
  2. 自研的 watcher 检测集群应用的整体 runtime 数据,自动为 web 服务生成配置
  3. 获取 runtime 变化的时间,判断是否需要进行配置变更
  4. 配置变更事件出发配置的渲染
  5. 触发 reload 生效

● 集群体系化的日志收集

  1. 使用开源的 heka 配合docker的配置以及rsyslog封装集群整体日志收集
  2. 默认收集应用的 stdout/stderr 日志收集
  3. 支援应用显式声明需要收集的落地文件日志
  4. 支援应用显式声明结构化的监控数据日志
  5. 定制检测 web 服务 load balancer 的 nginx 日志收集和数据统计

● 私有 docker registry 以及认证机制

  1. 使用开源的 docker registry 封装私有 registry 应用
  2. 集成支援集群的私有统一认证机制
  3. 定制支援可选的 moosefs 存储后端或者 Ceph 存储后端

● 应用配置加密存储

  1. 使用开源的 vault 封装的应用私有配置加密存储组件
  2. 集成 sso 组件实现用户管理和权限隔离
  3. 在应用运行时阶段将配置注入

● 本地化开发环境

  1. 使用开源的vagrant免费的centos和virtualbox 组织统一的本地化开发环境
  2. 甚至支援本地使用上述工具链 bootstrap 出一个 lain本地集群

● 应用部署运维 API 以及相应的 CLI 客户端

  1. 应用的构建,发布,部署,运维 都由集群的各组件提供 API
  2. 使用lain SDK/CLI 再次封装上述 API ,给用户提供良好的操作界面
  3. 集成集群的统一认证,进行用户管理和权限隔离

● 集群管理 CLI

  1. 使用开源的ansible开发集群管理运维工具包
  2. 再次封装ansible调用为简单的 CLI使得操作更方便,包括增加节点,移除节点,迁移应用,集群健康检查等。

● 规范化的开发workflow

  1. 基于上述组件,以 代码-镜像 的一一对应关系进行 SCM,对镜像进行发布管理
  2. 使用 lain SDK/CLI 以及可选的 ci 组件进行本地开发、构建发布,会很自然的规范开发 workflow

● 可选的集群体系化的备份和恢复(backupd+moosefs)

  1. 采用开源的moosefs作为分布式存储后端
  2. 支援在 lain.yaml 中显式声明 volume 备份需求和策略,以及设定备份策略的 hooks
  3. 支援指定备份恢复

● 可选的集群日志查询组件(kafka+elasticsearch+kibana)

  1. 采用开源的 kakfa , elasticsearch , kibana 搭建外部依赖的 kafka 集群和 elasticsearch 集群,封装集群可选组件 libana
  2. rebellion 集群日志收集组件支援发送所有日志到上述外部依赖 kafka
  3. 在 libana 上支援对集群应用日志和 web load balancer 日志的条件组合查询

GitHub地址:https://github.com/laincloud/lain

K8S中文社区微信公众号
分享到:更多 ()