云原生

是服务提供商与客户之间定义的正式承诺，SLO 是 SLA 的基础。

注意：是官方的承诺，是协议、合同。出了问题是要承担责任的。

我们经常说的 N 个 9，对应的宕机容忍（计算器²）：

阿里云、AWS 等主机的 SLA 是每月 99.95%，即超过 5 分钟主机不可用（可获得赔偿）。

指服务提供者向客户作出的服务保证的量化指标。

注意：是可量化的目标，目标可以包含很多的 SLA。

是对服务提供商提供给客户的服务级别的度量。是 SLO 的基础，通用性的度量指标，比如：延迟、吞吐量、可用性、错误率。

延迟、吞吐量、可用性、错误率也是目前最常用来度量服务的四个维度（很多监控都是这四个维度的范畴和延伸）。

• Docker 学习笔记
• Docker 官方文档 翻译
• Dockfile 最佳实践
• Docker 和 VM 的区别 翻译
• Docker 生态系统一览 - Containers, Moby, Swarm, Linuxkit, containerd, Kubernetes .. 翻译

Docker CLI 真的越来越臃肿了（啥都不干，内存好几 G 没了），集合了 compose、swarm、Kubernetes。而且很明显现在整个云原生生态 有种不带 Docker 玩的感觉（这也不能全怪 CNCF，毕竟曾经人家抛了橄榄枝，他非要自己玩），再加上国内网络原因，Docker 的每次升 级慢的令人发指。

容器官方提供了 Container Tools，工具集合，其中包含了覆盖 Docker 不同场景的工具。Docker CLI 被拆分成了 3 个工具：

整个理念来说，打的是无守护进程，无需 root 的招牌，但实际上，这些东西我并不关心。拆分成 3 个工具，会加大学习成本，所以我只 关注 podman 一个替代日常的 Docker CLI 操作。

Mac 不是纯正的 Linux 系统，所以不管是 Docker 还是 podman 都需要引入一个中间层的 Linux 虚拟机。这块 Docker 做的还是不错的， 但是 podman 不行（配置要进入虚拟机，而且主机目录挂载也是个问题）。

结论是：听起来很好，Mac 下实际可行性较差。

以下文档大都来自 Kubernetes 官方文档 Concepts，加上自己的理解。

• 概览
  • 什么是 Kubernetes?: Kubernetes 是一个用于管理容器化的工作负载和服务的可移植的、可扩展的、开源平台，便于声明式配置和自动化。 它拥有庞大且快速增长的生态系统。Kubernetes 的服务，支持和工具广泛可用。
  • Kubernetes 组件: Kubernetes 集群由代表控制平面（control pane）的组件和一组称之为节点的机器组成。
  • Kubernetes API: Kubernetes API 允许你查询和操作 Kubernetes 集群中的对象状态。Kubernetes 控制平面的核心是它的 API server 和它暴露的 HTTP API。用户和集群的不同组件以及外部组件都是通过 API server 进行通信。
  • 与 Kubernetes 对象一起工作: Kubernetes 对象是 Kubernetes 系统中的持久化实体。Kubernetes 使用这些实体来表示集群的状态。
    • 理解 Kubernetes 对象
    • Kubernetes 对象管理
    • 对象名称和 IDs
    • 命名空间（Namespaces）
    • Labels 和 Selectors
    • 注解（Annotations）
    • 字段选择器（Field Selectors）
    • 推荐的 Labels
• 集群架构: kubernetes 架构与组件概览
  • 节点
  • 控制平面节点通信
  • 控制器
  • 云控制器管理器
• 容器
  • 镜像
  • 容器环境
  • 运行时类 RuntimeClass
  • 容器生命周期 Hooks
• 工作负载（workloads）
  • Pods [3/6]
    • [X] Pod: 概念、为什么需要 Pod、状态标识、健康检查、生命周期等
    • [X] Pod Lifecyle
    • [X] Init Containers
    • [ ] Pod 拓扑扩展约束
    • [ ] 中断
    • [ ] 临时容器
  • 工作负载资源
    • Deployments: 用于无状态服务部署，在 ReplicaSet 基础上提供了更新策略等
    • ReplicaSet: 保证一组 Pod 副本在集群的正常运行
    • StatefulSets: 用于部署无状态应用（ZooKeeper，Kafka，Redis 等）
    • DaemonSet: 每个节点上跑一个 Pod，用作类似日志收集、系统监控等功能
    • Jobs 一次性的任务
    • TTL Controller for Finished Resources: 在对象执行完成后 TTL 秒，回收资源（目前仅用于 Job）
    • CronJobs 定时任务
    • ReplicationController: ReplicaSet 是下一代的 RC（支持新的基于集合的标签选择器），建议使用 RS
    • Garbage Collection: 负责集群资源回收
• Services、负载均衡和集群网络 [3/11]
  • [X] Service 集群内部的服务暴露抽象，提供虚拟 IP，然后通过负载均衡策略，将流量转发到 Endpoints。 底层实现是 kube-proxy，它支持三种模式（用户空间，iptables，IPVS），主流都是使用 IPVS
  • [ ] 服务拓扑 实现基于 Service 的亲和性
  • [X] Services 和 Pod 的 DNS
  • [ ] 使用 Services 连接应用
  • [X] Ingress
  • [ ] Ingress Controllers
  • [ ] EndpointSlices
  • [ ] Service 内部流量策略
  • [ ] 拓扑感知提示
  • [ ] 网络策略
  • [ ] IPv4/IPv6 双栈
• 存储: Volumes, Persistent Volumes, Storage Class 等 [1/11]
  • [ ] Volumes
  • [ ] 持久化卷
  • [ ] 卷快照
  • [ ] CSI 卷克隆
  • [ ] Storage Classes
  • [ ] Volume Snapshot Classes
  • [ ] Dynamic Volume Provisioning
  • [ ] Storage Capacity
  • [X] 临时卷
  • [ ] Node-specific Volume Limits
  • [ ] Volume Health Monitoring
• 配置 [0/5]
  • [ ] 配置最佳实践
  • [ ] ConfigMaps
  • [ ] Secrets
  • [ ] 为容器管理资源
  • [ ] Organizing Cluster Access Using kubeconfig Files
• 安全 [0/3]
  • [ ] 云原生安全概览
  • [ ] Pod 安全标准
  • [ ] 控制 Kubernetes API 访问
• 策略（Policies） [0/5]
  • [ ] Limit Ranges
  • [ ] Resource Quotas
  • [ ] Pod 安全策略
  • [ ] 进程 ID 限制和保留
  • [ ] 节点资源管理器
• 调度，抢占（Preemption）和驱逐（Eviction） [0/10]
  • [ ] Kubernetes 调度器
  • [ ] 把 Pods 分配给节点
  • [ ] Pod 开销
  • [ ] 污点和容忍
  • [ ] Pod 优先级和抢占（Pod Priority and Preeemption）
  • [ ] 节点压力驱逐
  • [ ] API 发起的驱逐
  • [ ] Resource Bin Packing for Extended Resources
  • [ ] 调度框架
  • [ ] 调度器性能调优
• [ ] 集群管理 [0/9]
  • [ ] 证书
  • [ ] 管理资源
  • [ ] 集群网络
  • [ ] 日志架构
  • [ ] Kubernetes 系统组件指标
  • [ ] 系统日志
  • [ ] Kubernetes 中的代理
  • [ ] API Priority and Fairness
  • [ ] 安装插件
• [ ] 扩展 Kubernetes [0/4]
  • [ ] 扩展 Kubernetes API
    • [ ] 自定义资源
    • [ ] Extending the Kubernetes API with the aggregation layer
  • [ ] 计算，存储和网络扩展
    • [ ] 网络插件
    • [ ] 设备插件
  • [ ] Operator 模式
  • [ ] Service Catalog

• 概念：https://kubernetes.io/zh-cn/docs/reference/using-api/api-concepts/
• 精确到资源的 API 说明 https://kubernetes.io/zh-cn/docs/reference/kubernetes-api/
• 资源定义 https://github.com/kubernetes/api 代码中直接引用
• 在线x文档：https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.30/#api-overview

https://kubernetes.io/docs/setup/best-practices/cluster-large/

大规模集群注意事项，Kubernetes 旨在适应满足一下标准的配置环境：

• 单节点不超过 110 个 Pods
• 单集群不超过 5000 个节点
• 单集群总 Pods 数量不超过 15000 个
• 单集群总容器不超过 30000 个

一般用于 K8s 学习和应用程序开发人员。

• minikube
• kind：全称：”Kubernetes In Docker“，集群节点运行于 Docker 中，很快
• K3S：轻量级的 K8s，旨在资源匮乏的位于边缘的物联网和边缘设备上运行 K8s，可以在 VMWare 和 VirtualBox 等虚拟机环境下运行 简单、安全、优化的 K8s 环境
• MicroK8s 如其名，微小的 K8s

minikube 和 kind 的定位是完全相同的：避免 K8s 安装复杂，用于开发人员本地学习，K3s 和 MicroK8s 也可以实现相同的效果，不过 他们的定位是提供生产级别的 IoT 和边缘场景下的 K8s 需求。

• Helm Kubernetes 包管理器，用于项目的（含多个微服务，以及每个服务的依赖配置）打包、部署、回滚等生命周期管理
• operator CRD + Controller = Operator，可以认为 Operator 是自定义资源的控制器。Operator 用来对 K8s API 进行扩展，用来创建 配置和管理复杂的应用（数据库、消息中间件、缓存等）。

Helm 一般用于无状态应用的部署，类似中间件的服务也有开源的 charts，但是一般中间件的场景都需要更细粒度的控制，大厂都是用 Operator 来做的。

当然 Helm 要比 Operator 要简单多了，毕竟只是一个工具。好在官方提供了 kubebuilder 和 code generator 等工具可自动生成代码。

目前社区已经开源了很多 helm charts 和 operators：

• https://artifacthub.io/
• https://operatorhub.io/

kubectl 是用来管理 Kubernetes 集群的命令行工具。

• 官方说明
• 常用命令集合

• 最佳实践
• 部署策略 几种常见的部署策略
  • https://semaphoreci.com/blog/what-is-canary-deployment
  • https://semaphoreci.com/blog/continuous-blue-green-deployments-with-kubernetes

• 监控: 通过 kube-state-metrics 和 cAdvisor 暴露指标

Kubernetes 管理平台一般是对 K8s 能力平台化，降低运维管理成本（标准化化、自动化，DevOps），覆盖应用研发迭代生命周期（CI、CD、告警、日志等）。

• OKD OpenShift 的社区版本，红帽 OpenShift 应该是业内做的比较早的的企业级混合云（PaaS），算是行业标杆吧
• rancher 2016 Rancher Labs 发布 1.0 rancher，2020年12月1日，公司被 suse 收购
• KubeSphere 全栈的 Kubernetes 容器云 PaaS 解决方案，如他的描述。KubeSphere 适合作为小企业的私有云，常用的功能比较完备，开箱即用
• portainer 轻量级的 Docker、Docker swarm、Kubernetes 集群管理工具（可以算成一个界面化管理工具）

如果没有一定的容器化、DevOps 人员储备不太敢用 K8s，即便开箱急用的管理平台在生产环境使用大家也不太敢用。那换过来，有人员储 备之后，用原生的开源的各组件方案自研一套难度也不大（而且可以根据业务所需选择合适的技术体系，灵活性高，也易于接受）。所以， 很多企业是不太会用类似的管理平台的（或者有一种场景，有强力的 K8s 运维能力，但是无平台研发能力可以选择）。另外，如果企业直 接使用云服务，云厂商也都提供了简易的 UI 界面来操作 K8s。

• fluentd：开源的数据收集器，2011 年至今，2016.11.8 被 CNCF 所录取，2019 年成为毕业项目。
  • 数据统一结构化为 JSON
  • 可插拔，支持多种上游数据源（data sources）和下游输出（data output）
  • 低资源消耗：使用 C，Ruby 混合编码
  • 数据可靠：支持内存和文件缓冲，防止数据丢失，还只是故障转移（高可用）；2000+ 数据驱动公司背书

• [ ] Kubernetes: Up and Running
• [ ] Kubernetes in Action
• [ ] Kubernetes Patterns
• [ ] Kubernetes Best Practices
• [ ] Cloud Native Patterns
• [ ] Kubernetes Patterns
• [ ] The Kubernetes Book 这本书每年都会更新一次，以跟上最新的 Kubernetes 生态