1.什么是跳板K8S？
2.Apache Ranger整合Hadoop、Hive、机源Spark实现权限管理
3.冬训营丨高级威胁活动中C2的码跳多样风格
4.面试必备：nginx知识梳理（收藏版）

什么是K8S？

       ‍

       k8s是什么?

       Kubernetes 是一个可移植的，可扩展的板机开源容器编排平台，用于管理容器化的软件工作负载和服务，方便了声明式配置和自动化。跳板评分最高的期货量化源码它拥有一个庞大且快速增长的机源生态系统。Kubernetes 的码跳服务，支持和工具广泛可用。板机

       为什么现在流行使用容器?软件

       早期: 在物理服务器上面部署应用程序存在资源分配问题,因为其不能在物理服务器中的应用程序定义资源边界,导致应用程序资源利用不足而无法扩展.

       后来: 为了解决该问题,引入了虚拟化技术, 虚拟化技术是指允许你在单个物理服务器的 CPU 上运行多个虚拟机,可以让多个应用程序在虚拟机之间进行隔离,具有一定的安全性, 每一个虚拟机就是一台完整的计算机, 在虚拟化硬件之上运行所有组件.

       现在: 多数在物理服务器上面部署应用程序都是采kubectl用容器的方式,容器类似于虚拟机,它们都具有自己的文件系统、CPU、跳板内存、机源进程空间等,码跳 且由于它们与基础架构分离，因此可以跨云和 OS 发行版本进行移植。板机基于此特点被企业大范围使用.

       为什么需要使用k8s容器?软件

       若出现这样一个环境: 在生产环境中如果一个容器发生故障,则我们需要手动去启动另外一个容器,这样的操作是对我们的管理员来说是不太方便的, 若一个容器出现故障,另一个容器可以自动启动容器接管故障的容器,这样是最好的.

       k8s就可以实现该效果,Kubernetes 提供了一个可弹性运行分布式系统的框架。 Kubernetes 会满足你的扩展要求、故障转移、部署模式等。

       k8s功能: 服务发现和负载均衡, 存储编排, 自动部署和回滚, 自动完成装箱计算, 自我修复, 密钥与配置管理

       名词解释

       secret

       Secret有三种类型：

Service Account：用来访问Kubernetes API，由Kubernetes自动创建，并且会自动挂载到Pod的目录中；/run/secrets/kubernetes.io/serviceaccountOpaque：base编码格式的Secret，用来存储密码、密钥等；kubernetes.io/dockerconfigjson：用来存储私有docker registry的认证信息。

       k8s的组成

       k8s是由组件,API,对象等组成.

       包含所有相互关联组件的 Kubernetes 集群图如下:

       组件

控制平面组件kube-apiserver: 为k8s的api服务器,公开了所有Kubernetes API, 其他所有组件都必须通过它提供的API来操作资源数据.保证集群状态访问的安全隔离集群状态访问的方式和后端存储实现的方式：API Server是状态访问的方式，不会因为后端存储技术etcd的改变而改变。etcd: 为k8s的键值数据库,保存了k8s所有集群数据的后台数据库。kube-scheduler: 收集和分析当前Kubernetes集群中所有Node节点的资源(内存、CPU)负载情况，然后依此分发新建的Pod到Kubernetes集群中可用的节点。 kube-controller-manager: 在主节点上运行 控制器 的组件。cloud-controller-manager: 云控制器管理器是指嵌入特定云的控制逻辑的 控制平面组件Node 组件kubelet: 一个在集群中每个节点（node）上运行的代理。 它保证容器（containers）都 运行在 Pod 中。kube-proxy: kube-proxy是集群中每个节点上运行的网络代理,维护节点上的网络规则。这些网络规则允许从集群内部或外部的网络会话与 Pod 进行网络通信。容器运行时: 负责运行容器的职多多源码软件。插件(Addons)DNS: 集群 DNS 是一个 DNS 服务器，和环境中的其他 DNS 服务器一起工作，它为 Kubernetes 服务提供 DNS 记录。Web 界面（仪表盘）: Dashboard 是Kubernetes 集群的通用的、基于 Web 的用户界面。容器资源监控: 容器资源监控 将关于容器的一些常见的时间序列度量值保存到一个集中的数据库中，并提供用于浏览这些数据的界面。集群层面日志: 集群层面日志 机制负责将容器的日志数据 保存到一个集中的日志存储中，该存储能够提供搜索和浏览接口。

       API

       Kubernetes 控制面 的核心是 API 服务器。 API 服务器负责提供 HTTP API，以供用户、集群中的不同部分和集群外部组件相互通信。

       对象

       Kubernetes对象是Kubernetes系统中的持久实体。Kubernetes使用这些实体来表示集群的状态.

       具体来说，他们可以描述：

容器化应用正在运行(以及在哪些节点上)这些应用可用的资源关于这些应用如何运行的策略，如重新策略，升级和容错

       Kubernetes 架构

       Kubernetes 架构由节点,控制面到节点通信, 控制器, 云控制器管理器组成.

       master 流程图

Kubecfg将特定的请求，比如创建Pod，发送给Kubernetes Client。Kubernetes Client将请求发送给API server。API Server根据请求的类型，比如创建Pod时storage类型是pods，然后依此选择何种REST Storage API对请求作出处理。REST Storage API对的请求作相应的处理。将处理的结果存入高可用键值存储系统Etcd中。在API Server响应Kubecfg的请求后，Scheduler会根据Kubernetes Client获取集群中运行Pod及Minion/Node信息。依据从Kubernetes Client获取的信息，Scheduler将未分发的Pod分发到可用的Minion/Node节点上。

       节点

       节点可以是一个虚拟机或者物理机器，取决于所在的集群配置。 每个节点包含运行 Pods 所需的服务， 这些 Pods 由 控制面 负责管理.

       节点上的公司源码保护组件包括 kubelet、 容器运行时以及 kube-proxy。

节点状态

       可以使用 kubectl 来查看节点状态和其他细节信息：

       kubectl describe node <�节点名称>

       一个节点包含以下信息:

地址HostName：由节点的内核设置。可以通过 kubelet 的 —hostname-override 参数覆盖。ExternalIP：通常是节点的可外部路由（从集群外可访问）的 IP 地址。InternalIP：通常是节点的仅可在集群内部路由的 IP 地址。状况(conditions 字段描述了所有 Running 节点的状态)Ready 如节点是健康的并已经准备好接收 Pod 则为 True；False 表示节点不健康而且不能接收 Pod；Unknown 表示节点控制器在最近 node-monitor-grace-period 期间（默认 秒）没有收到节点的消息DiskPressure为True则表示节点的空闲空间不足以用于添加新 Pod, 否则为 FalseMemoryPressure为True则表示节点存在内存压力，即节点内存可用量低，否则为 FalsePIDPressure为True则表示节点存在进程压力，即节点上进程过多；否则为 FalseNetworkUnavailable为True则表示节点网络配置不正确；否则为 False容量与可分配描述节点上的可用资源：CPU、内存和可以调度到节点上的 Pod 的个数上限。信息关于节点的一般性信息，例如内核版本、Kubernetes 版本（kubelet 和 kube-proxy 版本）、 Docker 版本（如果使用了）和操作系统名称。这些信息由 kubelet 从节点上搜集而来。

       控制面到节点通信

节点到控制面apiserver在安全的 HTTPS 端口（）上监听远程连接请求以客户端证书的形式将客户端凭据提供给 kubelet控制面到节点API 服务器到 kubelet连接用于获取 Pod 日志挂接（通过 kubectl）到运行中的 Pod提供 kubelet 的端口转发功能。(注: 在连接状态下, 默认apiserver 不检查 kubelet 的服务证书。容易受到中间人攻击，不安全.)apiserver 到节点、Pod 和服务SSH 隧道(目前已经废弃)产生原因: 若无服务证书, 又要求避免在非受信网络或公共网络上进行连接,则可以在apiserver 和 kubelet 之间使用ssh隧道.Kubernetes 支持使用 SSH 隧道来保护从控制面到节点的通信路径。Konnectivity 服务为ssh隧道的替代品, Konnectivity 服务提供 TCP 层的代理，以便支持从控制面到集群的通信。

       控制器

       在 Kubernetes 中，控制器通过监控集群 的公共状态，并致力于将当前状态转变为期望的状态。

       举个例子: 当前室内温度为度, 我们通过调节遥控器,使其温度上升至度, 这度到度的变化即为让其从当前状态接近期望状态。

       控制器模式分为直接控制和通过API服务器来控制.

       云控制器管理器

       云控制器管理器是指嵌入特定云的控制逻辑的 控制平面组件。 云控制器管理器允许您链接聚合到云提供商的应用编程接口中， 并分离出相互作用的组件与您的集群交互的组件。

       云控制器管理器中的控制器包括：

节点控制器节点控制器负责在云基础设施中创建了新服务器时为之 创建 节点（Node）对象。 节点控制器从云提供商获取当前租户中主机的信息。执行功能:针对控制器通过云平台驱动的 API 所发现的每个服务器初始化一个 Node 对象利用特定云平台的信息为 Node 对象添加注解和标签获取节点的网络地址和主机名检查节点的健康状况。路由控制器Route 控制器负责适当地配置云平台中的路由，以便 Kubernetes 集群中不同节点上的thinksns企业源码 容器之间可以相互通信。服务控制器服务（Service）与受控的负载均衡器、 IP 地址、网络包过滤、目标健康检查等云基础设施组件集成。 服务控制器与云驱动的 API 交互，以配置负载均衡器和其他基础设施组件。

       Kubernetes 安全性

       云原生安全

       云原生安全4个C: 云(Cloud)、集群(Cluster)、容器(Container)和代码(Code)

       云原生安全模型的每一层都是基于下一个最外层，代码层受益于强大的基础安全层（云、集群、容器）。我们无法通过在代码层解决安全问题来为基础层中糟糕的安全标准提供保护。

基础设施安全

       Kubetnetes 基础架构关注领域

       建议

       通过网络访问 API 服务（控制平面)

       所有对 Kubernetes 控制平面的访问不允许在 Internet 上公开，同时应由网络访问控制列表控制，该列表包含管理集群所需的 IP 地址集。

       通过网络访问 Node（节点)

       节点应配置为 仅能 从控制平面上通过指定端口来接受（通过网络访问控制列表）连接，以及接受 NodePort 和 LoadBalancer 类型的 Kubernetes 服务连接。如果可能的话，这些节点不应完全暴露在公共互联网上。

       Kubernetes 云访问提供商的 API

       每个云提供商都需要向 Kubernetes 控制平面和节点授予不同的权限集。为集群提供云提供商访问权限时，最好遵循对需要管理的资源的最小特权原则。Kops 文档提供有关 IAM 策略和角色的信息。

       访问 etcd

       对 etcd（Kubernetes 的数据存储）的访问应仅限于控制平面。根据配置情况，你应该尝试通过 TLS 来使用 etcd。更多信息可以在 etcd 文档中找到。

       etcd 加密

       在所有可能的情况下，最好对所有驱动器进行静态数据加密，但是由于 etcd 拥有整个集群的状态（包括机密信息），因此其磁盘更应该进行静态数据加密。

集群组件安全

运行的应用程序的安全性关注领域访问控制授权(访问 Kubernetes API)认证方式应用程序 Secret 管理 (并在 etcd 中对其进行静态数据加密)Pod 安全策略服务质量（和集群资源管理）网络策略Kubernetes Ingress 的 TLS 支持

容器安全

容器安全性关注领域容器搭建配置(配置不当,危险挂载, 特权用户)容器服务自身缺陷Linux内核漏洞镜像签名和执行

代码安全

代码安全关注领域仅通过 TLS 访问(流量加密)限制通信端口范围第三方依赖性安全静态代码分析动态探测攻击(黑盒)

       Kubernetes架构常见问题

       Kubernetes ATTACK 矩阵

       信息泄露

云账号AK泄露

       API凭证（即阿里云AccessKey）是用户访问内部资源最重要的身份凭证。用户调用API时的小米8源码通信加密和身份认证会使用API凭证.

       API凭证是云上用户调用云服务API、访问云上资源的唯一身份凭证。

       API凭证相当于登录密码，用于程序方式调用云服务API.

k8s configfile泄露

       kubeconfig文件所在的位置:

       $HOME/.kube/config

       Kubeconfig文件包含有关Kubernetes集群的详细信息，包括它们的位置和凭据。

       云厂商会给用户提供该文件,以便于用户可以通过kubectl对集群进行管理. 如果攻击者能够访问到此文件（如办公网员工机器入侵、泄露到Github的代码等），就可以直接通过API Server接管K8s集群，带来风险隐患。

Master节点SSH登录泄露

       常见的容器集群管理方式是通过登录Master节点或运维跳板机，然后再通过kubectl命令工具来控制k8s。

       云服务器提供了通过ssh登陆的形式进行登陆master节点.

       若Master节点SSH连接地址泄露,攻击者可对ssh登陆进行爆破,从而登陆上ssh,控制集群.

       容器组件未鉴权服务

       Kubernetes架构下常见的开放服务指纹如下:

kube-apiserver: , kubectl proxy: , kubelet: , , dashboard: docker api: etcd: , kube-controller-manager: kube-proxy: , kube-scheduler: weave: , , kubeflow-dashboard:

       注:前六个重点关注: 一旦被控制可以直接获取相应容器、相应节点、集群权限的服务

了解各个组件被攻击时所造成的影响

       组件分工图:

       假如用户想在集群里面新建一个容器集合单元, 流程如下:

用户与 kubectl进行交互,提出需求(例: kubectl create -f pod.yaml)kubectl 会读取 ~/.kube/config 配置，并与 apiserver 进行交互，协议：/service-account

       /cloud-native-academy/cloud-native-applications/cloud-native-infrastructure/

       。那么当用户在浏览器输入www.taobao.com的时候如何将用户的请求分发到集群中不同的机器上呢，这就是负载均衡在做的事情。

       负载均衡（LoadBalance），意思是将负载（工作任务，访问请求）进行平衡、分摊到多个操作单元（服务器，组件）上进行执行。是解决高性能，单点故障（高可用），扩展性（水平伸缩）的终极解决方案。

       Nginx提供的负载均衡主要有三种方式：轮询，加权轮询，Iphash。

轮询

       nginx默认就是轮询其权重都默认为1，服务器处理请求的顺序：ABCABCABCABC....

upstreammysvr{ server..8.1:;server..8.2:;server..8.3:;}加权轮询

       根据配置的权重的大小而分发给不同服务器不同数量的请求。如果不设置，则默认为1。下面服务器的请求顺序为：ABBCCCABBCCC....

upstreammysvr{ server..8.1:weight=1;server..8.2:weight=2;server..8.3:weight=3;}ip_hash

       iphash对客户端请求的ip进行hash操作，然后根据hash结果将同一个客户端ip的请求分发给同一台服务器进行处理，可以解决session不共享的问题。

upstreammysvr{ server..8.1:;server..8.2:;server..8.3:;ip_hash;}动静分离动态与静态页面区别

       静态资源：当用户多次访问这个资源，资源的源代码永远不会改变的资源（如：HTML，JavaScript，CSS，img等文件）。

       动态资源：当用户多次访问这个资源，资源的源代码可能会发送改变（如：.jsp、servlet等）。

什么是动静分离

       动静分离是让动态网站里的动态网页根据一定规则把不变的资源和经常变的资源区分开来，动静资源做好了拆分以后，我们就可以根据静态资源的特点将其做缓存操作，这就是网站静态化处理的核心思路。

       动静分离简单的概括是：动态文件与静态文件的分离。

为什么要用动静分离

       为了加快网站的解析速度，可以把动态资源和静态资源用不同的服务器来解析，加快解析速度。降低单个服务器的压力。

Nginx安装windows下安装

       1、下载nginx

       http://nginx.org/en/download.html下载稳定版本。以nginx/Windows-1..1为例，直接下载nginx-1..1.zip。下载后解压，解压后如下：

       2、启动nginx

       直接双击nginx.exe，双击后一个黑色的弹窗一闪而过

       打开cmd命令窗口，切换到nginx解压目录下，输入命令nginx.exe，回车即可

       3、检查nginx是否启动成功

       直接在浏览器地址栏输入网址http://localhost:回车，出现以下页面说明启动成功！

Docker安装nginx

       我之前的文章也讲过Linux下安装的步骤，我采用的是docker安装的，很简单。

       相关链接如下：Docker（三）：Docker部署Nginx和Tomcat

       1、查看所有本地的主机上的镜像，使用命令dockerimages

       2、创建nginx容器并启动容器，使用命令dockerrun-d--namenginx-p:nginx

       3、查看已启动的容器，使用命令dockerps

       浏览器访问服务器ip:，如下，说明安装启动成功。

       注意：如何连接不上，检查阿里云安全组是否开放端口，或者服务器防火墙是否开放端口！

linux下安装

       1、安装gcc

       安装nginx需要先将官网下载的源码进行编译，编译依赖gcc环境，如果没有gcc环境，则需要安装：

yuminstallgcc-c++

       2、PCREpcre-devel安装

       PCRE(PerlCompatibleRegularExpressions)是一个Perl库，包括perl兼容的正则表达式库。nginx的http模块使用pcre来解析正则表达式，所以需要在linux上安装pcre库，pcre-devel是使用pcre开发的一个二次开发库。nginx也需要此库。命令：

yuminstall-ypcrepcre-devel

       3、zlib安装

       zlib库提供了很多种压缩和解压缩的方式，nginx使用zlib对http包的内容进行gzip，所以需要在Centos上安装zlib库。

yuminstall-yzlibzlib-devel

       4、OpenSSL安装

       OpenSSL是一个强大的安全套接字层密码库，囊括主要的密码算法、常用的密钥和证书封装管理功能及SSL协议，并提供丰富的应用程序供测试或其它目的使用。nginx不仅支持http协议，还支持https（即在ssl协议上传输http），所以需要在Centos安装OpenSSL库。

yuminstall-yopensslopenssl-devel

       5、下载安装包

       手动下载.tar.gz安装包，地址：nginx.org/en/download.html

       下载完毕上传到服务器上/root

       6、解压

tar-zxvfnginx-1..1.tar.gzcdnginx-1..1

       7、配置

       使用默认配置，在nginx根目录下执行

./configuemakemakeinstall

       查找安装路径：whereisnginx

       8、启动nginx

./nginx

       启动成功，访问页面：ip:

Nginx常用命令

       注意：使用Nginx操作命令前提，必须进入到Nginx目录/usr/local/nginx/sbin

       1、查看Nginx版本号：./nginx-v

       2、启动Nginx：./nginx

       3、停止Nginx：./nginx-sstop或者./nginx-squit

       4、重新加载配置文件：./nginx-sreload

       5、查看nginx进程：ps-ef|grepnginx

Nginx配置文件

       Nginx配置文件的位置：/usr/local/nginx/conf/nginx.conf

       Nginx配置文件有3部分组成：

       1、全局块

       从配置文件开始到events块之间的内容，主要会设置一些影响nginx服务器整体运行的配置指令，比如：worker_processes1。

       这是Nginx服务器并发处理服务的关键配置，worker_processes值越大，可以支持的并发处理量也越多，但是会受到硬件、软件等设备的制约。一般设置值和CPU核心数一致。

       2、events块

       events块涉及的指令主要影响Nginx服务器与用户的网络连接，比如：worker_connections

       表示每个workprocess支持的最大连接数为，这部分的配置对Nginx的性能影响较大，在实际中应该灵活配置。

       3、http块

upstreammysvr{ server..8.1:weight=1;server..8.2:weight=2;server..8.3:weight=3;}0

       这算是Nginx服务器配置中最频繁的部分。

演示示例反向代理/负载均衡

       我们在windows下演示，首先我们创建两个springboot项目，端口是和，如下：

       我们要做的就是将localhost:代理localhost:和localhost:这两个服务，并且让轮询访问这两个服务。

       nginx配置如下：

upstreammysvr{ server..8.1:weight=1;server..8.2:weight=2;server..8.3:weight=3;}1

       我们先将项目打成jar包，然后命令行启动项目，然后在浏览器上访问localhost来访问这两个项目，我也在项目中打印了日志，操作一下来看看结果，是不是两个项目轮询被访问。

       可以看到，访问localhost，这两个项目轮询被访问。

       接下来我们将权重改为如下设置：

upstreammysvr{ server..8.1:weight=1;server..8.2:weight=2;server..8.3:weight=3;}2

       重新加载一个nginx的配置文件：nginx-sreload

       加载完毕，我们再访问其localhost，观察其访问的比例：

       结果显示，端口的访问次数与访问的次数基本上是3:1。

动静分离

       1、将静态资源放入本地新建的文件里面，例如：在D盘新建一个文件data，然后再data文件夹里面在新建两个文件夹，一个img文件夹，存放；一个html文件夹，存放html文件；如下图：

       2、在html文件夹里面新建一个a.html文件，内容如下：

upstreammysvr{ server..8.1:weight=1;server..8.2:weight=2;server..8.3:weight=3;}3

       3、在img文件夹里面放入一张照片，如下：

       4、配置nginx中nginx.conf文件：

upstreammysvr{ server..8.1:weight=1;server..8.2:weight=2;server..8.3:weight=3;}4

       5、启动nginx，访问其文件路径，在浏览器输入http://localhost/html/a.html，如下：

       6、在浏览器输入http://localhost/img/

Nginx工作原理mater&worker

       master接收信号后将任务分配给worker进行执行，worker可有多个。

worker如何工作

       客户端发送一个请求到master后，worker获取任务的机制不是直接分配也不是轮询，而是一种争抢的机制，“抢”到任务后再执行任务，即选择目标服务器tomcat等，然后返回结果。

worker_connection

       发送请求占用了woker两个或四个连接数。

       普通的静态访问最大并发数是：worker_connections*worker_processes/2，若是HTTP作为反向代理来说，最大并发数量应该是worker_connections*worker_processes/4。当然了，worker数也不是越多越好，worker数和服务器的CPU数相等时最适宜的。

优点

       可以使用nginx–sreload热部署，利用nginx进行热部署操作每个woker是独立的进程，若其中一个woker出现问题，其他继续进行争抢，实现请求过程，不会造成服务中断。

总结

       关于Nginx的基本概念、安装教程、配置、使用实例以及工作原理，本文都做了详细阐述。希望本文对你有所帮助。

       作者：初念初恋