容器技术爱好者

原创 kubernetes1.8发布跟踪

一、Kubernetes发布历史回顾1.        Kubernetes 1.0 - 2015年7月发布2.        Kubernetes 1.1 - 2015年11月发布3.        Kubernetes 1.2 - 2016年3月发布4.        Kubernetes 1.3 - 2016年7月发布5.        Kubernetes 1.4 - 2016年9月发布6

原创 kubernetes1.7新特性：日志审计变化

背景概念出于安全方面的考虑，Kubernetes提供了日志审计记录，用来记录不同普通用户、管理员和系统中各个组件的日志信息。Kubernetes日志审计是Kube-apiserver组件的一部分功能，通过日志审计来记录apiserver上面所有请求处理过程。每条审计日志记录包括两行：1、  请求行：唯一ID、源IP、请求用户、请求资源信息、模拟信息等。2、  响应行：唯一ID、相应信息代码。通过唯

原创 kubernetes1.7新特性：PodDisruptionBudget控制器变化

背景概念在Kubernetes中，为了保证业务不中断或业务SLA不降级，需要将应用进行集群化部署。通过PodDisruptionBudget控制器可以设置应用POD集群处于运行状态最低个数，也可以设置应用POD集群处于运行状态的最低百分比，这样可以保证在主动销毁应用POD的时候，不会一次性销毁太多的应用POD，从而保证业务不中断或业务SLA不降级。在Kubernetes 1.5中，kubectl

原创 Kubernetes1.7新特性：支持绕过docker，直接通过containerd管理容器

背景情况从Docker1.11版本开始，Docker依赖于containerd和runC来管理容器，containerd是控制runC的后台程序，runC是Docker公司按照OCI标准规范编写的一个操作容器的命令行工具，containerd这个后台程序还可以操作满足OCI标准规范的其他容器工具，也就意味着以后只要是按照OCI标准规范开发的容器工具，都可以被containerd使用起来。使用con

原创 Kubernetes1.7新特性：新增自动伸缩条件和参数

一、核心概念Horizontal Pod Autoscaling，简称HPA，是Kubernetes中实现POD水平自动伸缩的功能。云计算具有水平弹性的特性，这个是云计算区别于传统IT技术架构的主要特性。对于Kubernetes中的POD集群来说，HPA可以实现很多自动化功能，比如当POD中业务负载上升的时候，可以创建新的POD来保证业务系统稳定运行，当POD中业务负载下降的时候，可以销毁POD来

原创 kubernetes1.7新特性：新增StorageOS卷插件和Local持久存储

背景介绍在Kubernetes中卷的作用在于提供给POD存储，这些存储可以挂载到POD中的容器上，进而给容器提供存储。 从图中可以看到结构体PodSpec有个属性是Volumes，通过这个Volumes属性可以关联到结构体Volume和结构体VolumeSource，而且这个Volumes属性是一个数组类型，就是说POD可以关联到多个不同类

原创 OpenStack社区组件-网络和内容发布

OpenStack发展到今天，从最开始的A版开始，到2017年8月份刚发布的P版，已经发布了很多个版本。    OpenStack社区把OpenStack各个组件进行了归类，一共分成了9大类。    下面我们看看网络和内容发布类组件：    网络和内容发布类组件包含7个OpenStack项目，分别是NEUTRON、DESIGNATE、DRAGONFLOW、KURYR、OCTAVIA、TACKER、

原创 OpenStack社区组件-存储、备份和恢复

OpenStack发展到今天，从最开始的A版开始，到2017年8月份刚发布的P版，已经发布了很多个版本。    OpenStack社区把OpenStack各个组件进行了归类，一共分成了9大类。    下面我们看看存储、备份和恢复组件：    计算类组件包含6个OpenStack项目，分别是SWIFT、CINDER、MANILA、KARBOR和FREEZER。    CINDER项目经历了5年的开发

原创 OpenStack社区组件-计算组件

OpenStack发展到今天，从最开始的A版开始，到2017年8月份刚发布的P版，已经发布了很多个版本。    OpenStack社区把OpenStack各个组件进行了归类，一共分成了9大类。    下面我们看看计算类组件：    计算类组件包含6个OpenStack项目，分别是NOVA、GLANCE、IRONIC、MAGNUM、STORLETS和ZUN。    按照OpenStack社区给出的标

原创 OpenStack会员介绍

OpenStack是当下比较流行的开源项目，尤其是在大家提倡自主可控和开源免费的情况下，更是深得很多客户的喜好。    下面看看OpenStack社区的规模：    从上图可以看出来，有来自187个国家的79752个成员参与到OpenStack社区中，有668个公司参与支持OpenStack社区，在OpenStack社区中一共超过来2000万行代码。    OpenStack社区是按照会员来进行组

原创 kubernetes1.7新特：kubectl支撑中文字符集

背景介绍在Kubernetes架构图中可以看到，节点（Node）是一个由管理节点委托运行任务的worker。 它能运行一个或多个Pods，节点（Node）提供了运行容器环境所需要的所有必要条件，在Kubernetes最初版本中叫做Minion。 从这张图上可以看到，kubectl是对Kubernetes集群进行管理的命令行工具。1.7新特性

原创 kubernetes1.7正式发布

Kubernetes发布历史回顾    Kubernetes 1.0 - 2015年7月发布    Kubernetes 1.1 - 2015年11月发布    Kubernetes 1.2 - 2016年3月发布    Kubernetes 1.3 - 2016年7月发布    Kubernetes 1.4 - 2016年9月发布    Kubernetes 1.5 - 2016年12月发布

原创 kubernetes1.7发布跟踪--1.7部分新特性介绍

Kubernetes发布历史回顾    Kubernetes 1.0 - 2015年7月发布    Kubernetes 1.1 - 2015年11月发布    Kubernetes 1.2 - 2016年3月发布    Kubernetes 1.3 - 2016年7月发布    Kubernetes 1.4 - 2016年9月发布    Kubernetes 1.5 - 2016年12月发布  

原创 Kubernetes1.6新特性：POD高级调度-污点和容忍特性/报告节点问题特性

(一)  核心概念Pod是kubernetes中的核心概念，kubernetes对于Pod的管理也就是对Pod生命周期的管理以及对Pod进行调度管理。Kubernetes早期版本使用系统默认调度器来对Pod进行统一调度管理，在1.2版本中增加了多个调度器特性，多个调度器可以并行调度不同的Pod，并且可以允许用户自己定义新的调度器并以插件的方式供kubernetes使用。在1.6版本中对POD调度进

原创 Kubernetes1.6新特性：POD高级调度-亲和性/反亲和性特性

(一)  核心概念Pod是kubernetes中的核心概念，kubernetes对于Pod的管理也就是对Pod生命周期的管理以及对Pod进行调度管理。Kubernetes早期版本使用系统默认调度器来对Pod进行统一调度管理，在1.2版本中增加了多个调度器特性，多个调度器可以并行调度不同的Pod，并且可以允许用户自己定义新的调度器并以插件的方式供kubernetes使用。在1.6版本中对POD调度进

原创 Kubernetes1.6新特性：POD高级调度-POD调度器配置变化

(一)  核心概念Pod是kubernetes中的核心概念，kubernetes对于Pod的管理也就是对Pod生命周期的管理以及对Pod进行调度管理。Kubernetes早期版本使用系统默认调度器来对Pod进行统一调度管理，在1.2版本中增加了多个调度器特性，多个调度器可以并行调度不同的Pod，并且可以允许用户自己定义新的调度器并以插件的方式供kubernetes使用。在1.6版本中对POD调度进

原创 Kubernetes1.7发布跟踪

Kubernetes发布历史回顾    Kubernetes 1.0 - 2015年7月发布    Kubernetes 1.1 - 2015年11月发布    Kubernetes 1.2 - 2016年3月发布    Kubernetes 1.3 - 2016年7月发布    Kubernetes 1.4 - 2016年9月发布    Kubernetes 1.5 - 2016年12月发布  

原创 分布式深度学习的两种集群管理与调度的实现方式简介

为什么需要集群管理与调度上文我们简单介绍了深度学习、分布式CPU+GPU集群的实现原理，以及分布式深度学习的原理，我们简单回顾一下：分布式CPU+GPU集群的实现：GPU集群并行模式即为多GPU并行中各种并行模式的扩展，如上图所示。节点间采用InfiniBand通信，节点间的GPU通过RMDA通信，节点内多GPU之间采用基于infiniband的通信。分布深度学习框架的实现：如下图所示，在tens

原创 分布式机器学习的集群方案介绍之HPC实现

机器学习的基本概念机器学习方法是计算机利用已有的数据（经验），得出了某种模型(迟到的规律)，并利用此模型预测未来(是否迟到)的一种方法。目前机器学习广泛应用于广告投放、趋势预测、图像识别、语音识别、自动驾驶和产品推荐等众多领域。在确定了问题模型之后，根据已知数据寻找模型参数的过程就是训练，训练过程就是不断依据训练数据来调整参数的迭代，从而使依据模型作出的预测结果更加准确。HPC的基本概念HPC就是

原创 深度学习简介，GPU计算的原理，分布式机器学习原理

深度学习简介深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习采用的模型为深层神经网络（Deep Neural Networks，DNN）模型，即包含多个隐藏层（Hidden Layer，也称隐含层）的神经网络（Neural Networks，NN）。深度学习利用模型中的

原创 如何基于K8S打造轻量级PaaS平台

4月23日天云软件技术开放日已圆满落幕，接下来几天将陆续放出沙龙期间技术大牛们的干货分享现场实录及相关文件，敬请关注。此文为第2篇，由天云软件CTO牛继宾给大家带来名为“如何基于K8S打造轻量级PaaS平台”的精彩分享,以下为演讲实录。牛继宾：大家下午好，我从几个角度介绍一下PaaS平台。我们把天云软件基于K8S与Docker构建轻量级平台叫做ECP，就是弹性计算平台。我们知道刚才马俊讲的CMP，

原创 企业级云管理平台的架构实现与落地实践、趋势分析

4月23日天云软件技术开放日已圆满落幕，接下来几天将陆续放出沙龙期间技术大牛们的干货分享现场实录及相关文件，敬请关注。此文为第一篇，由天云软件产品总监马俊带来的IaaS专题：企业级云管理平台的架构实现与落地实践、趋势分析，以下为演讲实录。马俊：我给大家介绍一下云管平台，OpenStack现在比较流行，企业级客户IT架构在OpenStack上会有一个云管的平台，整个业界对云系统建设也都是怎么认识的。

原创 Kubernetes1.6新特性：全面支持多颗GPU

(一)  背景资料GPU就是图形处理器，是Graphics Processing Unit的缩写。电脑显示器上显示的图像，在显示在显示器上之前，要经过一些列处理，这个过程有个专有的名词叫“渲染" ，以前计算机上是没有GPU的，都是通过CPU来进行“渲染”处理的，这些涉及到“渲染”的计算工作非常耗时，占用了CPU的大部分时间。之后出现了GPU，是专门为了实现“渲染”这种计算工作的，用来将CPU解

原创 kubernetes1.6新特性：支持新的卷插件

背景介绍在Kubernetes中卷的作用在于提供给POD持久化存储，这些持久化存储可以挂载到POD中的容器上，进而给容器提供持久化存储。从图中可以看到结构体PodSpec有个属性是Volumes，通过这个Volumes属性可以关联到结构体Volume和结构体VolumeSource，而且这个Volumes属性是一个数组类型，就是说POD可以关联到多个不同类型的卷上面。结构体

原创 在100,000个核心集群上运行100万个作业

随着客户在更大的环境中部署OpenLava。可扩展性，吞吐量和性能变得越来越重要。为了满足这些领域的客户需求，OpenLava 提供了一些重要的增强功能：o  并行化作业事件处理以加速集群启动并最小化停机时间。o   增强的守护进程间通信，提高效率和性能。o   其他调整参数，为集群管理员提供其他工具，以提高性能，响应速度和可扩展性。在发布OpenLava之前，天云软件使用HPC

原创 Kubernetes1.6本周正式发布

Kubernetes发布历史回顾    Kubernetes 1.0 - 2015年7月发布    Kubernetes 1.1 - 2015年11月发布    Kubernetes 1.2 - 2016年3月发布    Kubernetes 1.3 - 2016年7月发布    Kubernetes 1.4 - 2016年9月发布    Kub

原创 使用OpenLava运行MPI作业

介绍OpenLava是一个开源的，IBM Platform LSF工作量兼容管理器，可以安排串行和并行作业。MPI（消息传递接口）是高性能计算（HPC）应用中广泛使用的编程接口，用于并行化大规模问题的执行。有多个常用的MPI实现。本文档介绍如何使用OpenLava运行MPI应用程序。大多数MPI实现支持与常用工作负载管理器的集成。在大多数情况下，这些集成使用工作负载管理器特定的远程任务启动

原创 期待下周Kubernetes1.6正式发布

Kubernetes发布历史回顾    Kubernetes 1.0 - 2015年7月发布    Kubernetes 1.1 - 2015年11月发布    Kubernetes 1.2 - 2016年3月发布    Kubernetes 1.3 - 2016年7月发布    Kubernetes 1.4 - 2016年9月发布    Kuber

原创 在OpenLava中探索Fairshare调度

分享的好处非常明显。无论我们是共享一杯苏打，公寓还是HPC集群，分享都可以降低我们的费用。OpenLava 的功能之一是fairshare调度。对于不熟悉fairshare调度的用户，这个新特性指的是根据策略共享资源。如果一个集群花费了一百万美元，而部门A贡献了800,000美元，而部门B贡献了200,000美元，基于80/20（当有争用时）共享资源可能被认为是公平的。Fairshare不意味

原创 在OpenLava中管理并行作业

Blaunch，并行作业远程任务启动器HPC环境本质上是复杂的，这对并行工作负载而言尤其如此。若能使MPI作业在工作负载管理器的控制下可靠且可预测地运行，将大大有助于缓解一系列潜在问题，并使HPC环境更具可靠性。在理想环境中，启动和管理MPI任务的过程将在所有工作负载管理器和MPI实现中保持一致。在现实环境中，事情并不总是那么简单。好消息是，在OpenLava中 运行和管理并行作业就简单多

原创 HPC开源项目OpenLava介绍

关于OpenLavaOpenLava是100%免费、开源、兼容IBM® Spectrum LSFTM的工作负载调度器，支持各种高性能计算和分析应用。伴随成千上万次的下载和安装，OpenLava的可扩展性和健壮性已经在拥有数十万个内核和和几百万作业的集群上得到了验证。由于OpenLava的命令行和文件格式与大多数LSF功能相兼容,因此用户和管理员都将非常熟悉OpenLava的操作。组织和

原创 OpenLava——EDA的最佳支撑平台

半导体设计制造生态系统纵观国内外半导体设计制造生态系统，可大致分为四个部分：以高通、联发科技、苹果、德州仪器等为代表的设计企业，其拥有或购买核心IP，借助设计工具完成半导体产品的设计。以台积电、中芯国际等为代表的生产企业，其多为设计企业代工；当然，有些企业兼备设计与生产双重角色，如Intel、三星、华为等。以cadence、synopsys、华大九天等为代表的E

原创 Kubernetes1.6新特性-不回收静态POD

一、静态POD介绍在Kubernetes中有一个DaemonSet类型的POD，这种类型的POD可以在某个节点上长期运行，这种类型的POD就是静态POD。静态POD直接由某个节点上的kubelet程序进行管理，不需要api server介入，静态POD也不需要关联任何RC，完全是由kubelet程序来监控，当kubelet发现静态POD停止掉的时候，重新启动静态POD。二、Kubern

原创 Kubernetes1.6新特性-默认使用etcd3.0.14

Kubernetes1.6发布计划第一阶段：2017年1月3日 - 2017年2月27日编写Kubernetes 1.6 代码每两周发布一个alpha版本确定1.6中所有要发布的特性第二阶段：2017年2月27日 - 2017年3月22日代码冻结修正bug开始里程碑Burndown会议更新文档发布beta版本

原创 Kubernetes1.6发布跟踪

Kubernetes发布历史回顾    Kubernetes 1.0 - 2015年7月发布    Kubernetes 1.1 - 2015年11月发布    Kubernetes 1.2 - 2016年3月发布    Kubernetes 1.3 - 2016年7月发布    Kubernetes 1.4 - 2016年9月发布    Kuber

原创 kubernetes1.5新特性：支持Photon卷插件

背景介绍在Kubernetes中卷的作用在于提供给POD持久化存储，这些持久化存储可以挂载到POD中的容器上，进而给容器提供持久化存储。从图中可以看到结构体PodSpec有个属性是Volumes，通过这个Volumes属性可以关联到结构体Volume和结构体VolumeSource，而且这个Volumes属性是一个数组类型，就是说POD可以关联到多个不同类型的卷上面。结构体

原创 2016 CSDN 博客之星 提名奖

原创 kubernetes1.5新特性：新版本kubeadm

一、概述下面介绍的内容会展示如何在Ubuntu 16.04、CentOS7和HypriotOS v1.0.1+操作系统上部署一套安全的Kubernetes集群。下面介绍的安装方式是通过kubeadmin工具来完成的，这个工具在Kubernetes1.4的时候就已经被增加到Kubernetes发布包中了。在Kubernetes1.5中，kubeadmin增强了用户交互，并且修复了一些bug。

原创 亚马逊AWS新服务：可编程硬件

一、 FPGA背景介绍FPGA是Field－Programmable Gate Array的英文缩写，英文直译叫做“现场可编程门阵列”，一般都叫做“可编程硅芯片”。计算机的处理器是在预定义的电路中运行软件应用程序，与此相反，对FPGA进行编程会使芯片内部的线路重新连接，从而直接在硬件中执行所需的功能。每一块FPGA芯片都是由有限多个带有可编程连接的预定义源组成，可实现可重配置数字电路和I/

原创 kubernetes1.5新特性：自定义资源类型

一、自定义资源类型在Kubernetes1.5中，在CPU、内存、GPU三种类型资源的基础上新增了一种资源类型：Opaque Integer Resources，从英文直接翻译成不透明整数资源，但是我觉着应该翻译成自定义资源类型。如上图所示：OpaqueIntResources属性是一个数组，代表自定义资源类型，这样其实可以允许管理员给某个节点自定义很多个资源属性，而不仅仅依赖