1 cloudvtech

尚未进行身份认证

暂无相关描述

等级
博文 73
排名 3w+

Kubernetes与大数据之五:在Kubernetes运行hive

一、前言hive可以基于hadoopmr或者Spark进行高层次的数据处理。安装之前先保证hadoop的目录可以为root用户读写:hadoopfs-chown  root:root/转载自https://blog.csdn.net/cloudvtech 二、构建镜像2.1下载依赖mkdir-phive/image-buildcdhive/i...

2018-10-09 14:07:03

kubernetes系列之十九:配置kubernetes使用kubevirt管理虚拟机

一、前言kubevirt可以扩展kubernetes的功能以管理虚拟机,其架构见文章https://github.com/kubevirt/kubevirt/blob/master/docs/architecture.md在安装之前需要先做如下准备工作:安装libvirt和qemu软件包yum-yinstallqemu-kvmlibvirtvirt-ins...

2018-10-08 10:22:19

Kubernetes与大数据之四:基于Kubernetes的Spark运行Terasort(50GB data)

一、前言Terasort可以测试Kubernetes平台对于Spark计算过程的如下需求的支持:从HDFS读取能力向HDFS写入能力shuffle中网络读写能力本文使用如下terasort的实现,包括TeraGen、TeraSort和TeraValidate:https://github.com/ehiggs/spark-terasort转载自https:...

2018-10-07 06:02:03

Kubernetes与大数据之三:为基于Kubernetes的Spark安装History Server

一、前言通过hadoop的共享目录,可以将Spark运行的状态通过运行在Kubernetes的HistoryServer进行展示和跟踪。在此之前,先要保证HadoopHDFS已经顺利运行并且事先在hdfs建立如下目录:hadoopfs-mkdir/eventLog转载自https://blog.csdn.net/cloudvtech 二、在Kubernetes安...

2018-10-06 08:19:41

Kubernetes与大数据之二:编译并运行基于Scalar的Spark程序WordCount

一、前言通过SBT编译scala程序然后在Kubernetes使用Spark运行WordCount任务。转载自https://blog.csdn.net/cloudvtech 二、安装环境和编译2.1安装SBTcurlhttps://bintray.com/sbt/rpm/rpm>bintray-sbt-rpm.repomvbintray-sbt-rp...

2018-10-05 11:22:17

kubernetes系列之十八:使用helm安装istio

一、前言istio是Kubernetes平台微服务管理的框架标准,是ServiceMesh在Kubernetes平台的标准实现。相比于其它的微服务框架,istio提供非代码介入的框架机制,使用sidecar机制将微服务的服务面和管理面连接起来,而且使用的sidecarenvoy是一个高效的proxy。Istio辑上分为数据平面和控制平面。数据平面由一组以sidecar方式部署...

2018-10-03 07:06:48

Kubernetes与大数据之一:使用Kubernetes scheduler运行Spark

一、前言从版本2.3.0起,Spark开始支持使用Kubernetes作为native的资源调度器,现在Spark一共支持如下四种资源调度方式:StandaloneDeployMode ApacheMesos HadoopYARN Kubernetes现在使用Kubernetes作为原生调度器还只是一个试验功能,并且需要如下前提条件:Spark2.3+ Kubern...

2018-10-02 09:17:44

DPDK系列之十六:Virtio技术分析之二,vhost技术对于virtio的增强

一、前言

2018-06-14 13:03:24

DPDK系列之十五:Virtio技术分析之一,virtio基础架构

一、前言KVM可以使用IntelVT-x或者AMD-V虚拟化辅助技术,提高CPU虚拟化的效率;使用支持IntelEPT的平台上,可以提高内存虚拟化的效率;但是对于IO虚拟化,传统的方式是KVM使用qemu来模拟IO设备(网卡、磁盘、显卡等),其效率比较低下。而通过paravirtualization技术,例如virtio,可以进一步提升IO虚拟化的性能。二、qemu全虚拟化工作模式在qemu全...

2018-06-13 10:05:41

DPDK系列之十四:在kubernetes运行Intel的vhost-user-net-plugin插件以支持dpdk

一、前言根据文章《容器云的数据通道加速方案概览》的描述,借助Intel提供的vhost-user-net-plugin CNI,可以为基于Kubernetes的容器配置使用virtio前端和vhost-user后端的数据通道加速方案,vhost-user后端port可以由OVS-DPDK或者VPP提供。本文就将使用multus绑定flannel和vhost-user-net-plugin两种网络类...

2018-06-12 09:10:48

DPDK系列之十三:基于OVS-DPDK的容器数据通道分析

一、前言根据文章《DPDK系列之十一:容器云的数据通道加速方案概览》和文章《DPDK系列之十二:基于virtio、vhost和OVS-DPDK的容器数据通道》的分析,部署在物理机或者虚拟机上的容器可以有多种方案来进行数据通道的加速。而类似SR-IOV的方案需要特定NIC硬件的支持并且在容器迁移灾备方面没有太大的灵活性,所以本文主要对于基于virtio-user(virtioPMD)和vhost-...

2018-06-11 10:56:35

DPDK系列之十三:容器基于OVS-DPDK的dpdkvhostuser端口的pktgen和testpmd数据包测试

一、前言

2018-06-10 08:01:19

DPDK系列之十二:基于virtio、vhost和OVS-DPDK的容器数据通道

一、前言

2018-06-09 07:53:22

DPDK系列之十一:容器云的数据通道加速方案概览

一、前言

2018-06-08 10:27:05

DPDK系列之十:qemu-kvm不同网络前端和后端网络性能对比测试

一、前言本文通过改变如下一些变量来对qemu-kvm不同的网络前端和后端的组合进行性能测试:-defaultqemu1.5.3vsqemu2.11.0-virtualNICinsideguestVMusevirtioore1000-vNICtx/rxqueuesize-defaultbridgevirbr0vsovsbridge-OVS...

2018-06-07 10:44:54

DPDK系列之八:qemu-kvm virtio-net基于OVS-DPDK接入的网络性能测试

一、前言本文创建基于普通bridge的一对VM和基于OVS-DPDK的一对VM,并使用iperf进行网络性能测试,需要注意的是,在这两个测试中,虚拟机内部只是使用普通的virtio-net前端而不是DPDK。转载自https://blog.csdn.net/cloudvtech二、编译和安装qemu-kvm2.1编译安装wgethttps://download.qemu.org/qemu-2....

2018-06-06 08:20:24

DPDK系列之七:OVS-DPDK的在CentOS安装和测试

一、前言根据文章《DPDK系列之六:qemu-kvm网络后端的加速技术》,OVS-DPDK可以给虚拟机的部署密度和虚拟机网络性能的提升带来帮助。本文将介绍如何编译和安装DPDK以及如何使用DPDK提升网络性能:OS:CentOS7.4.1708OVS:2.8.1DPDK:17.08.1转载自https://blog.csdn.net/cloudvtech二、操作系统和DPDK的安装2.1系统配...

2018-06-05 14:32:16

DPDK系列之九:f-stack简介、安装和网络性能对比测试

一、前言

2018-06-04 07:21:10

kubernetes系列之十七:使用kops在AWS部署kubernetes并建立基于AWS Network Load Balancer的service

一、前言

2018-06-03 18:03:58

企业级负载均衡解决方案之九:AWS CLB/ALB/NLB

一、前言

2018-06-02 07:01:16
奖章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!