13 付江

尚未进行身份认证

关注软件开发和互联网业界

等级
TA的排名 4k+

滴滴机器学习平台架构演进之路

现在很多互联网公司都有自己的机器学习平台,冠以之名虽然形形色色,但就平台所要解决的问题和技术选型基本还是大同小异。所谓大同是指大家所要处理的问题都相似,技术价格和选型也差不太多,比如都会使用GPU集群、采用Spark/K8S平台等。所谓小异是指各家规模不同,各家都在结合自己的情况、所处的阶段并根据自己的特点解决平台化的问题。以下就滴滴的机器学习平台做一些介绍,侧重于介绍机器学习平台不同...

2019-03-28 21:37:57

从头开始学习 Kubernetes 核心原理和术语

前言最近Kubernetes(k8s)的热度越来越高,正好反映了k8s已经成为一个领先的自动化容器操作的开源平台。也许,再过两年大部分的服务都会运行在k8s集群上面,掌握k8s就如同程序员需要掌握基本的Llinux操作命令一样基础。在现在这个信息发达的社会下,谁能比别人领先一步掌握新技术,谁就在竞争中赢得了先机。然而,在了解一个大的系统时,应该尽量先了解其基本概念、术语及核心...

2019-03-26 11:22:12

基于滴滴云搭 SeaweedFS 存储系统

简介SeaweedFS是一个简单的、高扩展性的分布式文件系统,是Fb的Haystack开源版本,相对于传统的分布式文件系统,它在应对小对象存储场景中具有巨大的优势。SeaweedFS中每个文件的元信息只有40个字节,大大缩减了元信息的存储空间。在磁盘读取内容时也能够在O(1)的复杂度内完成。系统搭建环境名称描述操作系统CentOSLinuxr...

2019-03-19 17:08:47

使用滴滴云弹性推理服务部署 Inception-v3 模型

滴滴云近期推出了弹性推理服务EIS(ElasticInferenceService)。借助滴滴云EIS可快速将在主流深度学习框架上训练的模型发布为在线推理服务,性能较TensorFlowServing有明显的提高。相比较传统的推理服务发布模式,滴滴云弹性推理服务EIS具有如下特点:易用:无需考虑基础架构,仅需关注模型和推理服务。高可用:滴滴云弹性推理服务自带高可用保障和...

2019-03-18 11:27:34

在滴滴云 DC2 云服务器上部署 Ghost

Ghost是一个免费的开源博客平台,旨在简化个人博客和在线出版物的在线发布过程。和静态博客不同,Ghost是轻量级的动态博客,可以通过管理后台直接写作和管理博客。相比于WordPress,Ghost搭建在Node.js环境上,轻量,快速,简洁。适配移动端,手机阅读体验很好。总体来说亮点如下:写作简单,可以随时随地写作UI简洁、美观,主题替换方便响应式布局,移动设备视觉效果...

2019-03-14 10:55:50

基于滴滴云安装 Docker 并上传镜像到滴滴云 Docker 仓库

前言Docker是一个应用程序,它简化了容器中应用程序进程的管理过程。容器允许您在资源隔离的进程中运行应用程序。容器与虚拟机类似,但容器更便携、更资源友好,并且更依赖于主机操作系统。本文将介绍如何用滴滴云服务器在Ubuntu16.04上安装和使用DockerCommunityEdition(CE),我们将安装Docker、使用镜像和容器,并将镜像上传到Docker仓库。目...

2019-03-12 13:14:58

在滴滴云 DC2 上搭建 Gerrit 代码审查工具

Gerrit是一个基于Web的代码评审工具,它基于Git版本控制系统。Gerrit旨在提供一个轻量级框架,用于在代码入库之前对每个提交进行审阅。更改将上传到Gerrit,但实际上并不成为项目的一部分,直到它们被审阅和接受。Gerrit是标准开源过程的一个简单工具,用来支持提交补丁程序,然后由项目成员在应用到代码库之前进行评审。Gerrit事实上是一个临时区域,在提交的代码成为代码...

2019-03-11 10:53:09

在滴滴云快速搭建自己的简易服务集群(入门版)

引言万物互联的时代,各行各业都或多或少的接入线上,作为开发人员,我们有了小而美的产品或服务方面的想法,就把它她做出来放到线上,让它发展壮大。我以滴滴云为例,教你一步一步的搭建自己的服务器集群,包括负载均衡、Web应用安全防火墙、构建部署等,当然这些都是可以根据你的服务发展拆分的。以下小节循序渐进,每一节都可以停止,满足你线上服务发展的每一步诉求。名词解释内网互通:同一账户下的资源互...

2019-03-08 13:42:41

滴滴云安装并使用 Ansible

一、概述本文主要介绍在滴滴云部署Ansible,以及通过2台服务器演示通过Ansible安装Nginx服务的过程。二、什么是AnsibleAnsible是一款开源的IT配置管理、服务部署与编排工具。官方的解释是“AnsibleisSimpleITAutomation”——简单的自动化IT工具。该工具的目标有以下几项:自动化部署APP自动化管理配置...

2019-03-07 11:54:53

基于滴滴云服务器进行 ZStack 企业版 3.2.0 的单节点搭建

前言ZStack是下一代开源的云计算IaaS(基础架构即服务)软件。它主要面向未来的智能数据中心,通过提供灵活完善的APIs来管理包括计算、存储和网络在内的数据中心资源。用户可以利用ZStack快速构建自己的智能云数据中心,也可以在稳定的ZStack之上搭建灵活的云应用场景,例如:VDI(虚拟桌面基础架构)、PaaS(平台即服务)、SaaS(软件即服务)等。本文将介绍如何基于...

2019-03-01 16:40:37

基于滴滴云部署 Elasticsearch + Kibana + Fluentd

一、Elasticsearch+Kibana+Fluentd简单介绍EFK架构可用于日志的收集、存储、搜索和分析。组件的功能说明如下:Fluentd用以收集日志。Elasticsearch简称es主要用以数据的存储并提供索引与搜索功能。Kibana搜索与分析。二、环境准备在滴滴云官网购买一台DC2实例,规格无需太大,需要带EIP方便下载和安装。三、E...

2019-02-28 11:29:26

基于滴滴云部署 HAProxy 实现 7 层和 4 层负载均衡

1.简介#HAProxy是一款提供高可用性、负载均衡以及基于TCP(第四层)和HTTP(第七层)应用的开源软件。本文基于滴滴云CentOS7.5虚拟机和HAProxy1.9版本来验证HAProxy基本的四层和七层负载均衡功能。2.环境准备#本文采用三台1核1G,40G硬盘的滴滴云CentOS7.5虚拟机,EIP带宽为1M,具体架构如下:在上图中,共有...

2019-02-27 10:53:16

在滴滴云上搭建 MongoDB 集群 (一)

1、准备工作我们之前已经介绍过了MongoDB在滴滴云上的搭建。参考:<<在滴滴云DC2云服务器上搭建MongoDB实战>>但是生产环境中,通常需要更高的稳定性要求,单机版的MongoDB服务器并不能满足,因此我们需要高可用的MongoDB集群。硬件准备我们本次只是模拟集群的搭建。因此直接采用上一次的搭建环境,通过不同的端口模拟集群。2、简介..

2019-02-25 11:40:14

在滴滴云 DC2 编译安装最新 GCC 版本

简介使用新的编译特性或者定制化GCC功能,需要自己编译安装GCC,不同GCC版本可以使用不同方式编译安装。登陆DC2并查看GCC版本$sshdc2-user@117.51.156.87#sshkey登陆这里不需要登陆密码$whichgcc/usr/bin/which:nogccin(/usr/local/sbin:/sbin:/bin:/usr/...

2019-02-01 11:13:17

基于滴滴云 DC2 搭建 VPP 应用实例

滴滴云DC2搭建VPP环境Cisco开源了自己的数据包处理框架,并将其纳入Linux基金会的FD.io,开源的内容就是VPP。这个VPP实现了VSwitch、VRouter等功能,对于当前的云网络有很大的用处,很多公司也开始使用VPP来搭建自己的数据转发面,本文将基于滴滴云的DC2云服务器来搭建VPP基本环境。创建DC2相关购买和创建流程可以查看滴...

2019-01-30 11:07:31

基于滴滴云 MySQL 验证索引优化简单查询

1.MySQL的索引索引用于快速查找具有某一特定列值的行,如果不使用索引,MySQL必须从表中的第一行开始读取整个表来找到相关的行,表越大,开销越大。如果表中有待查询列的索引,MySQL可以在数据文件中快速定位所要查找的内容,而不用查询所有数据,速度大大优于顺序读取每一行数据。本文将重点介绍基于滴滴云MySQL验证默认引擎InnoDB下索引对于简单查询的优化效果。2.B+...

2019-01-28 10:47:01

基于滴滴云 GPU 实现简单 MINIST 手写识别

1.TensorFlow与MNISTTensorFlow是谷歌于2015年11月9日正式开源的计算框架,可以很好地支持机器学习的各种算法,其灵活的架构可以在多种平台上展开计算,例如CPU或GPU台式机、服务器,移动设备等等。MNIST是机器学习领域的一个经典入门Demo,数据集是由6万张训练图片和1万张测试图片构成,期望效果是让机器识别一系列大小为28x28...

2019-01-25 14:16:00

如何在滴滴云上用 Darknet 训练 VOC

准备资源准备登录滴滴云主页创建GPU云主机。环境准备使用SSH客户端登录云主机。编译Darknet:sudoyuminstall-yopencv-core.x86_64opencv-devel.x86_64opencv.x86_64#gitclone命令将会在当前目录下下载源代码,所以尽量自己选择一个合适的目录运行该命令gitclonehttps...

2019-01-22 10:43:20

基于滴滴云的网络协议栈性能分析工具使用

概要分析Linux网络协议栈性能有多种方式和工具。本文主要通过Perf生成On-CPU火焰图的方式,分析Linux内核网络协议栈在特定场景下的性能瓶颈,从而知晓当前协议栈的网络状况。关于On/Off-CPU概念定义On-CPU:wherethreadsarespendingtimerunningon-CPU.Off-CPU:wheretimeiss...

2019-01-22 10:42:00

使用 Kubernetes 和滴滴云 Docker 仓库构建 CI/CD 流水线

写在前面:《KubernetesTutorials》系列文章旨在帮助您从入门到高阶逐步了解并掌握kubernetes技术栈的实操、理论和最佳实践。主题将包括Docker基础与实操、Kubernetes基础与实操、基于Kubernetes的应用部署(工作负载版与集群版)、基于Kubernetes的CI/CD、Kubernetes集群与应用监控、Kubernetes运维与最佳...

2019-01-21 11:28:16

查看更多

勋章 我的勋章
    暂无奖章