13 付江

尚未进行身份认证

关注软件开发和互联网业界

等级
TA的排名 3k+

滴滴机器学习平台架构演进之路

现在很多互联网公司都有自己的机器学习平台,冠以之名虽然形形色色,但就平台所要解决的问题和技术选型基本还是大同小异。所谓大同是指大家所要处理的问题都相似,技术价格和选型也差不太多,比如都会使用 GPU 集群、采用 Spark/K8S 平台等。所谓小异是指各家规模不同,各家都在结合自己的情况、所处的阶段并根据自己的特点解决平台化的问题。以下就滴滴的机器学习平台做一些介绍,侧重于介绍机器学习平台不同...

2019-03-28 21:37:57

从头开始学习 Kubernetes 核心原理和术语

前言最近 Kubernetes(k8s)的热度越来越高,正好反映了k8s 已经成为一个领先的自动化容器操作的开源平台。也许,再过两年大部分的服务都会运行在 k8s 集群上面,掌握 k8s 就如同程序员需要掌握基本的 Llinux 操作命令一样基础。在现在这个信息发达的社会下,谁能比别人领先一步掌握新技术,谁就在竞争中赢得了先机。 然而,在了解一个大的系统时,应该尽量先了解其基本概念、术语及核心...

2019-03-26 11:22:12

基于滴滴云搭 SeaweedFS 存储系统

简介SeaweedFS 是一个简单的、高扩展性的分布式文件系统,是 Fb 的 Haystack 开源版本,相对于传统的分布式文件系统,它在应对小对象存储场景中具有巨大的优势。SeaweedFS 中每个文件的元信息只有 40 个字节,大大缩减了元信息的存储空间。在磁盘读取内容时也能够在 O(1) 的复杂度内完成。系统搭建环境名称描述操作系统CentOS Linux r...

2019-03-19 17:08:47

使用滴滴云弹性推理服务部署 Inception-v3 模型

滴滴云近期推出了弹性推理服务 EIS(Elastic Inference Service)。借助滴滴云 EIS 可快速将在主流深度学习框架上训练的模型发布为在线推理服务,性能较 TensorFlow Serving 有明显的提高。相比较传统的推理服务发布模式,滴滴云弹性推理服务 EIS 具有如下特点:易用:无需考虑基础架构,仅需关注模型和推理服务。高可用:滴滴云弹性推理服务自带高可用保障和...

2019-03-18 11:27:34

在滴滴云 DC2 云服务器上部署 Ghost

Ghost 是一个免费的开源博客平台,旨在简化个人博客和在线出版物的在线发布过程。和静态博客不同,Ghost 是轻量级的动态博客,可以通过管理后台直接写作和管理博客。相比于 WordPress, Ghost 搭建在 Node.js 环境上,轻量,快速,简洁。适配移动端,手机阅读体验很好。总体来说亮点如下:写作简单,可以随时随地写作UI 简洁、美观,主题替换方便响应式布局,移动设备视觉效果...

2019-03-14 10:55:50

基于滴滴云安装 Docker 并上传镜像到滴滴云 Docker 仓库

前言Docker 是一个应用程序,它简化了容器中应用程序进程的管理过程。容器允许您在资源隔离的进程中运行应用程序。容器与虚拟机类似,但容器更便携、更资源友好,并且更依赖于主机操作系统。本文将介绍如何用滴滴云服务器在 Ubuntu 16.04 上安装和使用 Docker Community Edition(CE),我们将安装 Docker、使用镜像和容器,并将镜像上传到 Docker 仓库。目...

2019-03-12 13:14:58

在滴滴云 DC2 上搭建 Gerrit 代码审查工具

Gerrit 是一个基于 Web 的代码评审工具,它基于 Git版本控制系统。Gerrit 旨在提供一个轻量级框架,用于在代码入库之前对每个提交进行审阅。更改将上传到 Gerrit,但实际上并不成为项目的一部分,直到它们被审阅和接受。Gerrit 是标准开源过程的一个简单工具,用来支持提交补丁程序,然后由项目成员在应用到代码库之前进行评审。Gerrit 事实上是一个临时区域,在提交的代码成为代码...

2019-03-11 10:53:09

在滴滴云快速搭建自己的简易服务集群(入门版)

引言万物互联的时代,各行各业都或多或少的接入线上,作为开发人员,我们有了小而美的产品或服务方面的想法,就把它她做出来放到线上,让它发展壮大。我以滴滴云为例,教你一步一步的搭建自己的服务器集群,包括负载均衡、Web 应用安全防火墙、构建部署等,当然这些都是可以根据你的服务发展拆分的。以下小节循序渐进,每一节都可以停止,满足你线上服务发展的每一步诉求。名词解释内网互通: 同一账户下的资源互...

2019-03-08 13:42:41

滴滴云安装并使用 Ansible

一、概述本文主要介绍在滴滴云部署 Ansible,以及通过 2 台服务器演示通过 Ansible 安装 Nginx 服务的过程。二、什么是 AnsibleAnsible 是一款开源的 IT 配置管理、服务部署与编排工具。官方的解释是 “Ansible is Simple IT Automation”——简单的自动化 IT 工具。该工具的目标有以下几项:自动化部署 APP自动化管理配置...

2019-03-07 11:54:53

基于滴滴云服务器进行 ZStack 企业版 3.2.0 的单节点搭建

前言ZStack 是下一代开源的云计算 IaaS(基础架构即服务)软件。它主要面向未来的智能数据中心,通过提供灵活完善的 APIs 来管理包括计算、存储和网络在内的数据中心资源。用户可以利用 ZStack 快速构建自己的智能云数据中心,也可以在稳定的 ZStack 之上搭建灵活的云应用场景,例如:VDI(虚拟桌面基础架构)、PaaS(平台即服务)、SaaS(软件即服务)等。本文将介绍如何基于...

2019-03-01 16:40:37

基于滴滴云部署 Elasticsearch + Kibana + Fluentd

一、Elasticsearch + Kibana + Fluentd 简单介绍EFK 架构可用于日志的收集、存储、搜索和分析。组件的功能说明如下:Fluentd 用以收集日志。Elasticsearch 简称 es 主要用以数据的存储并提供索引与搜索功能。Kibana 搜索与分析。二、环境准备在滴滴云官网购买一台 DC2 实例,规格无需太大,需要带 EIP 方便下载和安装。三、E...

2019-02-28 11:29:26

在滴滴云上搭建 MongoDB 集群 (一)

1、准备工作我们之前已经介绍过了 MongoDB 在滴滴云上的搭建。参考:<<在滴滴云 DC2 云服务器上搭建 MongoDB 实战>>但是生产环境中,通常需要更高的稳定性要求,单机版的 MongoDB 服务器并不能满足,因此我们需要高可用的 MongoDB 集群。硬件准备我们本次只是模拟集群的搭建。因此直接采用上一次的搭建环境,通过不同的端口模拟集群。2、简介..

2019-02-25 11:40:14

在滴滴云 DC2 编译安装最新 GCC 版本

简介使用新的编译特性或者定制化 GCC 功能,需要自己编译安装GCC,不同 GCC 版本可以使用不同方式编译安装。登陆 DC2 并查看 GCC 版本$ ssh dc2-user@117.51.156.87 # ssh key 登陆 这里不需要登陆密码$ which gcc/usr/bin/which: no gcc in (/usr/local/sbin:/sbin:/bin:/usr/...

2019-02-01 11:13:17

基于滴滴云 DC2 搭建 VPP 应用实例

滴滴云 DC2 搭建 VPP 环境Cisco 开源了自己的数据包处理框架,并将其纳入 Linux 基金会的 FD.io,开源的内容就是 VPP。这个 VPP 实现了 VSwitch、VRouter 等功能,对于当前的云网络有很大的用处,很多公司也开始使用 VPP 来搭建自己的数据转发面,本文将基于滴滴云的 DC2 云服务器来 搭建 VPP 基本环境。创建 DC2相关购买和创建流程可以查看滴...

2019-01-30 11:07:31

基于滴滴云 MySQL 验证索引优化简单查询

1. MySQL 的索引索引用于快速查找具有某一特定列值的行,如果不使用索引,MySQL 必须从表中的第一行开始读取整个表来找到相关的行,表越大,开销越大。如果表中有待查询列的索引,MySQL 可以在数据文件中快速定位所要查找的内容,而不用查询所有数据,速度大大优于顺序读取每一行数据。本文将重点介绍基于滴滴云 MySQL 验证默认引擎 InnoDB 下索引对于简单查询的优化效果。2. B+ ...

2019-01-28 10:47:01

基于滴滴云 GPU 实现简单 MINIST 手写识别

1. TensorFlow 与 MNISTTensorFlow 是谷歌于 2015 年 11 月 9 日正式开源的计算框架,可以很好地支持机器学习的各种算法,其灵活的架构可以在多种平台上展开计算,例如CPU或GPU台式机、服务器,移动设备等等。MNIST 是机器学习领域的一个经典入门 Demo,数据集是由 6 万张训练图片和 1 万张测试图片构成,期望效果是让机器识别一系列大小为 28x28 ...

2019-01-25 14:16:00

如何在滴滴云上用 Darknet 训练 VOC

准备资源准备登录滴滴云主页创建 GPU 云主机。环境准备使用 SSH 客户端登录云主机。编译 Darknet:sudo yum install -y opencv-core.x86_64 opencv-devel.x86_64 opencv.x86_64#git clone命令将会在当前目录下下载源代码,所以尽量自己选择一个合适的目录运行该命令git clone https...

2019-01-22 10:43:20

基于滴滴云的网络协议栈性能分析工具使用

概要分析 Linux 网络协议栈性能有多种方式和工具。本文主要通过 Perf 生成 On-CPU 火焰图的方式,分析 Linux 内核网络协议栈在特定场景下的性能瓶颈,从而知晓当前协议栈的网络状况。关于 On/Off-CPU概念定义On-CPU: where threads are spending time running on-CPU.Off-CPU: where time is s...

2019-01-22 10:42:00

使用 Kubernetes 和滴滴云 Docker 仓库构建 CI/CD 流水线

写在前面:《Kubernetes Tutorials》 系列文章旨在帮助您从入门到高阶逐步了解并掌握kubernetes技术栈的实操、理论和最佳实践。主题将包括 Docker 基础与实操、Kubernetes 基础与实操、基于 Kubernetes 的应用部署(工作负载版与集群版)、基于 Kubernetes 的 CI/CD、Kubernetes 集群与应用监控、Kubernetes 运维与最佳...

2019-01-21 11:28:16

基于滴滴云的蚂蚁蛋运维助手的安装和简单使用(一)

MYDan 运维助手 简介MYDan ( 蚂蚁蛋助手 ) 是一个开源的运维工具,它采用自定义协议来管理分布在全球各个地区下隔离网络中的服务器。它具有如下特点:简单: 简单的安装方式,网络结构简单,可以方便的使用上专线资源安全: 密钥可以定时更新快速: 调用机器命令和传输文件非常高效全面: 支持 Linux 和 Window 环境MYDan 在生成环境中已经被广泛使用,可以作为调度系...

2019-01-21 11:25:49

查看更多

勋章 我的勋章
    暂无奖章