• 等级
  • 139630 访问
  • 67 原创
  • 3 转发
  • 15321 排名
  • 40 评论
  • 169 获赞

Docker学习笔记(十二):Docker Swarm

1. 什么是Docker Swarm? 容器集群管理工具。 通过docker swarm可以将多台机器连接在一起,通过swarm的调度可以服务的多台机器的部署,服务的伸缩。   2. Docker Swarm 使用入门 1)节点初始化(manager节点) docker swarm init --advertise-addr <server_ip> 说明:init命令初...

2018-09-03 10:24:58

Docker学习笔记(十一):Docker Compose

1. 什么是Docker Compose? 编排和配置容器集群的工具。 编排:定义被部署的对象的各组成部分之间的耦合关系,部署流程中各个动作的执行顺序,部署过程所需要的依赖文件和被部署文件的存储位置和获取方式,以及如何验证部署成功。这些信息都会在编排工具中以指定的格式定义并保存下来,从而保证这个流程可以在新的环境中快速的复现。   2. Docker Compose安装 下载docker...

2018-09-03 10:05:10

Docker学习笔记(十):Docker Machine

1. 什么是Docker Machine? Docker Machine是一个工具,它可以帮你在虚拟主机安装docker,并且通过docker-machine 相关命令控制主机。你可以用docker machine在mac、windows、单位的网络、数据中心、云提供商(AWS或Digital Ocean)创建docker主机。   通过docker-machine commands,你能启...

2018-09-03 09:33:01

Docker学习笔记(九):Docker +Jenkins +Github持续集成

本次配置时,jenkins需要配置在外网可访问的服务器上,因为在git push内容到github时,触发Webhooks并推送到jenkins服务器上。   1. 配置Github(通过秘钥登录) 生成秘钥: ssh-keygen -t rsa -b 4096 -C "1248741476@qq.com" 在github设置密钥(公钥): 将公钥 id_rsa.pub里的内...

2018-08-28 22:40:12

Ray:评估代码性能

本文档适用于想要了解如何在Ray上运行时评估其代码性能的Ray用户。分析代码的性能对于确定性能瓶颈或找出可能无法正确并行化的代码的位置非常有用。如果你有兴趣查明为什么你的Ray应用程序可能无法实现预期的加速,仔细阅读本文。   一个基础分析示例 尝试分析一个简单的例子,并比较编写简单循环的不同方式会如何影响性能。 作为计算密集且可能运行比较慢的函数的代表,我们将远程函数定义为只睡眠0.5秒...

2018-08-28 10:39:08

TensorFlow: A System for Large-Scale Machine Learning

简介 TensorFlow是一种机器学习系统,可在大规模和异构环境中运行。TensorFlow使用数据流图来表示计算,共享状态以及改变该状态的操作。它将数据流图的节点映射到集群中的多台机器上,并且单台机器上跨多个计算设备,包括多核CPU,通用GPU和定制设计的ASIC,称为张量处理单元(TPU)。这种架构为应用程序开发人员提供了灵活性:在以前的“参数服务器”设计中,共享状态的管理内置于系统中,T...

2018-08-24 09:38:54

Jenkins ---- 持续集成工具

Jenkins相关概念 jenkins是一个广泛用于持续构建的可视化web工具,持续构建说得更直白点,就是各种项目的"自动化"编译、打包、分发部署。jenkins可以很好的支持各种语言(比如:java, c#, php等)的项目构建,也完全兼容ant、maven、gradle等多种第三方构建工具,同时跟svn、git能无缝集成,也支持直接与知名源代码托管网站,比如github、bitbucket...

2018-08-21 09:50:36

Docker学习笔记(八):Dockerfile相关操作

1. 利用Dockerfile创建镜像 什么是Dockerfile? 定义:Dockerfile是一个文本格式的配置文件,用户可以使用Dockerfile快速创建自定义镜像。 基本结构: Dockerfile由一行行的命令语句组成。并且支持以#开头的注释行。一般Dockerfile分为四个部分:基础镜像信息、维护者信息、镜像操作指令和容器启动时的指令。   Dockerfile示例: ...

2018-08-16 23:18:19

Docker学习笔记(七):docker网络

1. 容器对外服务(以mysql为例) 当容器内运行一些网络应用,要让外部访问这些应用时,可以通过 -P 或 -p 参数来指定端口映射。 使用 -P 映射时,Docker会随机映射一个端口至容器内部开放的端口: docker run --name my_mysql -d -e MYSQL_ROOT_PASSWORD=1234 -P mysql:5.6 通过docker ps可以看到端...

2018-08-14 20:27:47

Docker学习笔记(六):数据卷的相关操作

1. 数据卷 数据卷是一个可供容器使用的特殊目录,有如下特性: 1)数据卷可以在容器之间共享和重用 2)数据卷修改会立即生效 3)数据卷的更新不会影响镜像 4)如果有容器使用数据卷,该卷会一直存在   在容器内创建数据卷 在使用docker run命令时,使用 -v 标记可以在容器内创建一个数据卷,并可以指定挂在一个本地已有的目录到容器中作为数据卷: docker run -d...

2018-08-14 16:56:54

CIEL : a universal execution engine for distributed data-flow computing

简介 本文介绍了CIEL,一种用于分布式数据流程序的通用执行引擎。与以前的执行引擎一样,CIEL掩盖了分布式编程的复杂性。与那些系统不同,CIEL作业可以做出与数据相关的控制流决策,这使它能够计算迭代和递归算法。   我们还开发了Skywriting,一种直接在CIEL上运行的图灵完整脚本语言。执行引擎为Skywriting脚本和用其他编程语言编写的高性能代码提供透明的容错和分发。 我们在云...

2018-08-13 19:59:01

Docker学习笔记(五):创建私有仓库和仓库加速

1. Docker Hub 仓库是集中存放镜像的地方。 目前Docker官方仓库维护了一个公共仓库。 大部分需求都可以通过在Docker Hub中直接下来镜像来实现。 用户无需登录可以通过 docker search命令来查找官方仓库中的镜像,并利用docker pull 下载到本地,可以通过docker push 命令将本地镜像推送到docker hub。   2. 创建和使用私有仓...

2018-07-27 20:49:52

Docker学习笔记(四):容器的常用操作

1. 创建容器 Docker的容器十分轻量级,用户可以随时创建或删除容器。 新建容器: docker create 说明:使用docker create命令创建的容器处于停止状态,可以使用docker start命令启动它。 新建并启动容器: docker run 说明: 等价于先执行docker create命令,再执行docker start命令。 docker run...

2018-07-26 21:29:23

Docker学习笔记(三):镜像的常用操作

1. 获取镜像 命令: docker pull <域名>/<namespace>/<repo>:<tag> 说明: 镜像是Docker运行容器的前提。 用户可以使用docker pull 命令从网络上下载镜像。对于镜像来说,如果不显式地指定tag,则默认会选择latest标签,即下载仓库中最新版本的镜像。   2. 查看镜像列表 ...

2018-07-25 21:50:25

Docker学习笔记(二):docker的安装和配置

环境介绍: 操作系统:64bit CentOS7,Linux内核版本最低为3.10(操作 uname -r 查看当前版本) docker版本:17.05.0-ce   安装步骤: 1. 通过yum 方式安装docker: 第一步:更新yum源 sudo yum update 第二步:增加docker的yum源,输入命令: sudo tee /etc/yum.repos.d/d...

2018-07-25 19:44:04

Docker学习笔记(一):初识docker

1. 什么是 docker Docker 是一个开源项目,诞生于 2013 年初,最初是 dotCloud 公司内部的一个业余项目。它基于 Google 公司推出的 Go 语言实现。 项目后来加入了 Linux 基金会,遵从了 Apache 2.0 协议,项目代码在 GitHub 上进行维护。 Docker 自开源后受到广泛的关注和讨论,以至于 dotCloud 公司后来都改名为 Docker...

2018-07-24 20:24:32

Ray Tune Hyperparameter Optimization Framework

Ray Tune是一个可扩展的超参数优化框架,用于强化学习和深度学习。 从在单台计算机上运行一个实验到使用高效搜索算法在大型集群上运行,而无需更改代码。 本篇博客中所提及的函数。   一、简单开始 首先需要安装Ray,使用命令 pip install ray 简单示例: import ray import ray.tune as tune ray.init() tune.regis...

2018-07-24 09:50:21

Ray Tune相关API介绍

1. 注册可训练的函数或类 ray.tune.register_trainable(name, trainable) 参数: name (str) - 注册的方法或函数名。 trainable (obj) - 函数或tune.Trainable类。函数必须采用(config, status_reporter)作为参数,并且在注册的过程中自动转换为类。   2. 构造ex...

2018-07-23 22:18:04

Using Ray with TensorFlow

本文(英版)档介绍了Ray中结合TensorFlow使用的最佳实践。 要查看使用TensorFlow的更多相关示例,请查看A3C,ResNet,Policy Gradients,LBFGS   如果在分布式环境中训练深层网络,则可能需要在进程(或计算机)之间运送深层网络。 例如,你可能在一台计算机上更新模型,然后使用该模型在另一台计算机上计算梯度。 但是,运输模型并不总是顺利的。   例...

2018-07-18 21:26:44

Fast Python Serialization with Ray and Apache Arrow

这篇文章详细阐述了Ray和Apache Arrow之间的集成。解决的主要问题是数据序列化。 查阅Wikipedia,序列化指: 将数据结构或对象状态转换为可以存储...或传输的格式的过程...以及稍后重建(可能在不同的计算机环境中) 为什么需要上述的转换? 当你创建一个Python对象时,它可能指向其他Python对象,并且这些对象都分配在不同的内存区域中,并且...

2018-07-15 11:50:12

ZzXxL24

熟悉JAVA的WEB编程、大数据编程和分布式机器学 习。 ...展开 收起
关注
  • 计算机软件
  • 中国 江苏省 南京市
奖章
  • 专栏达人