- 博客(267)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 CentOS7安装nvidia-docker2
1.安装docker-ce 因为nvidia-docker2依赖docker-ce，所以得先安装docker-ce。1.1 如果主机上已经安装了docker，则先运行如下命令卸载service docker stopyum remove docker1.2 安装yum管理依赖包sudo yum install-y yum-utils device-mapper-...
2020-03-25 13:01:31
10348
5
原创 docker安装mysql5.6
#拉取镜像docker pull mysql/mysql-server:5.6#运行容器docker run --name mysql5.6 -p 3306:3306 -v /conf:/etc/mysql/conf.d -v /logs:/logs -v /data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=xxxx -d mysql/mysql...
2019-12-09 19:29:25
314
翻译 SKIL/配置/环境用户界面
环境用户界面除了在/etc/skil/skil-env.sh文件中进行更改以更新SKIL环境变量外，还可以使用“SKIL环境”用户界面。此功能从SKIL的1.1版开始提供。访问环境用户界面要访问“SKIL环境”用户界面，请导航到SKIL用户界面右上角的“齿轮图标”，然后选择“SKIL环境（SKIL Environment）”。你将看到一个页面，其中列出了SKIL的所有可配置环境变量。你...
2019-04-24 11:34:23
309
翻译 SKIL/配置/重启Zeppelin解释器
重启Zeppelin解释器Sometimes there might arise a situation where you'll have to refresh/restart your zeppelin interpreters. This could be due to out of memory issues (OOM) or for releasing some of the unw...
2019-04-24 11:23:28
453
翻译 SKIL/配置/GPU模式
GPU模式默认情况下，SKIL未配置为使用本地可用的GPU资源。此外，你还需要确保SKIL在本地安装了CUDA，以确保驱动程序对你的安装有用。从SKIL v1.1.0开始，启用SKIL的gpu模式将启用“tensorflow-gpu”。警告启用GPU模式后，TensorFlow在执行时占用所有GPU内存，在重新启动Zeppelin解释器之前，你将无法启动任何模型服务器。避免这个问题...
2019-04-24 11:12:26
273
翻译 SKIL/配置/许可证
许可证默认情况下，SKIL附带社区版许可证。但是，如果你从Skymind收到企业许可证文件，这些说明将帮助你安装许可证。如果你没有收到许可证，请联系Skymind。许可证文件示例SKIL在hood下使用License4J，文件本身包含一个许可证密钥。SKIL许可证如下所示：enterprise-license.txt# SKIL License (id: 11230824684...
2019-04-24 10:49:35
198
翻译 SKIL/配置/高可用
高可用当使用云或自托管基础设施时，实例可能是短暂的。在devops的上下文中，“发生的事情”可以翻译为“我可以获得大量的流量，并且我的一个服务将会中断”。高可用性意味着设置SKIL以提供最佳性能级别。“高可用性”是指应用程序的连续工作，即使你丢失了一个节点或在集群内遭受网络拆分。要使SKIL部署具有HA功能，你需要以HA方式配置基础结构。故障维修点为了消除故障并实现高可用性，必...
2019-04-24 10:42:15
351
翻译 SKIL/配置/R解释器
R解释器对于那些不想使用诸如Scala或Java之类的JVM语言，或者像Python这样的另一种语言的人来说，笔记本也有一个Zeppelin解释器。R解释器对于某些数据转换或可能难以转换为另一种语言的预写脚本很有用。扩展SKIL dockerfile你可以轻松地扩展skil-ce dockerfile并在docker镜像上安装R包。假设你了解了如何使用基本docker命令，那么就在系统上...
2019-04-24 08:58:11
218
翻译 SKIL/配置/Spark解释器
Spark解释器可以配置笔记本和Zeppelin Spark解释器，以使用Spark来获得更多的处理能力。如果本地Spark实例的计算能力不足，这将非常有用。你可以通过右上角的用户名下拉菜单访问解释器设置，如下图所示。访问解释器搜索Spark解释器并单击“编辑”按钮编辑Spark解释器设置你可以按“+”按钮添加额外的键/值对。你可以在这里找到其他可配置的spark...
2019-04-24 08:44:27
150
翻译 SKIL/配置/日志
日志你可以通过多种方式与SKIL集成和访问日志。日志配置对于需要从大型集群以有组织的方式获取日志的更复杂的devops和部署非常有用。Logback.xml Appenders如果你最喜欢的日志记录服务使用logback appenders，则可以将自定义的logback.xml文件放在/etc/skil/logback.xml中。不要删除已有的appenders如果你的SKI...
2019-04-24 08:27:55
128
翻译 SKIL/配置/负载均衡
负载均衡因为SKIL将ZooKeeper用于它的devops基础设施，SKIL集群已经配置为多个服务器，将自动负载均衡所有传入的请求。确保集群配置正确并连接到ZooKeeper实例。端口90089008中公开的HTTP API将请求路由到所有其他SKIL节点。负载均衡策略所有请求都是通过round robin策略进行均衡。...
2019-04-24 08:15:02
137
翻译 SKIL/配置/内存设置
内存设置神经网络需要内存，而更雄心勃勃的SKIL项目将需要更多的内存分配给SKIL和笔记本。通常，内存不足是作为java.lang.OutOfMemoryError出现的，并且知道如何更改内存设置可以在将来防止这种情况发生。环境变量要解决Zeppelin（笔记本后面的系统）中的内存问题，请增加可用的JVM RAM数量。Zeppelin的默认配置在JVM上提供8GB的RAM和4GB的堆外...
2019-04-24 08:07:13
274
翻译 SKIL/快速入门
快速入门Skymind智能层（SKIL）的社区版是免费的。它是一个数据科学平台，可以快速轻松地将数据科学项目从原型带入到生产部署。SKIL通过面向数据科学家、数据工程师和DevOps/IT的跨团队平台，在python数据科学生态系统和生产JVM环境之间架起桥梁。它是用于机器学习工作流程的自动化工具，可以方便地在Spark-GPU集群上进行训练 ；实验跟踪；训练模型的一键部署；模型性能监控等等。...
2019-04-23 16:35:35
409
翻译 SKIL/系统要求/多服务器要求
多服务器要求SKIL可以在单节点和多节点配置中工作。在多节点设置中，你可以利用不同的机器扩展模型服务或训练，以满足你的业务需求。对于所有多服务器（群集）设置，应将以下软件版本与SKIL一起使用：软件 版本 Apache Spark 1.6.x ZooKeeper 3.4.x SKIL训练与推理集群用于训练的SKIL集群允许组织架构中的不同分组共享计算资源...
2019-04-23 11:34:13
140
翻译 SKIL/系统要求/单服务器要求
单服务器要求单节点SKIL安装的最低要求是：带AVX指令的四核处理器 16 GB RAM 最小1Gbps网络连接 50GB磁盘空间以下规格建议用于生产：八核或更好的处理器，带AVX2指令 64 GB RAM 最小1Gbps网络连接 500GB+ 磁盘空间...
2019-04-23 11:14:56
112
翻译 SKIL/系统要求
系统要求SKIL可以以多种方式部署，尤其是作为单个节点独立服务器或作为多个节点/服务器协同工作的集群。单节点服务器通常用于开发和集成测试，或者用于非常小的工作负载，而多节点配置将部署在类似生产的设置中。在正常操作期间，SKIL生成许多子进程。在单节点环境中，SKIL可以生成和管理的子进程的数量受物理机器规范的限制。因此，扩展较大的SKIL集群需要扩展节点，限制因素是可用于SKIL操...
2019-04-23 11:10:01
174
翻译 SKIL/版本信息
版本信息SKIL打包的版本基于特定的主要版本。它们可能包含基础版本中可能不存在的其他转发提交和/或补丁，或者它们可能缺少某些尚未稳定到可以作为SKIL一部分发布的提交。SKIL v1.1与v1.0.0-beta中的dl4j组件一起发布DL4J 栈组件 版本 deeplearning4j 1.0.0-beta3 libnd4j 1.0.0-beta3 nd...
2019-04-23 10:55:55
144
翻译 SKIL/发行说明
发行说明SKIL 1.2.1特点和改进“关于”页现在显示许可证到期日期。 更新页面以便在许可证过期时更新许可证。 内部API更改以获得更稳定的用户界面体验。 添加了“支持zip按钮”，用于共享系统信息、日志和流程信息，以获得更好的客户支持。 修复了pyspark和spark不匹配的库。 安spark无需安装7zip。 添加expirationDate以获取许可证端点 GET...
2019-04-23 10:34:43
157
翻译 SKIL/身份认证
身份认证根据你使用SKIL的方式，始终需要身份认证。有几种方法可以通过SKIL获得身份认证，本文档将指导你完成每种方法。用户界面要使用UI进行身份验证，请将浏览器导航到http://<SKIL_IP_Address>:9008/ 并输入以下凭据：用户名admin密码admin将<skil_ip_address>替换为SKIL实例的地址或...
2019-04-23 08:58:25
171
翻译 SKIL/系统概述
系统概述SKIL通过提供所有必要的工具来构建、训练和部署模型，在数据科学家和部署（devops）工程师之间的空白处架起了一座桥梁。工作流程由于部署一个模型需要的不仅仅是数据科学家的输入，SKIL还具有一个协作的用户界面和扩展的命令行工具（CLI），以帮助devops工程师和产品经理按比例参与调优和服务模型。SKIL减少了数据科学工作流程中各方之间的摩擦，并帮助你更快地扩展模型。...
2019-04-23 08:24:46
921
翻译 SKIL/安装/Amazon ECS
Amazon ECSECS（弹性容器服务）是一个AWS集群协调平台。ECS允许你部署和运行容器化的Docker应用程序，使用ECS命令行界面（ecs cli），通过几个简单的cli命令对它们进行缩放，以创建微服务。你也可以使用AWS Web UI控制台来管理你的ECS集群，而无需使用CLI。本文档将演示如何使用Fargate启动类型在ECS上设置SKIL集群。使用Fargate，不需要提供...
2019-04-22 17:28:38
343
翻译 SKIL/安装/更新
更新SKILSKIL不断被Skymind开发成越来越多功能丰富的应用程序。因此，为了在SKIL中使用新功能，你需要定期将已安装的实例更新到最新版本。备份数据确保在启动更新之前备份/var/skil中的数据。对于插件、许可证/配置和扩展jar文件，你可以分别备份/opt/skil/plugins./etc/skil和/opt/skil/lib/ext。此外，你还可以为任何已安装的PI...
2019-04-22 15:21:40
226
翻译 SKIL/安装/Amazon AMI
Amazon AMIAmazon机器镜像（AMI）是一种特殊类型的虚拟设备，用于在Amazon弹性计算云（“EC2”）中创建虚拟机。它是使用EC2提供服务的基本部署单元。如果你需要与SKIL安装完全兼容的机器，这些步骤将帮助你在CentOS 7操作系统上准备SKIL。定位AMI以下详细信息将帮助你为你的SKIL安装找到兼容的AMI：搜索条件 公共镜像 AMI ID...
2019-04-22 14:49:29
205
翻译 SKIL/安装/Kubernetes与minikube
Kubernetes 与minikube你还可以在本地kubernetes集群上运行skil，也称为Minikube。先决条件你需要以下工具来遵循本指南：Minikube Kubenetes CLI Docker Toolbox安装Minikube要安装Minikube，可以按照此处的指南进行操作。由于skil映像的大小相当大（约6GB），建议你并排安装...
2019-04-22 14:25:48
147
翻译 SKIL/安装/Kubernetes
KubernetesKubernetes是一个用于容器编排的开源工具。它在管理容器工作负载和实现集群及其部署的自动化方面有很大帮助。你可以在这里找到更多关于它的信息。本文档将解释基本的Kubernetes概念以及在Azure AKS上设置自己的SKIL集群所需的步骤。AKS是一个由Azure提供的云服务，它允许你在后端使用kubernetes创建、管理和部署集群。概念以下是有K...
2019-04-22 12:32:00
433
翻译 SKIL/安装/Docker集群
Docker集群使用Docker可以设置SKIL集群。如果你还没有这样做，我们建议你在尝试设置集群之前下载并运行单个Docker镜像。要配置Docker Skil CE群集，你需要以下镜像：MySQL(版本5.5) Zookeeper SKIL CE推荐的配置是将ZooKeeper和MySQL实例保存在一台计算机中，而将每个SKIL CE实例保存在单独的计算机中。你可以根据需要和...
2019-04-22 10:10:15
190
翻译 SKIL/安装/MySQL
MySQL本指南总结了用于多节点SKIL安装的CentOS 7.4（EL7）中mysql 5.5社区的安装和配置。有关更详细的指南，请参阅https://dev.mysql.com/doc/mysql-yum-repo-quick-guide/en/添加MySQL YUM 仓库下载与将仓库添加到系统中。我们将很快从中选择5.5版。打开一个shell窗口并执行以下操作：wge...
2019-04-22 09:07:55
94
翻译 SKIL/安装/Zookeeper
ZookeeperSKIL附带了一个嵌入式Zookeeper服务器，尽管此步骤不是必须的但强烈建议执行此步骤，因为当SKIL重新启动时，嵌入式Zookeeper将丢失其数据。本指南将在CentOS 7.4中展示为版本3.4.9配置单节点ZooKeeper服务器的摘要，详细信息如下：https://zookeeper.apache.org/doc/r3.4.9/zookeeperStarte...
2019-04-22 08:44:31
842
翻译 SKIL/安装/Docker镜像
Docker 镜像先决条件系统要求单节点SKIL安装的最低要求是：带AVX指令的四核处理器 16 GB 内存 最小1Gbps网络连接 50GB 硬盘空间以下规格建议用于生产环境：带AVX2指令的八核或更好的处理器， 64 GB 内存 最小1Gbps网络连接 500GB+ 硬盘空间 还建议将Docker内存设置为至少8GB。看一下这里了解更多细节。...
2019-04-22 08:07:00
223
翻译 SKIL中文文档
目录开始快速入门系统概述下载安装Docker镜像单服务器多服务器ZookeeperMySQLDocker集群KubernetesKubernetes with minikube...
2019-04-19 17:00:00
193
翻译 SKIL/工作流程/执行作业
执行作业作业是在后台对连接的SKIL资源运行的计算。作业可以有两种类型：训练 推理运行作业完成将外部资源连接到skil之后，可以通过以下两种方式对其执行训练/推理作业。A. CLIB. REST 端skil jobs命令管理通过SKIL CLI执行作业的工作流程。等效的REST端点也可用。作业工作流程如下：创建一个作业。 提交在步骤1中创建的作业以运行。作业在后台...
2019-04-19 14:22:21
267
翻译 SKIL/工作流程/添加资源
添加资源运行作业需要先将外部资源添加到SKIL的系统中。在添加资源之前，你需要将相关的凭证文件存储在SKIL集群的一个节点中。存储凭证下面显示了存储每种受支持资源类型的凭据的格式。注意For HDFS and YARN, no credentials are required as settings are done locally. You'll have to con...
2019-04-19 13:24:21
384
翻译 SKIL/工作流程/资源
资源当今世界，我们收集越来越多的增长和复杂的数据集，这些数据集往往需要使用复杂的模型。更重要的是，大型和非结构化的数据并没有一个适合所有存储解决方案。要在有趣的现实问题上进行机器学习，需要适应大量（分布式）数据库、云服务和连接器。随着大型数据集的出现，需要大量的计算能力。鉴于上述问题，模型开发平台必须具备必要的工具来利用外部存储和计算资源，以帮助数据科学家更快地获得结果。从1.2版...
2019-04-19 12:29:58
288
翻译 SKIL/工作流程/嵌入式SKIL
嵌入式SKIL除了提供几乎所有用于创建高效机器学习管道的工具之外，SKIL还可以非常方便地作为嵌入式应用程序。这对于一个DevOps团队来说是非常有用的，可以让他们的模型在最短的时间内运行起来，并且可以减少麻烦。通过不同的工具和SKIL脚本的组合，你 可以轻松地将SKIL嵌入到应用程序管道中。用例此文档将显示许多可以嵌入SKIL的用例。1. 服务于单一模式让我们通过...
2019-04-19 11:52:10
262
翻译 SKIL/工作流程/与SKIL客户端一起工作
与SKIL客户端一起工作SKIL可以通过外部环境通过SKIL Clients使用。外部环境可以是笔记本，也可以是客户端应用程序。SKIL客户端（又称skil-clients）是用于操作SKIL实例的RESTful客户机API。支持的平台/语言目前，客户端API可用以下语言：语言 API链接 Python https://github.com/SkymindIO/...
2019-04-17 20:11:26
142
翻译 SKIL/工作流程/添加更多Zeppelin实例
添加更多Zeppelin实例当SKIL启动时，它将默认创建一个名为“Default Zeppelin”（在端口8080上）的zeppelin服务器进程。此服务器负责管理SKIL中“实验”的笔记本。除了默认的Zeppelin服务器，还有一个默认的Zeppelin解释器进程（以“Default Interpreter”的名称），负责执行笔记本中的段落（在端口6500上运行）。下图显示了Zeppel...
2019-04-17 19:50:38
286
翻译 SKIL/工作流程/命令行
命令行 (CLI)SKIL带有一个内置的命令行界面（CLI），用于高级设置和管理任务。有时，你需要用特殊变量手动实例化一个进程，或者编写一个定制的shell脚本来管理你自己的SKIL应用程序—CLI对这些任务很有用。SKIL命令SKIL命令是一个python包装器，通常位于/opt/skil/sbin中，如果你已经使用RPM分发文件或docker安装了它。你可以将/opt/s...
2019-04-17 18:52:04
497
翻译 SKIL/工作流程/可视化
可视化有两种方法可以在SKIL中可视化数据。可视化对于解释结果和理解其他复杂数组很有用，并且通常需要通过T-SNE或UMAP等算法实现降维。训练可视化使用Deeplarming4J用户界面如果你正在使用deeplearning4j，则可以在训练模型时可视化统计数据。SKIL预先打包了一个ui服务器，该服务器将通过将ui标志传递到skil start脚本来自动启动：#如果...
2019-04-17 16:02:07
250
翻译 SKIL/工作流程/SKIL中在多GPU上训练
SKIL中在多GPU上训练训练神经网络模型可能是一项计算代价很高的任务。如果你的机器上安装了多个GPU，为了加快训练过程，你可以选择并行训练你的模型。SKIL可以使用skil parallelwrapper命令利用机器中安装的GPU。在本指南中，你将看到如何在多个GPU上的MNIST数据集上训练DL4J网络。在继续本指南之前，请确保已将SKIL配置为GPU模式。先决条件你需要遵...
2019-04-16 19:37:56
153
Fashion-MNIST.zip
2020-12-16
ionicframework官方例子
2015-10-27
2D翻转分页
2015-03-26
ActionSheetPicker改进版
2014-05-02
仿京东滑动选项卡
2013-05-22
Extjs+Struts2实现异步文件上传
2011-05-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人