- 博客(48)
- 收藏
- 关注
RSS订阅原创 图解RNN\LSTM及参数分析
循环神经网络经典神经网络结构如下图：从图中可以看出，循环神经网络主体A的输入除了来自输入层的xt，还有一个循环的边来提供上一时刻的隐藏状态(hidden state)ht-1。在每一时刻，循环神经网络的模块A读取了xt和ht-1后，会生成新的隐藏状态ht，并产生本时刻输出ot。因为模块A中运算和变量在不同时刻是相同的，因此RNN理论上可以被看做是同一神经网络结构被无限复制的结果。正如CNN...
2019-04-07 19:10:21
5038
原创 区块链-拜占庭将军问题介绍
拜占庭将军问题： 有一个防御性很强的城邦，只有两个进攻时间，4点、9点 五位将军围城，需超过半数的将军同时进攻，才能攻破 可能有叛军，将军们只能通过信使传递信息 信使可能被截，也可能为叛军传播错误信息类似双重支付问题假设一：多数是好人(比例以后会提及)，如果超过一半是叛军，结果只能失败假设二：原计划四点进攻(缺省值)，如果所有信使都被截，无法...
2019-03-14 14:11:59
574
原创 K8s中Pod控制器
关于Pod控制器 kubelet是K8s集群节点代理程序，它在每个工作节点上都运行着一个实例。当工作节点发生故障时，kubelet也将不可用，pod无法再由kubelet重启。此时Pod的存活性一般由工作节点之外的Pod控制器来保证。 Pod控制器由master的kube-contriller-manager组件提供，常见的有Deployment、DaemonSet、Job等，...
2019-02-17 19:23:33
3579
原创 K8s中Pod的生命周期
Pod对象自动其创建开始直至终止退出的时间范围称其生命周期创建主容器为其必须的操作，初始化容器(init containter)、启动后钩子post start hook、存活性探测、就绪性探测、pre stop hook为可选执行。Pod总会处于以下几个相位(phase)之一： Pending：创建了pod资源并存入etcd中，但尚未完成调度，或扔处于从仓库下载镜像的过程 ...
2019-02-16 16:00:35
2322
原创 从外部访问K8s中Pod的五种方式
hostNetwork、hostPort、NodePort、LoadBalancer、Ingress暴露Pod与Service一样，因为Pod就是Service的backend 1、hostNetwork：true 在pod中使用该配置，在这种Pod中运行的应用程序可以直接看到pod启动的主机的网络接口。 注：每次pod的IP是会变化的 2、hostPort...
2019-02-13 15:36:32
23510
1
原创 openshift S2I构建过程及应用部署流程
openshift提供三种build策略 1、S2I（source to image）build：一个为重复build产生的docker格式的container工具，它将application source装进一个容器镜像并组合生产出一个read-to-run的新镜像。这个新镜像随时准备好接收docker run指令，同时支持增量build，也就是对之前版本的image再build操作。...
2019-01-23 10:33:20
2757
原创 openshift基本概念总结
openshift：基于Docker和K8s构建的容器云 构建内部应用市场，提供中间件、数据库 自动化的流程，可以快速进行应用的构建、容器化和部署 贯通从应用开发到测试、上线的流程。开发、测试、运维可以在一个平台上协作 提高研发效率openshift与Docker、K8s的关系： openshift是基于容器技术构建的一个云平台 ...
2019-01-23 10:29:22
14928
原创 anaconda3 配置tensorflow运行环境
anaconda3 配置tensorflow运行环境安装anaconda3创建python conda环境安装tensorflow安装jupyter notebvook
2018-12-26 22:53:15
459
原创 Kubernetes架构总结
学习《每天五分钟玩转Kubernetes》总结第二章 重要概念Cluster：是计算、存储和网络资源的集合，kebernetes利用这些资源运行各种基于容器的应用Master：是cluster的大脑，主要的职责是调度，即决定将应用放在哪运行。Master运行Linux操作系统，可以运行多个MasterNode：职责是运行容器应用。Node由Master管理，Node负责监控并汇报容器...
2018-07-25 01:02:00
356
原创 每天5分钟玩转Docker 学习总结(二)
第五章 Docker 网络Docker 安装时会创建三个网络：bridge\host\none5.1 none网络什么都没有的网络，挂在这个网络下的容器除了lo，没有任何网卡用途：生成随机密码5.2 host网络连接到host网络的容器共享Docker host的网络栈，容器的网络配置与host完全一样使用 –network=host 指定使用host网络...
2018-07-23 00:41:06
618
原创 每天5分钟玩转Docker 学习总结(一)
Docker 学习总结(一)《每天5分钟玩转Docker容器技术》总结加速docker daocloud.iocurl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://a1152ee2.m.daocloud.iosystemctl restart docker.service 重启docke...
2018-07-21 22:55:45
1564
原创 Tensor Comprehensions 基础算子改写
def conv(self, input, outchannel, k_size, stride = 1, padding = 0): LANG = """ def convolution(float(N,C,H,W) I, float(M,C,KH,KW) W1) -> (O) {{ O(n, m, h, w) +=! I(n, c, {s...
2018-07-05 14:53:56
512
原创 L版Ceph实践 —— ubuntu部署Luminous版Ceph
Ceph部署——ubuntu部署Luminous版Ceph1、环境说明：ubuntu14.043台虚机(主机名分别为osd1、2、3)挂载9块硬盘部署9个OSD节点一台虚机中部署MON节点为方便起见，所有主机以’root’权限登录以一台主机为admin节点(这里以osd1充当)2、环境准备(所有节点)安装ssh admin节点登录其他节点 apt-get install open
2018-01-26 22:20:52
2922
1
原创 lintcode 42 最大子数组 II 解析
题目：给定一个整数数组，找出两个 不重叠 子数组使得它们的和最大。 每个子数组的数字在数组中的位置应该是连续的。 创建两个长度也为nums.size()的数组。含义为从左自右、从右自左分别遍历中引用的对象方法区中静态属性引用的对象方法区中常量引用的对象本地方法栈中JNI(即一般说的Native方法)引用的对象java对引
2017-10-31 16:14:13
315
原创 Django学习（三）——MVC架构
第四章 Django的MVC框架4.1 Django的MVC框架简介MVC是一种软件工程设计方法，它把一个要创建的系统分成三部分,分别是Model数据模块，View视图模块以及Controller控制模块。Model数据模块：包含系统中的数据内容，通常以数据库的形式来存储，如果这些内容有变动，就会通知View实时更改显示的内容，一些处理数据的程序逻辑也会放在这里。View视图模块：创建和用户之间的界
2017-08-15 21:33:39
1264
原创 Django学习（二）——实现个人博客网站
Django网站快速入门2.1 个人博客网站规划个人博客具有以下功能：项目名称mblog通过admin管理界面张贴、编辑以及删除贴文使用Bookstrap网页框架在主页中显示每篇文章的标题，及发帖日期创建项目： django-admin startproject mblog cd mblog python mange.py startapp mainsite在set
2017-08-14 17:49:41
1349
1
原创 openattic简介及在Ceph集群中部署
简介openattic是一个存储和监控管理系统 通过基于一个可扩展的体系结构，构建了一些经过验证的web技术。运用AngularJS、Bootstrap和Django web应用程序框架。 可用于监控ceph集群。安装说明:系统说明：可安装于主流Linux上，这里环境是Ubuntu 14.04 LTS “Trusty Thar” 需要64位系统(不支持32位)首先需要一个ceph集群安装步骤：
2017-07-27 23:10:59
2826
原创 Django学习——创建第一个项目（host访问问题）
Django学习1、创建一个项目：django-admin.py startproject mysite创建完之后会生成以下目录：mysite├── manage.py└── mysite ├── __init__.py ├── settings.py ├── urls.py └── wsgi.pyHelloWorld: 项目的容器。manage.py: 一个
2017-07-26 22:42:41
816
原创 boost-asio学习2——同步、异步socket处理
ip::tcp的内部类型socket、acceptor和resolver是asio库TCP通信中最核心的一组类，它们封装了socket的连接、断开和数据收发功能，使用它们可以很容易地编写出socket程序。socket类是TCP通信的基本类，调用成员函数connect()可以连接到一个指定的通信端点，连接成功后用local_endpoint()和remote_endpoint(
2017-07-06 14:53:26
1583
原创 boost-asio学习1——定时器(同步、异步)
asio同步定时器：#include #include #include using namespace std;using namespace boost; int main(){ asio::io_service io; //所有asio程序必须要有一个io_server对象 asio::deadline_timer t(io,posix_ti
2017-07-05 14:33:08
1104
原创 Amazon S3服务 简介及基本概念
Amazon S3介绍什么是Amazon S3?Amazon Simple Storage Service 是互联网存储解决方案。该服务旨在降低开发人员进行网络规模级计算的难度。Amazon S3提供了一个简单Web服务接口，可用于随时在Web上的任何位置存储和检索任何数量的数据。此服务让所有开发人员都能访问同一个具备高扩展性、可靠性、安全性和快速价廉的数据存储基础设施。本指南讲解
2017-07-04 23:07:20
11231
原创 Amazon S3 资源概述及管理访问基本操作
Amazon S3资源概述及管理访问基本操作默认情况下，所有Amazon S3资源都是私有的，包括存储桶、对象和相关子资源(例如liftcycle、website配置)。只有资源拥有者，即创建该资源的AWS账户可以访问资源。资源拥有者可以选择通过编写访问策略授予他人访问权限。Amazon S3提供的访问策略大致可分为两类：基于资源的策略、用户策略。附加到资源(存储桶和对象)的访问策
2017-07-04 17:22:20
11796
原创 linux下安装boost库环境
一、在ubuntu下编译一个C++文件1.新建一个11.cpp 2.安装g++并编译11.cppapt-get install g++ g++ -o aa 11.cpp-o 编译生成指定名字的执行文件3.运行文件./aa 一、什么是boostBoost是一个功能强大，构造精良、跨越平台、代码开源、完全免费的C++程序库
2017-07-03 17:57:03
710
原创 DAS、SAN、NAS三种存储方式的概念及应用
DAS(Direct-attached Storage) 直连存储直连式存储与服务器主机之间的连接通常采用SCSI连接，SCSI通道是IO瓶颈;服务器主机SCSI ID资源有限，能够建立的SCSI通道连接有限。无论直连式存储还是服务器主机的扩展，从一台服务器扩展为多台服务器组成的群集(Cluster)，或存储阵列容量的扩展，都会造成业务系统的停机，NAS(Network A
2017-06-30 11:25:30
133195
3
原创 负载均衡——实施方式、应用及常用软件基本介绍
负载均衡负载均衡(Load Balance)：建立在现有网络结构之上，提供了一种廉价有效透明的方法扩展网络设备和服务器带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。云存储中的需求：云存储中，一个典型的特点是将海量的请求在系统内部实现负载均衡。在传统的负载均衡中，处于网络边缘设备的负载均衡设备，会将来自不同地址的请求按照负载均衡设备的设置均匀地、最优化的发送到各个
2017-06-29 14:59:47
1333
转载 linux_LVM(逻辑磁盘卷)基本概念及应用
VIM(Logical Volume Manager)逻辑磁盘卷它是Linux环境下对磁盘分区进行管理的一种机制，LVM是建立在硬盘和分区上的一个逻辑层，来提高磁盘分区管理的灵活性。LVM可以轻松管理磁盘分区
2017-06-27 23:18:11
700
原创 自动化运维工具ansible学习
ansible是自动化运维工具，基于python。实现了批量系统配置、程序部署、运行命令等功能。ansible是基于模块工作的，本身没有批量部署能力，真正具有批量部署的是ansible所运行的模块，ansible只是提供了一个框架。主要包括:1.连接插件connnection plugins 复制和被监听端实现通信2.host inventory 指定操作的主机，是
2017-06-27 16:04:08
559
原创 配置静态站点，修改Nginx默认根目录
安装完Nginx后，默认的根目录为/usr/share/nginx/html。需要把所需资源放到此目录下，访问资源时还需先键入此目录，不方便。通过配置可以把资源的目录更改为根目录/root下。1.更改Nginx的配置文件Nginx的配置文件默认位于 /etc/nginx/nginx.conf修改html块中的server块：改为如下：http {server
2017-06-23 11:03:15
26921
原创 阿里云课程：云计算—分布式文件存储系统及实现
分布式文件存储系统及实现（阿里云课程）一、大数据对分布式存储的需求：·存储容量大·高吞吐量·提高数据可靠性 8个9·服务高可用 99.95%·高效运维将日常硬件处理作为常态，做成流程化对于监控、报警等机制也要有非常完善的支持·低成本 二、小概率事件对分布式系统的挑战单击(桌面)系统：小概率出错大规模存储：小概率成为常态小概率事件：1、磁盘
2017-06-04 21:28:53
2449
原创 lintcode——最长上升连续子序列
给定一个整数数组（下标从 0 到 n-1， n 表示整个数组的规模），请找出该数组中的最长上升连续子序列。（最长上升连续子序列可以定义为从右到左或从左到右的序列。）样例给定 [5, 4, 2, 1, 3], 其最长上升连续子序列（LICS）为 [5, 4, 2, 1], 返回 4.给定 [5, 1, 2, 3, 4], 其最长上升连续子序列（LICS）为 [1, 2,
2017-06-04 15:32:08
384
原创 lintcode：不同的路径—解析
题目：有一个机器人的位于一个 m × n 个网格左上角。机器人每一时刻只能向下或者向右移动一步。机器人试图达到网格的右下角。问有多少条不同的路径？样例给出 m = 3 和 n = 3, 返回 6.给出 m = 4 和 n = 5, 返回 35.分析：思路：经过每个点的路径总数是，由从上边和左边的路径总和。把所有点看成一个二维数
2017-05-29 21:01:52
848
原创 ceph总体架构分析
云平台架构ceph架构图如下： 基础存储系统RADOS（Reliable,Autonomic,Distributed Object Store）可靠的自主的分布式对象存储这一层本身就是一个完整的对象存储系统，所有存储在Ceph系统中的用户数据事实上最终都是由这一层来存储的。RADOS由大量的存储设备节点组成，每个节点拥有自己的硬件资源(CPU、内存、硬盘、网络)，并运行
2017-05-11 13:28:38
6901
2
原创 Ceph-CRUSH算法的具体实现
Ceph的工作原理及流程首先介绍RADOS中最为核心的、基于计算的对象寻址机制，然后说明对象存取的工作流程，之后介绍RADOS集群维护的工作过程，最后结合Ceph的结构和原理对其技术优势加以回顾和剖析。 寻址流程：File:用户需要存储或访问的文件。对于一个基于Ceph开发的对象存储应用而言，这个file就是对应于应用中的“对象”，也就是用户直接操作的对象。O
2017-04-21 22:56:35
1930
原创 Ceph-设计思想及结构RADOS
Ceph-设计思想及结构大规模的存储系统，有三个动态特性：存储系统规模的变化：随着业务的不断发展，系统需要承载越来越大的数据容量。存储系统中设备的变化：对于由成千上万个节点构成的系统，其节点的故障与替换必然是时长出现的情况，不能使业务受到这种频繁出现的硬件及底层软件问题的影响，同时应该智能化，并降低维护的成本。存储系统中数据的变化：对于一个大规模，通常被应用于互联网应用中的存储系统
2017-04-21 15:20:54
1638
2
原创 Ceph-智能分布CRUSH之Object与PG与OSD
Ceph 智能分布CRUSHCeph CRUSH算法(Controlled Replication Under ScalableHashing)一种基于为随机控制数据分布、复制的算法。基本原理：存储设备通常支持条带化以增加存储系统的吞吐量并提升性能，条带化最常见的方式就是做raid.如raid0.数据在阵列中的硬盘上是以条带的形式分布的，条带化是指数据在陈列中所有硬盘中的存储
2017-04-20 17:19:31
4259
原创 块储存、对象存储、文件存储的区别和联系
块储存、对象存储、文件存储的区别和联系通常来讲，队友磁盘阵列都是基于Block块的存储，而所有的NAS产品都是文件级存储。1. 块存储：DAS SANa) DAS(Direct Attach Storage): 是直接连接于主机服务器的一种存储方式，每台服务器有独立的存储设备，每台主机服务器的存储设备无法互通，需要跨主机存取资料室，必须经过相对复杂的设定，若主机分属不同的操作系统，
2017-04-18 21:08:41
48202
1
原创 Linux-文件服务器:NFS
文件服务器：NFSNFS(Network File System)功能：可以通过网络、让不同的机器、不同的操作系统可以共享彼此的文件。这个NFS服务器可以让PC将网络中的NFS服务器共享的目录挂载到本地端的文件系统中，而在本地端的系统看来，那个远程目录就好像是自己的一个磁盘分区一样，在使用上相当方便。NFS服务器端口：2049，因为文件系统非常复杂，因此还需要其他的程序去启动额外的端口
2017-04-18 20:54:02
431
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人