6 土豆钊

尚未进行身份认证

求知若渴,大智若愚

等级
TA的排名 3w+

聊聊Docker和虚拟机

本文是译文,比对下虚拟机和Docker,话不多说,进入正题。附上链接:https://nickjanetakis.com/blog/comparing-virtual-machines-vs-docker-containers中文链接:作者:正则云科技链接:https://www.zhihu.com/question/48174633/answer/180743885来源:知乎...

2019-11-16 12:36:51

匈牙利算法-看这篇绝对就够了!

本文讲述的是匈牙利算法,即图论中寻找最大匹配的算法,暂不考虑加权的最大匹配(用KM算法实现),文章整体结构如下:基础概念介绍 算法的实现好的,开始!一. 部分基础概念的介绍我会严格介绍其定义,并同时用自己的大白话来重述。概念点1. 图G的一个匹配是由一组没有公共端点的不是圈的边构成的集合。这里,我们用一个图来表示下匹配的概念:如图所示,其中的三条边即该图的一个匹配;...

2019-05-31 17:40:07

tensorflow的部分函数汇总(非大全,保持更新)

写在前面:默认已经引入Tensorflow 和Numpy, 且形如:import numpy as npimport tensorflow as tf1.ones_likesess = tf.Session()ones_like = tf.ones_like([2, 3])print(sess.run(ones_like))其会根据传入的tensor的形状,生成个全...

2019-02-19 19:33:22

白话RNN系列(七)

本文,探讨下LSTM的一些高级应用,比如双向LSTM。前面的探讨过程中, 我们使用到的RNN或者LSTM都是单向的,即按照时间顺序排列的一维序列;而在实际应用中,双向的RNN由于考虑到更充足的上下文,往往能起到更好的效果:Bi-RNN又叫双向RNN,是采用了两个方向的RNN网络。RNN网络擅长的是对于连续数据的处理,既然是连续的数据规律,我们不仅可以学习它的正向规律,还可以学习它的反向规...

2019-01-20 21:59:49

白话RNN系列(六)

上文给出了一个LSTM使用的具体例子,但其中依旧存在一些东西说的不是很清楚明白,接下来,我们会针对LSTM使用中更加细致的一些东西,做一些介绍。本人目前使用的基本都是TensorFlow进行开发。lstm_cell = tf.nn.rnn_cell.LSTMCell(n_hidden, forget_bias=1.0, name='basic_lstm_cell')outputs, s...

2019-01-20 21:11:35

白话RNN系列(五)

前文,对于LSTM的结构进行了系统的介绍,本文,通过一个MNIST_data的例子,争取能够把LSTM的基本使用来吃透。import tensorflow as tfimport input_data# 导入 MINST 数据集# from tensorflow.examples.tutorials.mnist import input_data# one_hot=True,代表输入...

2019-01-20 19:54:03

白话RNN系列(四)

本文,谈谈RNN的一个变种,也是目前使用比较广泛的神经网络LSTM,我们首先描述下LSTM的基本结构,然后给出一个具体的使用LSTM的例子,帮助大家尽快掌握LSTM的原理和基本使用方法;这可能是一张大家熟悉地不能再熟悉的图片了。我们可以将其与RNN的基本结构进行对比: 我们可以看到区别:RNN中,每个循环体会产生一份输出,即隐藏状态;最终输出由此隐藏状态产出,同时,隐藏状态会保...

2019-01-20 19:00:47

白话RNN系列(三)

紧接上文,白话RNN系列(二)。通过generateData得到我们的样本数据之后,我们开始搭建自己的RNN:# 每个批次输入的数据,这里定义为5,即每个批次输入5个数据batch_size = 5# RNN中循环的次数,即时间序列的长度# 这里取长度为15的时间序列truncated_backprop_length = 15# 与时间序列相对应,占位符的维度为 5 * 15...

2019-01-19 21:33:41

白话RNN系列(二)

紧接白话谈RNN系列(一)上文讨论了基础的全连接神经网络,本文,我们来说说RNN。首先,RNN相比于普通的神经网络,有什么改进?两点比较突出:权值共享和隐层神经元节点的有序连接。直接上图,浅显易懂:上图,摘自深度学习(花书),左侧图和右侧图表达了相同的含义,我们以右侧图为例,并配合实例,对RNN进行透彻的分析,我尽可能以很通俗移动的方式把RNN讲明白。从本图中,我们很清...

2019-01-19 19:30:55

白话RNN系列(一)

RNN,循环神经网络,全称Recurrent Neural Network。本文,从RNN的基本原理讲起,会探讨RNN的前向传播和反向传播,并通过一些浅显易懂的小例子,展示RNN这个东东的神奇之处,尽最大可能以通俗易懂的方式,让看到本文的童鞋都能够掌握RNN。1:RNN的基本原理即便是RNN,也依旧脱离不了神经网络的基本架构,换句话说,我们看RNN的时候,一定要记住一句,它不过是高级一...

2019-01-19 16:32:26

KNN-机器学习实战系列(一)

开门见山,本文单说KNN:作为机器学习实战书籍介绍的第一个算法,有一些值得说道的地方:1:什么是KNN?机器学习的一些基本知识和概念不加叙述了,直接给出KNN的白话定义:给定M个样本,每个样本均有N个数字衡量的属性,而每个样本均带有自身的标签:这里,为什么需要数字化定义属性呢?这方便了我们衡量指标的计算,我们可以使用距离这一可用数学表达式实现的概念,来阐述何谓近邻。而KNN,英...

2018-07-17 11:27:19

python学习中的一些问题(一)

在使用:pip install pandas出现pip版本过低的警告:于是准备更新到最新版本,结果又报错了:命令看起来好像是执行失败,于是把命令行切换成管理员模式执行,然后执行成功:最后执行成功: ...

2018-07-16 17:27:38

聊聊Spark中的宽依赖和窄依赖

开门见山,本文就针对一个点,谈谈Spark中的宽依赖和窄依赖,这是Spark计算引擎划分Stage的根源所在,遇到宽依赖,则划分为多个stage,针对每个Stage,提交一个TaskSet:上图:一张网上的图:基于此图,分析下这里为什么前面的流程都是窄依赖,而后面的却是宽依赖:我们仔细看看,map和filter算子中,对于父RDD来说,一个分区内的数据,有且仅有一个子RDD的分区来消费该数据。同样...

2018-07-08 22:35:46

Hbase面试的那些问题

找了一些hbase的面试题,在此汇总一下:1:什么是HBase:从最基本的含义说起,hbase就是一个分布式的NoSql数据库,其建立在HDFS分布式文件存储系统的基础之上,HBase的搭建需要依赖于HDFS,从其配置文件就可以看出,其数据存储的底层,也是依赖于Hbase;定义没什么可说的,就是一种建立在HDFS基础之上的分布式数据库:2:聊一聊MySQL和Hbase的区别这个问题太泛泛,简单说几...

2018-06-25 22:56:30

浅析Yarn中的关键概念-Container

初学Yarn的时候,对于Container的概念感觉非常陌生,即便是后期用了很长时间的Yarn平台,依旧觉得对于Container这个概念没有达到非常熟悉的程度:本文,从源码的角度上来说说,到底什么是Container:说起来非常容易,Container就是Yarn中的一个动态资源分配的概念,其拥有一定的内存,核数,由RM分配给ApplicationMaster或者MapTask或者ReduceT...

2018-06-20 11:10:32

MapReduce模型中的一些细节讨论

MapReduce的分析模型中,还是有些东西值得讨论和研究的:本文讨论一些MapReduce执行过程中的细节问题,可与本人另外一篇博客相互对照学习:接下来,进入正文(本文讨论依旧是基于Hadoop-1.0.0):-----------------------------------------------------------public static class IntSumReducer e...

2018-06-06 18:49:18

分析MapReduce模型源码

在MapReduce编程模型中,有一个东西吸引了我的兴趣:代码如下:public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private...

2018-05-26 17:13:25

Hive安装-完美教程

废话少说,开门见山。1:hive版本:2.3.3下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/2:hadoop版本:2.7.63:hbase版本:1.3.2hive部署在hadoop的Master机器上,这里,主要针对conf下若干文件进行修改,并替换和删除lib目录下的包:首先,修改hive-env.shcp hive-env.sh....

2018-05-24 16:35:48

从源码看Yarn上的MapReduce(一)

本系列并不过多涉及Yarn的相关源码,重点在于,分析MapReduce这个计算模型,到底是如何跑起来的,无论是在Yarn上,还是在MR1上。本文有些内容与关于Yarn源码系列有交汇,两相对照,学习更深入。本文基于2.6.5的Hadoop源码:我们从头来看,比如说我提交了一个简单的Job程序,其中有Main方法 Configuration conf = new Configuration(); ...

2018-05-17 19:35:20

关于Yarn源码那些事(七)

上文说到,需要指定Container所在的NM启动其上的Container,我们看看这个方法的内容:/** * Start a list of containers on this NodeManager. */ @Override public StartContainersResponse startContainers( StartContainersRequest req...

2018-05-16 18:21:17

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。