- 博客(64)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 插入区间(leetcode)
在列表中插入一个新的区间，你需要确保列表中的区间仍然有序且不重叠（如果有必要的话，可以合并区间）。按照区间起始端点排序的区间列表。
2023-06-24 17:50:51
146
原创 匈牙利算法-看这篇绝对就够了！
本文讲述的是匈牙利算法，即图论中寻找最大匹配的算法，暂不考虑加权的最大匹配（用KM算法实现），文章整体结构如下：基础概念介绍 算法的实现好的，开始！一. 部分基础概念的介绍我会严格介绍其定义，并同时用自己的大白话来重述。概念点1. 图G的一个匹配是由一组没有公共端点的不是圈的边构成的集合。这里，我们用一个图来表示下匹配的概念：如图所示，其中的三条边即该图的一个匹配；...
2019-05-31 17:40:07
156190
54
原创 tensorflow的部分函数汇总（非大全，保持更新）
写在前面：默认已经引入Tensorflow 和Numpy， 且形如：import numpy as npimport tensorflow as tf1.ones_likesess = tf.Session()ones_like = tf.ones_like([2, 3])print(sess.run(ones_like))其会根据传入的tensor的形状，生成个全...
2019-02-19 19:33:22
581
原创 白话RNN系列（七）
本文，探讨下LSTM的一些高级应用，比如双向LSTM。前面的探讨过程中， 我们使用到的RNN或者LSTM都是单向的，即按照时间顺序排列的一维序列；而在实际应用中，双向的RNN由于考虑到更充足的上下文，往往能起到更好的效果：Bi-RNN又叫双向RNN，是采用了两个方向的RNN网络。RNN网络擅长的是对于连续数据的处理，既然是连续的数据规律，我们不仅可以学习它的正向规律，还可以学习它的反向规...
2019-01-20 21:59:49
519
1
原创 白话RNN系列（六）
上文给出了一个LSTM使用的具体例子，但其中依旧存在一些东西说的不是很清楚明白，接下来，我们会针对LSTM使用中更加细致的一些东西，做一些介绍。本人目前使用的基本都是TensorFlow进行开发。lstm_cell = tf.nn.rnn_cell.LSTMCell(n_hidden, forget_bias=1.0, name='basic_lstm_cell')outputs, s...
2019-01-20 21:11:35
260
原创 白话RNN系列（五）
前文，对于LSTM的结构进行了系统的介绍，本文，通过一个MNIST_data的例子，争取能够把LSTM的基本使用来吃透。import tensorflow as tfimport input_data# 导入 MINST 数据集# from tensorflow.examples.tutorials.mnist import input_data# one_hot=True，代表输入...
2019-01-20 19:54:03
352
原创 白话RNN系列（四）
本文，谈谈RNN的一个变种，也是目前使用比较广泛的神经网络LSTM，我们首先描述下LSTM的基本结构，然后给出一个具体的使用LSTM的例子，帮助大家尽快掌握LSTM的原理和基本使用方法；这可能是一张大家熟悉地不能再熟悉的图片了。我们可以将其与RNN的基本结构进行对比： 我们可以看到区别：RNN中，每个循环体会产生一份输出，即隐藏状态；最终输出由此隐藏状态产出，同时，隐藏状态会保...
2019-01-20 19:00:47
475
原创 白话RNN系列（三）
紧接上文，白话RNN系列（二）。通过generateData得到我们的样本数据之后，我们开始搭建自己的RNN：# 每个批次输入的数据，这里定义为5，即每个批次输入5个数据batch_size = 5# RNN中循环的次数，即时间序列的长度# 这里取长度为15的时间序列truncated_backprop_length = 15# 与时间序列相对应，占位符的维度为 5 * 15...
2019-01-19 21:33:41
355
原创 白话RNN系列（二）
紧接白话谈RNN系列（一）上文讨论了基础的全连接神经网络，本文，我们来说说RNN。首先，RNN相比于普通的神经网络，有什么改进？两点比较突出：权值共享和隐层神经元节点的有序连接。直接上图，浅显易懂：上图，摘自深度学习（花书），左侧图和右侧图表达了相同的含义，我们以右侧图为例，并配合实例，对RNN进行透彻的分析，我尽可能以很通俗移动的方式把RNN讲明白。从本图中，我们很清...
2019-01-19 19:30:55
588
1
原创 白话RNN系列（一）
RNN，循环神经网络，全称Recurrent Neural Network。本文，从RNN的基本原理讲起，会探讨RNN的前向传播和反向传播，并通过一些浅显易懂的小例子，展示RNN这个东东的神奇之处，尽最大可能以通俗易懂的方式，让看到本文的童鞋都能够掌握RNN。1：RNN的基本原理即便是RNN，也依旧脱离不了神经网络的基本架构，换句话说，我们看RNN的时候，一定要记住一句，它不过是高级一...
2019-01-19 16:32:26
1115
原创 KNN-机器学习实战系列（一）
开门见山，本文单说KNN：作为机器学习实战书籍介绍的第一个算法，有一些值得说道的地方：1：什么是KNN？机器学习的一些基本知识和概念不加叙述了，直接给出KNN的白话定义：给定M个样本，每个样本均有N个数字衡量的属性，而每个样本均带有自身的标签：这里，为什么需要数字化定义属性呢？这方便了我们衡量指标的计算，我们可以使用距离这一可用数学表达式实现的概念，来阐述何谓近邻。而KNN，英...
2018-07-17 11:27:19
226
原创 python学习中的一些问题（一）
在使用：pip install pandas出现pip版本过低的警告：于是准备更新到最新版本，结果又报错了：命令看起来好像是执行失败，于是把命令行切换成管理员模式执行，然后执行成功：最后执行成功： ...
2018-07-16 17:27:38
246
原创 聊聊Spark中的宽依赖和窄依赖
开门见山，本文就针对一个点，谈谈Spark中的宽依赖和窄依赖，这是Spark计算引擎划分Stage的根源所在，遇到宽依赖，则划分为多个stage，针对每个Stage，提交一个TaskSet：上图：一张网上的图：基于此图，分析下这里为什么前面的流程都是窄依赖，而后面的却是宽依赖：我们仔细看看，map和filter算子中，对于父RDD来说，一个分区内的数据，有且仅有一个子RDD的分区来消费该数据。同样...
2018-07-08 22:35:46
10750
10
原创 Hbase面试的那些问题
找了一些hbase的面试题，在此汇总一下：1：什么是HBase：从最基本的含义说起，hbase就是一个分布式的NoSql数据库，其建立在HDFS分布式文件存储系统的基础之上，HBase的搭建需要依赖于HDFS，从其配置文件就可以看出，其数据存储的底层，也是依赖于Hbase；定义没什么可说的，就是一种建立在HDFS基础之上的分布式数据库：2：聊一聊MySQL和Hbase的区别这个问题太泛泛，简单说几...
2018-06-25 22:56:30
3765
原创 浅析Yarn中的关键概念-Container
初学Yarn的时候，对于Container的概念感觉非常陌生，即便是后期用了很长时间的Yarn平台，依旧觉得对于Container这个概念没有达到非常熟悉的程度：本文，从源码的角度上来说说，到底什么是Container：说起来非常容易，Container就是Yarn中的一个动态资源分配的概念，其拥有一定的内存，核数，由RM分配给ApplicationMaster或者MapTask或者ReduceT...
2018-06-20 11:10:32
12967
原创 MapReduce模型中的一些细节讨论
MapReduce的分析模型中，还是有些东西值得讨论和研究的：本文讨论一些MapReduce执行过程中的细节问题，可与本人另外一篇博客相互对照学习：接下来，进入正文（本文讨论依旧是基于Hadoop-1.0.0）：-----------------------------------------------------------public static class IntSumReducer e...
2018-06-06 18:49:18
293
原创 分析MapReduce模型源码
在MapReduce编程模型中，有一个东西吸引了我的兴趣：代码如下：public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private...
2018-05-26 17:13:25
1346
原创 Hive安装-完美教程
废话少说，开门见山。1：hive版本：2.3.3下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/2：hadoop版本：2.7.63：hbase版本：1.3.2hive部署在hadoop的Master机器上，这里，主要针对conf下若干文件进行修改，并替换和删除lib目录下的包：首先，修改hive-env.shcp hive-env.sh....
2018-05-24 16:35:48
5922
1
原创 从源码看Yarn上的MapReduce（一）
本系列并不过多涉及Yarn的相关源码，重点在于，分析MapReduce这个计算模型，到底是如何跑起来的，无论是在Yarn上，还是在MR1上。本文有些内容与关于Yarn源码系列有交汇，两相对照，学习更深入。本文基于2.6.5的Hadoop源码：我们从头来看，比如说我提交了一个简单的Job程序，其中有Main方法 Configuration conf = new Configuration(); ...
2018-05-17 19:35:20
410
原创 关于Yarn源码那些事（七）
上文说到，需要指定Container所在的NM启动其上的Container，我们看看这个方法的内容：/** * Start a list of containers on this NodeManager. */ @Override public StartContainersResponse startContainers( StartContainersRequest req...
2018-05-16 18:21:17
832
1
原创 关于Yarn源码的那些事（六）
终于可以继续写ApplicationMaster提交和运行的整体流程了。在上次分析到RMAppAttemptImpl的时候，觉得自己对于调度器和状态机了解地不是很清楚，因此暂停，先把一些需要了解的概念分析清楚，今天，继续分析ApplicationMaster提交运行的整体流程：上文中，我们提到，RMAppAttemptImpl的状态从RMAppAttemptState.SCHEDULED，在事件R...
2018-05-16 15:23:15
473
原创 关于Yarn源码那些事-番外-Yarn的状态机
上一篇番外，写了Yarn的调度机制，这种大型的调度，主要用于类与类之间的调度，简单来说，就是一个类对于那些觉得自己管控不了的事情，就将其扔给别人来处理。Yarn中很多的类都是有调度器的，而且它们大多都持有全局调度器，对于自己处理不了的事情，干脆利落地将其扔到RM或者NM的调度器中。全局调度器就相当于一个统筹者，一根线，把所有的类给串起来，而在很多类的内部，同样支持事件的处理，而本文就讨论下这种处理...
2018-05-16 00:50:36
712
原创 关于Yarn源码那些事-番外-Yarn的异步调度
在Yarn源码的研究过程中，有些概念比较重要，譬如Yarn的调度机制，事件机制和服务库等，这些概念有些含混，我们还是从源码角度上，来对这些概念一点点进行深入了解，对于了解Yarn的运行机制，有很大的好处。本文，从源码层面来说一下Yarn的异步调度，这个词可能不太合适，直接看源码吧（想到哪儿，说到哪儿）：从ResourceManager说起（这里是基于2.6.5版本的Hadoop）：1：RM中的调度...
2018-05-15 18:18:17
568
原创 最详细ELK搭建教程（内有head插件及x-pack搭建）
ELK:日志监控系统的巨擘，由于是一家公司所开发和负责维护的，我们通常把它们三个并在一起。而在实际应用中，三者的完美结合也给我们带来了很大的遍历。通常来说，ELK三者已经几乎完美了，但我们还会加上一些插件，常用的就是Head插件，本文也会把head插件的相关安装加以介绍。因为公司给的机器是一台全新的实体机，所以一切都要从头来干：1：jdk安装这个没什么花，直接下载下来，解压；修改下环境变量即可，我...
2018-05-15 13:54:39
2877
1
原创 关于Yarn源码的那些事（五）
上文说到ApplicationMaster的调度便戛然而止，本文继续。private static final class AddApplicationToSchedulerTransition extends RMAppTransition { @Override public void transition(RMAppImpl app, RMAppEvent event) { a...
2018-05-14 23:53:56
795
原创 关于Yarn源码那些事前传-NodeManager(二) 服务启动篇
上文说了NodeManager的初始化，本文说下其服务启动的代码：@Override protected void serviceStart() throws Exception { try { doSecureLogin(); } catch (IOException e) { throw new YarnRuntimeException("Failed NodeManag...
2018-05-13 17:04:34
724
原创 关于Yarn源码那些事-前传之NodeManager（一） 初始化篇
本文，说下NodeManager篇：本文重在于介绍初始化部分：还是从start-yarn.sh的脚本追本溯源，最后发现启动的类是NodeManager：package org.apache.hadoop.yarn.server.nodemanager;public static void main(String[] args) { Thread.setDefaultUncaughtExcep...
2018-05-13 15:37:31
499
原创 关于Yarn源码的那些事（四）
紧接着系列（三）。前面的介绍，基本都比较浅显易懂，讲述了Yarn的Client提交新的Application给ResourceManager，后者返回唯一的ID。本文索要讲的，是RM端如何把Application的ApplicationMaster给启动起来的。力求通俗易懂，但是看起来没那么容易。追溯下来，我们发现第二次提交Application的逻辑，是由YarnRunner来实现的，实现如下：...
2018-05-12 23:46:34
1218
原创 关于Yarn源码那些事-前传之ResourceManager篇（二） 启动篇
上文说了下服务的初始化，本文认真说下服务的启动。RMStateStore rmStore = rmContext.getStateStore(); // The state store needs to start irrespective of recoveryEnabled as apps // need events to move to further states. rmSt...
2018-05-12 17:01:38
991
原创 关于Yarn源码那些事-前传之ResourceManager篇（一）初始化
在关于Yarn那些事的博客里，介绍的主要是针对任务提交的一个动态流程说明，而其中牵涉到的一些细节问题，必须通过Resourcemanager的启动和NodeManager的启动，来更好的说明。而本系列，就详细说说ResourceManager启动过程中，都发生了什么。我们都知道，Yarn的启动脚本是start-yan.sh，我们就从这个脚本开始，琢磨琢磨。"$bin"/yarn-daemon.sh...
2018-05-12 14:51:51
1230
原创 关于Yarn源码的那些事（三）
接系列（二）。介绍完ApplicationSubmissionContext之后，继续下去：@Override public YarnClientApplication createApplication() throws YarnException, IOException { ApplicationSubmissionContext context = Records....
2018-05-08 19:35:16
905
1
原创 关于Yarn源码的那些事（二）
本文，讨论一下提交的MapReduce作业，究竟是如何运行起来的？还是基于Hadoop 2.2.0的版本，力求能够从源码角度将该问题讲述清楚。本文会尽可能解决系列（一）中提出的那些问题，并且提出一些新的问题。1：我们提交的MapReduce程序，到底是如何运行在Yarn框架上的？这个问题，一点点来定位。首先，我们需要在mapred-site.xml配置文件中指定mapreduce.framewor...
2018-05-08 16:35:41
1183
原创 关于Yarn源码的那些事（一）
作为新一代的资源调度统一框架，Yarn（Yet Another Resource Negotiator），在不断的完善过程中，其用途已经绝不限于Hadoop的生态圈内，业界中，流式计算如Storm，Spark均可以在一定的封装之后，运行于Yarn上，但是，就目前的发展进度来说，Yarn的基本框架，还是没有彻底的变化。就Yarn的整体架构来说，ResourceManager作为资源调度框架的老大，集...
2018-05-08 11:56:04
1560
原创 详细解析如何运行hadoop自带例子
本文，简单介绍下，如何运行hadoop自带的mapreduce的那些例子。本文针对的hadoop版本，是2.6.5版本，自带的例子包名为：hadoop-mapreduce-examples-2.6.5.jar；位于/share/hadoop/mapreduce目录下。简单来说，如果想要完成范例的运行，直接：hadoop jar hadoop-mapreduce-examples-2.6.5.jar...
2018-05-07 19:10:38
8351
原创 最详细的Hadoop集群搭建
本文，针对hadoop的整体搭建过程，给予一个详细的介绍。1：hadoop版本：采用hadoop-2.6.5版本，下载地址：下载地址下载190M的tar包即可，该包是编译直接可用的。2：我使用的机器版本：Linux version 2.6.32-504.el6.x86_64 ([email protected]) (gcc version 4.4.7 201203...
2018-05-07 13:19:58
8660
原创 关于Hadoop IPC的一个小例子
对于分布式系统而言，RPC毫无疑问是非常重要的，其负责机器之间的通信，而在hadoop中，相应的RPC调用更是不计其数，这里仅仅简单提供一个Hadoop IPC的一个小例子，供大家研究。（1）继承自VersionedProtocol的接口import org.apache.hadoop.ipc.VersionedProtocol;public interface IPCQueryStatus ...
2018-04-12 14:35:31
955
1
原创 从Intellij IDEA开始第一个Spark程序
先前在Windows上倒腾了一份Scala的开发环境，然后换到Mac环境上，重新来了一遍，为了防止自己的再度忘记，记录在本博客中。好，废话不说，开始。1：Intellij IDEA的安装习惯用Eclipse了，最近才开始使用Intellij IDEA，感觉功能还是很强大的；这里只讲述具体的安装，我安装的是community版本，2017.3.15的版本，最近更新的社区版本了。下载地址里面有wind...
2018-03-24 20:22:59
10555
1
原创 数据库事务隔离级别
本文，先从数据库事务的四大特性开始讲起，过渡到四种主要的事务隔离级别。首先，ACID四种特性。1：原子性（Atomicity）原子性是指，一个事务包含的所有操作，要么全部成功，要么就全部失败回滚；通俗来说，就是事务的操作，要不然就是每一步都产生了相应的影响，最后对数据库造成的改动，是事务中各个操作进行的最后结果；否则，就不能对数据库产生任何影响。2：一致性（Consistency）一致性，就是说提...
2018-03-21 11:22:57
206
原创 最全Flume、ElasticSearch、Kibana实现日志实时展示
今天一天的时间，成功使用flume把日志扇入ElasticSearch中，并运行Kibana实现日志的初步展示，记录于此。1：ES集群的搭建不予赘述，可参考：如何搭建ES集群2：Flume与ES协同这一部分堪称是重中之重，主要的时间就是花费在这上面了。flume的sink里，其实是有ElasticSearchSink的，我的打算，也是想直接使用其实现功能即可，后发现，ES使用的版本过高，但又不想照...
2018-03-20 20:24:09
7628
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人