- 博客(56)
- 收藏
- 关注
RSS订阅原创 你真的理解java多态吗
多态定义多态是同一个行为具有多个不同表现形式或形态的能力。所谓多态就是指程序中定义的引用变量所指向的具体类型和通过该引用变量发出的方法调用在编程时并不确定，而是在程序运行期间才确定，即一个引用变量倒底会指向哪个类的实例对象，该引用变量发出的方法调用到底是哪个类中实现的方法，必须在由程序运行期间才能决定。因为在程序运行时才确定具体的类，这样，不用修改源程序代码，就可以让引用变量绑定到各种不同的类实现上，从而导致该引用调用的具体方法随之改变，即不修改程序代码就可以改变程序运行时所绑定的具体代...
2022-01-20 23:11:48
212
原创 linux安装jenkins
1、按照官网安装jenkins https://pkg.jenkins.io/redhat/2、安装完毕之后修改java路径vim /etc/init.d/jenkins 修改为本地java安装路径修改端口3、vim /etc/sysconfig/jenkins ， 默认是80804、启动jenkinsservice jenkins start...
2020-06-11 01:17:51
176
原创 java的getResourceAsStream()方法
getResourceAsStream(String path)这个函数的参数是一个路径，但是这个路径应该怎么填？使用该函数的难点也就在此。其实只要记住一个关键点，getResourceAsStream这个函数寻找文件的起点是JAVA项目编译之后的根目录，比如一般maven项目编译之后根目录都是target/classes这个文件。maven创建的javaweb项目中resourc
2017-10-29 00:18:22
338
原创 COOKIE和SESSION
今天写了一个servlet，再次发送请求始终无法获取刚才设置的cookie，然后注释掉第二行可以了Cookie cookie = new Cookie("time", "20080808"); // 新建Cookie cookie.setSecure(true); // 设置安全属性 response.ad
2017-10-28 10:17:14
191
原创 HTTP协议
引言HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。它于1990年提出，经过几年的使用与发展，得到不断地完善和扩展。目前在WWW中使用的是HTTP/1.0的第六版，HTTP/1.1的规范化工作正在进行之中，而且HTTP-NG(Next Generation of HTTP)的建议已经提出。HTTP协议的主要特点可概括如下：1.支
2017-10-27 17:08:09
205
原创 mysql常用知识
1、二级索引mysql中每个表都有一个聚簇索引（clustered index ），除此之外的表上的每个非聚簇索引都是二级索引，又叫辅助索引（secondary indexes）。以InnoDB来说，每个InnoDB表具有一个特殊的索引称为聚集索引。如果您的表上定义有主键，该主键索引是聚集索引。如果你不定义为您的表的主键时，MySQL取第一个唯一索引（unique）而且只含非空列（NO
2017-10-20 23:46:20
252
原创 常见的java面试题
1、java list 交集 并集 差集 去重复并集package com;import java.util.ArrayList;import java.util.Iterator;import java.util.List;public class Test { public static void main(String[] args) { L
2017-10-19 23:10:55
241
原创 Python 标准库一览（Python进阶学习）
写这个的起因是，还是因为在做Python challenge的时候，有的时候想解决问题，连应该用哪个类库都不知道，还要去百度（我不信就我一个人那么尴尬TvT） 好像自从学习了基础的python 语法，看了几本Python经典的书，知道了一些常见的类库。在几本语法应用熟练的情况下，如果不做题，像是无法显著的提高自己的知识储备了（所以叫你去做python challenge啊，什么都不会~~）
2017-07-30 00:47:22
728
原创 linux下vim操作
vi与vimvi编辑器是所有Unix及Linux系统下标准的编辑器，他就相当于windows系统中的记事本一样，它的强大不逊色于任何最新的文本编辑器。他是我们使用Linux系统不能缺少的工具。由于对Unix及Linux系统的任何版本，vi编辑器是完全相同的，学会它后，您将在Linux的世界里畅行无阻。vim 具有程序编辑的能力，可以以字体颜色辨别语法的正确性，方便程序设计；因为程序简单
2017-03-17 21:53:53
299
原创 Hadoop面试
作者：呼呼链接：https://zhuanlan.zhihu.com/p/24946274来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。1：Hadoop VS Spark 2.Hadoop实时应用有哪些?Hadoop，众所周知的Apache Hadoop，是一个开放源代码软件平台，用于大容量数据的可扩展和分布式计算。它提供对数字平
2017-02-21 13:00:52
410
原创 ZooKeeper官方文档翻译——ZooKeeper Overview 3.4.6
ZooKeeper: A Distributed Coordination Service for Distributed Applications （针对分布式应用的分布式调度服务）Design Goals（设计目标）Data model and the hierarchical namespace（数据模型和命名空间层级）Nodes and ephemeral nodes（节点和临时节
2017-02-19 22:30:43
3998
1
转载 Apache Spark入门攻略
【编者按】时至今日，Spark已成为大数据领域最火的一个开源项目，具备高性能、易于使用等特性。然而作为一个年轻的开源项目，其使用上存在的挑战亦不可为不大，这里为大家分享SciSpike软件架构师Ashwini Kuntamukkala在Dzone上进行的Spark入门总结（虽然有些地方基于的是Spark 1.0版本，但仍然值得阅读）—— Apache Spark：An Engine for L
2017-02-16 13:16:45
333
转载 Hadoop生态系统介绍
首先我们先了解一下Hadoop的起源。然后介绍一些关于Hadoop生态系统中的具体工具的使用方法。如:HDFS、MapReduce、Yarn、Zookeeper、Hive、Hbase、Oozie、Mahout、Pig、Flume、Sqoop。Hadoop的起源Doug Cutting是Hadoop之父 ，起初他开创了一个开源软件Lucene（用Java语言编写，提供了全文检索引擎的
2017-02-15 19:00:11
418
原创 Hadoop学习：HDFS 机架感知
client 向 Active NN 发送写请求时，NN为这些数据分配DN地址，HDFS文件块副本的放置对于系统整体的可靠性和性能有关键性影响。一个简单但非优化的副本放置策略是，把副本分别放在不同机架，甚至不同IDC，这样可以防止整个机架、甚至整个IDC崩溃带来的错误，但是这样文件写必须在多个机架之间、甚至IDC之间传输，增加了副本写的代价，是否有较优的方案来解决这个问题呢？目录：
2017-02-15 12:46:35
500
原创 Hadoop官方文档翻译——MapReduce Tutorial
MapReduce Tutorial（个人指导）Purpose（目的）Prerequisites（必备条件）Overview（综述）Inputs and Outputs（输入输出）MapReduce - User Interfaces（用户接口）Payload（有效负载）MapperReducerPartitionerCounterJob Configuration（作业配置）
2017-02-15 00:13:00
468
原创 Hadoop官方文档翻译——HDFS Architecture 2.7.3
HDFS Architecture（HDFS 架构）Introduction（简介）Assumptions and Goals（假设和目标）Hardware Failure（硬件失效是常态）Streaming Data Access（支持流式访问）Large Data Sets（大数据集）Simple Coherency Model（简单一致性模型）“Moving Comp
2017-02-15 00:10:45
704
原创 Hadoop官方文档翻译——YARN Architecture（2.7.3）
The fundamental idea of YARN is to split up the functionalities of resource management and job scheduling/monitoring into separate daemons. The idea is to have a global ResourceManager (RM) and per-ap
2017-02-15 00:08:44
1061
原创 Hadoop官方文档翻译—— YARN ResourceManager High Availability 2.7.3
ResourceManager High Availability (RM高可用)Introduction（简介）Architecture（架构）RM Failover（RM 故障切换）Recovering prevous active-RM’s state（恢复之前活动的RM的状态）Deployment（部署）Configurations（
2017-02-15 00:06:09
524
转载 python模块系列之 - configparser
configparser模块用来管理类似于windows下的ini文件格式的配置文件，在python2中此模块名为Configparser. 配置文件格式如下：config.ini[userinfo] -------> sectionusername = superpasswd = 12345lockstatus = 0[dbconfig]
2017-02-11 23:53:47
323
原创 Hadoop中Map端shuffle过程及源码解析
这张是官方对Shuffle过程的描述。但我可以肯定的是，单从这张图你基本不可能明白Shuffle的过程，因为它与事实相差挺多，细节也是错乱的。后面我会具体描述Shuffle的事实情况，所以这里你只要清楚Shuffle的大致范围就成－怎样把map task的输出结果有效地传送到reduce端。也可以这样理解， Shuffle描述着数据从map task输出到reduce task输入的这段过程。
2017-02-08 23:18:24
686
原创 eclipse +PyDev开发python，import其他模块时eclipse会报错，运行却没有问题
用eclipse +PyDev开发python时，需要import其他文件时eclipse会报错，但是在python的命令行中运行却没有问题。解决方法：1.右键工程——properties2.选择Pydev-Interface/Grammar，点击链接Click here to configure aninterpreter not listed3.在p
2016-10-19 23:53:24
4645
1
转载 c3p0的配置方式
c3p0的配置方式分为三种，分别是1.setters一个个地设置各个配置项2.类路径下提供一个c3p0.properties文件3.类路径下提供一个c3p0-config.xml文件1.setters一个个地设置各个配置项这种方式最繁琐，形式一般是这样：01Properties props = new Properties();
2016-10-16 12:54:56
217
转载 ZooKeeper原理及使用
ZooKeeper是Hadoop Ecosystem中非常重要的组件，它的主要功能是为分布式系统提供一致性协调(Coordination)服务，与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper，第一部分介绍ZooKeeper的基本原理，第二部分介绍ZooKeeper提供的Client API的使用，第三部分介绍一些ZooKeeper典型的应用场景。
2016-09-10 00:35:12
249
转载 深入理解yarn
Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该很熟悉如下的原 Ma
2016-09-06 20:02:33
1631
转载 hadoop yarn 的原理
1.1 YARN 基本架构YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。
2016-09-06 19:45:05
281
转载 zookeeper原理二
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookee
2016-09-06 00:20:09
211
转载 zookeeper原理
ZooKeeper是Hadoop Ecosystem中非常重要的组件，它的主要功能是为分布式系统提供一致性协调(Coordination)服务，与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper，第一部分介绍ZooKeeper的基本原理，第二部分介绍ZooKeeper提供的Client API的使用，第三部分介绍一些ZooKeeper典型的应用场景。
2016-09-06 00:18:32
213
转载 hadoop-2.6分布式集群环境搭建
1.背景 上篇记录了hadoop的核心配置和zookeeper的基本配置，这篇将我的配置记录下，包括启动过程的总结！简单的分布式环境搭建了四遍，也算是懂些了皮毛，总算是可以启动了！我的运行环境这里不在详述。还是声明一点，所有的均是在root用户下完成的！2.Hadoop 配置 2.1 etc/hadoop 目录下 先进入 该目录下
2016-09-04 22:34:10
330
转载 zookeeper3.4.6集群部署
在安装Zookeeper之前，首先需要确保的就是主机名称(可选)、hosts都已经更改，并且JDK成功安装。 1、安装Zookeeper使用命令“tar -zxvf”命令将gz压缩文件解压。笔者Zookeeper的安装目录为：“/home/hadoop”，解压后的Hadoop目录为/home/hadoop/zookeeper-3.4.6”，最好确保Master、Slave1
2016-09-04 19:11:24
214
转载 hdfs原理
在配置hbase集群将 hdfs 挂接到其它镜像盘时，有不少困惑的地方，结合以前的资料再次学习; 大数据底层技术的三大基石起源于Google在2006年之前的三篇论文GFS、Map-Reduce、 Bigtable，其中GFS、Map-Reduce技术直接支持了Apache Hadoop项目的诞生，Bigtable催生了NoSQL这个崭新的数据库领域，由于map-Reduce处理框架高延时的缺陷
2016-09-04 15:55:38
446
转载 hdfs 机架感知
client 向 Active NN 发送写请求时，NN为这些数据分配DN地址，HDFS文件块副本的放置对于系统整体的可靠性和性能有关键性影响。一个简单但非优化的副本放置策略是，把副本分别放在不同机架，甚至不同IDC，这样可以防止整个机架、甚至整个IDC崩溃带来的错误，但是这样文件写必须在多个机架之间、甚至IDC之间传输，增加了副本写的代价，是否有较优的方案来解决这个问题呢？目录：
2016-09-04 15:53:59
661
转载 hadoop HA原理
hadoop2.X ha 原理:hadoop2.x之后，Clouera提出了QJM/Qurom Journal Manager，这是一个基于Paxos算法实现的HDFS HA方案，它给出了一种较好的解决思路和方案,示意图如下：基本原理就是用2N+1台 JN 存储EditLog，每次写数据操作有大多数（>=N+1）返回成功时即认为该次写成功，数据不会丢失了。当然这个算法所能容忍的是最多有
2016-09-04 15:50:30
730
原创 Linux 下 vi命令使用
插入模式1. 进入插入模式在编辑模式下正确定位光标之后，可用以下命令切换到插入模式：i 在光标左侧输入正文a 在光标右侧输入正文o 在光标所在行的下一行增添新行O 在光标所在行的上一行增添新行I 在光标所在行的开头输入正文A
2016-09-03 12:22:19
255
原创 Ubuntu 16.04主机之间ssh免密码登录
我有两台主机分别IP分别是：192.168.48.131和192.168.48.132，现在需要从131的机器上免密码登录到132的机器上1、分别安装ssh：sudo apt-get install ssh2、在131的机器上生成公钥和私钥，输入命令，提示直接按enter就行了 ssh-keygen -t rsacd ~/.ssh就会发现多了如下文件3
2016-08-19 13:00:13
15808
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人