- 博客(33)
- 收藏
- 关注
RSS订阅原创 修改maven默认仓库（即repository）的路径
原文链接：https://blog.csdn.net/ideality_hunter/article/details/53006188 简要说明：主要操作为新建仓库路径，在maven的conf目录下修改setting.xml中配置仓库路径，将该配置文件copy一份放在仓库目录下。详细说明1 在maven的安装目录下，找到conf文件夹，打开settings.xml文件，使用ctrl...
2019-03-18 08:59:36
13481
原创 job的文件split计算法则
计算切片数量和大小(注意视频中的是hadoop 2.7.3，每个版本的方法都有变动，以实际为准)List<InputSplit> splits = input.getSplits(job);切片数量选择过程 最小值(肯定>=1)：long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSi...
2019-02-11 15:56:07
607
原创 windows和linux换行规则的区别
windows和linux换行规则的区别在计算机还没有出现之前，有一种叫做电传打字机（Teletype Model 33）的玩意，每秒钟可以打10个字符。但是它有一个问题，就是打完一行换行的时候，要用去0.2秒，正好可以打两个字符。要是在这0.2秒里面，又有新的字符传过来，那么这个字符将丢失。于是，研制人员想了个办法解决这个问题，就是在每行后面加两个表示结束的字符。一个叫做"回车"(Car...
2018-12-25 16:18:39
584
原创 JAVA中的栈和堆原理
JAVA在程序运行时，在内存中划分5片空间进行数据的存储。分别是：1：寄存器。2：本地方法区。3：方法区。4：栈。5：堆。基本，栈stack和堆heap这两个概念很重要，不了解清楚，后面就不用学了。以下是这几天栈和堆的学习记录和心得。得些记录下来。以后有学到新的，会慢慢补充。 一、先说一下最基本的要点基本数据类型、局部变量都是存放在栈内存中的，用完就消失。new创建的实例化对...
2018-11-21 16:49:19
3818
1
原创 Hadoop和Spark联系与区别
谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。 解决问题的层面不一样 首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普...
2018-10-31 11:17:37
14223
原创 Azkaban是什么
1. Azkaban是什么？Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies 来设置依赖关系，这个依赖关系必须是无环的，否则会被视为无效的工作流。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界...
2018-10-29 22:23:50
11866
转载 什么是JVM？什么是JAVA？
一、什么是Java虚拟机？为什么Java被称作是“平台无关的编程语言”？Java语言的跨平台并不是指Java语言本身跨平台，而是Java源程序编译后的字节码文件的跨平台，Java程序执行过程是Java源文件编译成.class字节码文件，再由jvm翻译成不同操作平台的机器码并执行，跨平台就是在不同操作平台安装不同的jvm，而字节码文件都是一样的，这是因为jvm屏蔽所有有关操作平台的信息，字节码文...
2018-10-17 21:52:23
307
原创 大数据系列之Flume+HDFS
大数据系列之Flume+HDFS 1.资料准备 ： apache-flume-1.7.0-bin.tar.gz2.配置步骤： a.上传至用户(LZ用户mfz)目录resources下 b.解压tar -xzvf apache-flume-1.7.0-bin.tar.gz c.修改conf下 文件名 1 2...
2018-09-13 10:03:31
218
原创 ssh安全协议
1. ssh介绍SSH为Secure Shell的缩写，由 IETF 的网络工作小组（Network Working Group）所制定；SSH 为建立在应用层和传输层基础上的安全协议。SSH是目前可靠的，专为远程登录会话和其他网络服务提供安全性的协议。常用于远程登录，以及用户之间进行资料拷贝。利用SSH协议可以有效防止远程管理过程中的信息泄露问题使用SSH服务，需要安装相应的服务器和...
2018-09-07 17:01:33
638
原创 Integer和int的详细比较
Integer与int的区别我们耳熟详的有两点：1.Integer是int的包装类。2.Integer的默认初始值是null，而int的默认初试值是0。下面通过代码进行详细比较。package com.company.others.integer;public class TestInteger { public static void main(String[] args) ...
2018-09-07 16:47:48
306
原创 Java StringBuffer 和 StringBuilder 类
当对字符串进行修改的时候，需要使用 StringBuffer 和 StringBuilder 类。和 String 类不同的是，StringBuffer 和 StringBuilder 类的对象能够被多次的修改，并且不产生新的未使用对象。StringBuilder 类在 Java 5 中被提出，它和 StringBuffer 之间的最大不同在于 StringBuilder 的方法不是线程安...
2018-09-04 14:37:34
100
原创 hadoop权威指南学习(一) - 天气预报MapReduce程序的开发和部署
看过Tom White写的Hadoop权威指南(大象书)的朋友一定得从第一个天气预报的Map Reduce程序所吸引，殊不知，Tom White大牛虽然在书中写了程序和讲解了原理，但是他以为你们都会部署了，这里轻描淡写给带过了，这样就给菜鸟们留了课题，其实在跑书中的程序的时候，如果没经验，还是会踩坑的。这里笔者就把踩过的坑说一下，以防后来人浪费时间了。1. 首先，你得下载书中的nc...
2018-09-03 10:52:58
820
4
转载 深入理解Java的接口和抽象类
对于面向对象编程来说，抽象是它的一大特征之一。在Java中，可以通过两种形式来体现OOP的抽象：接口和抽象类。这两者有太多相似的地方，又有太多不同的地方。很多人在初学的时候会以为它们可以随意互换使用，但是实际则不然。今天我们就一起来学习一下Java中的接口和抽象类。下面是本文的目录大纲： 一.抽象类 二.接口 三.抽象类和接口的区别 若有不正之处，请多多谅解并欢迎批评指正，...
2018-08-29 22:11:20
130
原创 Java 多态 ——一个案例 彻底搞懂它
最近，发现基础真的hin重要。比如，Java中多态的特性，在学习中就是很难懂，比较抽象的概念。学的时候就犯糊涂，但日后会发现，基础在日常工作的理解中占有重要的角色。下面，我将用一个代码实例，回忆和巩固多态的概念和存在的意义。理解多态，是面向对象编程的重要一步。先来个热身，看下图在mian函数调用的时候，1和2的不同。2就是用了多态的思维，这是最最简单的小栗子。an相当于一个引用（类型），但...
2018-08-20 15:11:59
1891
2
转载 Maven是什么
我记得在搞懂maven之前看了几次重复的maven的教学视频。不知道是自己悟性太低还是怎么滴，就是搞不清楚，现在弄清楚了，基本上入门了。写该篇博文，就是为了帮助那些和我一样对于maven迷迷糊糊的人。有福了，看完基本上你就会发现原来这么简单。 参考博文：通俗理解maven 该篇文章篇幅很长，大概的思路如下 maven的介绍，初步认识，获取jar包...
2018-08-19 16:32:39
177
转载 经典面试题 static静态代码块 构造函数 构造代码块 main方法 父类执行顺序
在看static关键字的时候看到了一个有关 static块 构造函数 main方法 父类的执行顺序的问题，之前面试的时候投机取巧给背了下来 也没理解清楚，今天又拿来分析了下，从jvm上分析这个问题public class Test extends Base{ //静态代码块 static{ System.out.println("test static"); ...
2018-08-09 15:32:21
734
转载 Java中的static关键字解析
static关键字是很多朋友在编写代码和阅读代码时碰到的比较难以理解的一个关键字，也是各大公司的面试官喜欢在面试时问到的知识点之一。下面就先讲述一下static关键字的用法和平常容易误解的地方，最后列举了一些面试笔试中常见的关于static的考题。以下是本文的目录大纲： 一.static关键字的用途 二.static关键字的误区 三.常见的笔试面试题一.static关键字的用...
2018-08-02 16:49:09
116
转载 CAP原则(CAP定理)、BASE理论
CAP原则又称CAP定理，指的是在一个分布式系统中， Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），三者不可得兼。 CAP原则是NOSQL数据库的基石。Consistency（一致性）。 Availability（可用性）。Partition tolerance（分区容错性）。分布式系统的CAP理论：理论首先...
2018-07-30 17:18:48
202
转载 保证分布式数据一致性的6种方案
问题的起源在电商等业务中，系统一般由多个独立的服务组成，如何解决分布式调用时候数据的一致性？ 具体业务场景如下，比如一个业务操作，如果同时调用服务 A、B、C，需要满足要么同时成功；要么同时失败。A、B、C 可能是多个不同部门开发、部署在不同服务器上的远程服务。在分布式系统来说，如果不想牺牲一致性，CAP 理论告诉我们只能放弃可用性，这显然不能接受。为了便于讨论问题，先简单介绍下数据一...
2018-07-30 17:17:07
13551
转载 teradata体系架构简介(一)
teradata是业界知名MPP架构的数据库。简单理解MPP即这样的系统由多个物理上独立的节点通过高速网络互联组成的一个相互协同工作的大规模系统。从用户角度来看，用户的任务将会被透明的分割到多个节点。teradata架构： teradata架构由三个组件构成，从上图可以看出分别为PE、BYNET和AMP。上图只有一个PE但实际情况是由多个PE组成的。那么各个组件都负责什么工作呢？ PE...
2018-07-26 11:21:55
12177
1
转载 Java中字符串string属于什么数据类型？
（1）首先给出数据类型的分类（2）Java数据类型在内存中的存储：1）基本数据类型的存储原理：所有的简单数据类型不存在“引用”的概念，基本数据类型都是直接存储在内存中的内存栈上的，数据本身的值就是存储在栈空间里面，而Java语言里面八种数据类型是这种存储模型；2）引用类型的存储原理:引用类型继承于Object类（也是引用类型）都是按照Java里面存储对象的内存模型来进行数据存储的，使用...
2018-07-19 10:21:51
53745
转载 Java类和对象 详解（二）(转载)
上一篇Java类和对象 详解（一）讲解了类和对象的基本概念，定义和使用，以及对象引用传递的初步分析，下面接着来讲其他内容。一、面向对象的封装性封装(encapsulation)又叫隐藏实现(Hiding the implementation)。就是只公开代码单元的对外接口，而隐藏其具体实现。比如手机，手机的键盘，屏幕，听筒等，就是其对外接口。你只需要知道如何按键就可以使用手机，而不需要了解...
2018-07-06 11:18:23
196
转载 学习Hadoop需要哪些预备知识？Java是否必须会？（转载）
零基础学习hadoop,没有想象的那么困难，也没有想象的那么容易。从一开始什么都不懂，到能够搭建集群，开发。整个过程，只要有Linux基础，虚拟机化和java基础，其实hadoop并没有太大的困难。下面整理一下整个学习过程，给大家一个参考。首先我们要了解hadoop是什么?Hadoop能够做什么?Hadoop的使用场景是什么?Hadoop和大数据、云计算的关系是什么?如何使用hadoop?当大家对...
2018-07-05 16:55:18
3565
转载 Java类和对象 详解（一）(转载)
一、面向对象简述面向对象是一种现在最为流行的程序设计方法，几乎现在的所有应用都以面向对象为主了，最早的面向对象的概念实际上是由IBM提出的，在70年代的Smaltalk语言之中进行了应用，后来根据面向对象的设计思路，才形成C++，而由C++产生了Java这门面向对象的编程语言。但是在面向对象设计之前，广泛采用的是面向过程，面向过程只是针对于自己来解决问题。面向过程的操作是以程序的基本功能实现为主，...
2018-07-04 10:44:26
4770
1
原创 gzip和zcat压缩指令
gzip：是目前应用最广的压缩命令，可以解开compress/zip/gzip等软件压缩的文件。gzip [-cdtv#] filename参数：案例：复制文件manpath.configu8064179:dwhdld1 > [/tmp]$ cp /etc/manpath.config ~/tmp压缩$ gzip -v manpath.configmanpath.config: 76.2%...
2018-06-29 11:19:17
1264
转载 linux中PATH环境变量的作用和使用方法
关于PATH的作用：PATH说简单点就是一个字符串变量，当输入命令的时候LINUX会去查找PATH里面记录的路径。比如在根目录/下可以输入命令ls,在/usr目录下也可以输入ls,但其实ls这个命令根本不在这个两个目录下，事实上当你输入命令的时候LINUX会去/bin,/usr/bin,/sbin等目录下面去找你此时输入的命令，而PATH的值恰恰就是/bin:/sbin:/usr/bin:……。其...
2018-06-07 11:08:20
1310
转载 Python获取当前时间及格式化
取得时间相关的信息的话，要用到python time模块,python time模块里面有很多非常好用的功能，你可以去官方文档了解下，要取的当前时间的话，要取得当前时间的时间戳，时间戳好像是1970年到现在时间相隔的时间。你可以试下下面的方式来取得当前时间的时间戳：import timeprint time.time()输出的结果是：1357723206.31但是这样是一连串的数字不是我们想要的结...
2018-06-07 11:02:11
4750
转载 Linux 系统目录结构
登录系统后，在当前命令窗口下输入命令： ls / 你会看到如下图所示:树状目录结构：以下是对这些目录的解释：/bin：bin是Binary的缩写, 这个目录存放着最经常使用的命令。/boot：这里存放的是启动Linux时使用的一些核心文件，包括一些连接文件以及镜像文件。/dev ：dev是Device(设备)的缩写, 该目录下存放的是Linux的外部设备，在Linux中访问设备的方式和访问文件的方...
2018-06-07 11:01:43
113
原创 Python 100例 3
# -*- coding:utf-8 -*-#题目3：一个整数，它加上100后是一个完全平方数，再加上168又是一个完全平方数，请问该数是多少？# 程序分析：# 假设该数为 x。# 1、则：x + 100 = n2, x + 100 + 168 = m2# 2、计算等式：m2 - n2 = (m + n)(m - n) = 168# 3、设置： m + n = i，m - n = ...
2018-06-05 17:27:26
244
原创 Python 100例 2
# -*- coding:utf-8 -*-#题目2：企业发放的奖金根据利润提成。利润(I)低于或等于10万元时，奖金可提10%；# 利润高于10万元，低于20万元时，低于10万元的部分按10%提成，高于10万元的部分，可提成7.5%；20万到40万之间时，高于20万元的部分，可提成5%；# 40万到60万之间时高于40万元的部分，可提成3%；60万到100万之间时，高于60万元的部分，可提...
2018-06-05 16:54:45
255
原创 Python 100例 1
# -*- coding:utf-8 -*-#题目1.有四个数字：1、2、3、4，能组成多少个互不相同且无重复数字的三位数？各是多少？#程序分析：可填在百位、十位、个位的数字都是1、2、3、4。组成所有的排列后再去掉不满足条件的排列。num=[]for a in range(1,5): for b in range(1,5): for c in range(1,5)...
2018-06-05 16:48:13
239
转载 在文本每一行的行首和行尾都插入特定的相同字符或文本
这个问题也可以说成是如何在长文本每一行的前面和后面都插入特定的相同字符或文本？例如原始txt文档为：1234床前明月光，疑是地上霜。举头望明月，低头思故乡。 要在每一行的前面和后面都插入特定的相同字符或文本，就要变成如下效果：1234123abc 床前明月光， 456xyz123abc 疑是地上霜。 456xyz123abc 举头望明月， 456xyz123abc 低头思故乡。 456xyz 这个...
2018-06-05 14:53:28
16876
1
原创 根据ETL报错的信息，用Python从源文件中提取出错误的内容
# -*- coding:utf-8 -*-#标准代码import linecache#lines存储错误的行lines=[] #错误行，字符串形式列表error_lines=[] #错误行，不包括首行int_lines=[] #错误行，整数形式列表，不包括首行error_lines_file_path=r'C:\Users\yawei.chen\Desktop\Puck\P...
2018-06-05 14:47:49
322
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人