muyang_muzi-CSDN博客

原创 Windows 7 64位系统上搭建Hadoop伪分布式环境（很详细）

题目hadoop jar /D:\Application\hadoop-2.7.4\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.7.4.jar wordcount \t1 \output

2018-08-22 20:26:21 4754 5

原创 Hadoop大数据应用生态圈中最主要的组件及其关系

Hadoop CommonHadoop Common是在Hadoop0.2版本之后分离出来的HDFS和MapReduce独立子项目的内容，是Hadoop的核心部分，能为其他模块提供一些常用工具集，如序列化机制、Hadoop抽象文件系统FileSystem、系统配置工具Configuration，并且在为其平台上的软件开发提供KPI等。其他Hadoop子项目都是以此为基础而建立来的。...

2018-03-31 19:11:22 9258

原创 Hashmap按键或值排序

import java.util.ArrayList;import java.util.Collections;import java.util.Comparator;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Map.Entry;public class

2017-03-23 09:17:23 728

原创找零钱问题

最近在做华为机试体验题，遇到一个“找零钱”的题目，如下想起之前在牛客网上看到左程云老师讲过的动态规划问题，很像，题目如下：有数组penny，penny中所有的值都为正数且不重复。每个值代表一种面值的货币，每种面值的货币可以使用任意张，再给定一个整数aim(小于等于1000)代表要找的钱数，求换钱有多少种方法。给定数组penny及它的大小(小于等于50)，同时给定一个整数ai

2016-08-10 21:30:49 1251

原创 Java抽象类和接口

在面向对象中，所有的对象都是用类来描述的，但是并不是多有的类都可以描述所有对象，如果一个类没有包含足够的信息来描绘一个具体的对象，这样的类就是抽象类。抽象类除了不能实例化对象之外，类的其他功能都在，成员方法、成员变量和构造方法都是可以存在的。抽象类必须被继承才能被使用。抽象类使用abstract class来定义抽象类。public abstract class Employe

2016-08-04 23:00:16 612

原创 Java多态

多态是同一个行为具有不同表现形式或形态的能力。多态是对象多种表现形式的体现。必须具备以下三个条件才能谈多态：继承重写父类引用指向子类对象例如：Parent p = new Child();当使用多态方式条用方法时，首先检查父类中是否有该方法，如果没有，则编译错误；如果有，再去调用子类的同名方法。（注意此处，静态static方法属于特殊情况，静态方法只能继承，不能重写O

2016-08-04 11:37:32 435

原创 Java重写和重载

重写（Override）重写是子类重写父类的方法，如果重写了父类的方法，访问时父类的方法就会被覆盖，如果想要再访问父类的同名方法，要用super关键字。重写的好处在于子类可以根据自己的需要，定义特定于自己的行为。重写的规则参数列表必须与被重写的方法完全相同返回类型必须与被重写的方法的返回类型完全相同访问权限不能比父类的访问权限更低。例如，父类的一个方法被声明为public，

2016-08-04 11:04:40 450

原创 Java异常处理

异常发生的原因有很多：用户输入了非法数据要打开的文件不存在网络通信时连接中断，或者JVM内存溢出有三种类型的异常：检查性异常：最具代表性的异常是用户错误或问题引起的异常，这是程序员无法预见的。例如要打开一个不存在文件时，一个异常就发生了，这些异常在编译时不能被简单地忽略。运行时异常：是可以避免的异常，在编译时被忽略。错误：错误不是异常，而是脱离程序员控制的问题，错误在代

2016-08-03 22:49:49 330

原创 Java修饰符

Java的修饰符主要分为：访问修饰符，非访问修饰符。通常用来定义类、方法或变量，通常放在语句的最前端。访问控制修饰符Java中，可以使用访问控制符来保护类、变量、方法和构造方法的访问。Java支持4种不同的权限访问。默认的，也称为default，在同一包内可见，不使用任何修饰符；私有的，以private修饰符指定，在同一类内可见；共有的，以public修饰符指定，对所有类可见；

2016-08-03 12:23:38 347

原创 Java变量类型

所有的变量在使用前必须声明。type identifier [ = value][, identifier [= value] ...] ;格式说明：type是数据类型，identifier是变量名，可以使用逗号隔开来声明多个同类型变量。一下列出一些变量的声明实例，有些包含了初始化过程。int a, b, c; // 声明三个int型整数：a、 b、cint d =

2016-08-02 10:47:25 511

原创 Java基本数据类型

变量就是申请内存来存储值。也就是说，当创建变量的时候，需要在内存中申请空间。内存管理系统根据变量的类型为变量分配存储空间，分配的空间只能用来储存该类型数据。因此，通过定义不同类型的变量，可以在内存中储存整数、小数或字符。 Java的两大数据类型：内置数据类型引用数据类型内置数据类型有八种基本类型，六种数字类型（四个整数型（byte：8位，short：16位，int：32位，lon

2016-08-02 09:39:31 417

原创面向对象技术

面向对象和面向过程的区别出发点不同。面向对象强调问题域的要领直接映射到对象和对象之间的接口上，是用符合常规思维的方式来处理客观世界的问题。面向过程方法强调的则是过程的抽象化和模块化，是以过程为中心构造或处理客观世界问题的。层次逻辑关系不同。面向对象方法以对象的集合类作为处理问题的基本单位。面向对象方法是用类的层次结构来体现类之间的继承和发展。用计算机逻辑来模拟现实世界中的物理存在。

2016-07-30 22:48:49 402

原创 Java基础语法

一个程序可以认为是一系列对象的集合，而这些对象通过调用彼此的方法来协同工作。对象：对象是类的一个实例，有状态和行为。例如，一条狗是一个对象，它的状态有：颜色、名字、品种；行为：摇尾巴、叫、吃等。类：类是一个模板，它描述一类对象的行为和状态。方法：方法是行为，一个可以有很多方法。逻辑运算、数据修改以及所有动作都是在方法中完成的。实例变量：每个对象都有独特的实例变量，对象的状态由这些实例变量的值

2016-07-30 12:07:44 415

原创直接插入排序

直接插入排序的基本操作是讲一个记录插入到已经排好序的有序表中，从而得到一个新的、记录数增1的有序表。下面演示了对4个元素进行直接插入排序的过程，共需要(a),(b),(c)三次插入。想象一下打牌的时候按顺序整理手牌，同花顺啥的。【找到一个合适的位置】public class StraightInsertionSort { public int[] insertSor

2016-07-28 23:02:20 356

原创简单选择排序算法

简单选择排序思想：首先，找到数组中最小的元素，其次，将它和数组第一个元素交换位置；再次，在剩下的元素中找到最小的元素，将它与数组中的第二个元素交换。如此亡故，直到将整个数组排序。这种方法叫做选择排序，因为它在不断地选择剩余元素之中的最小者。先说看每步的状态变化,后边介绍细节,现有无序数组[6 2 4 1 5 9]第一趟找到最小数1,放到最前边(与首位数字交换)交换前

2016-07-28 21:22:55 599

原创经典冒泡排序及其优化

经典排序算法 - 冒泡排序Bubble sort原理是临近的数字两两进行比较,按照从小到大或者从大到小的顺序进行交换，这样一趟过去后，最大或最小的数字被交换到了最后一位，然后再从头开始进行两两比较交换,直到倒数第二位时结束，其余类似，看例子。例子为从小到大排序，为了便于观察，选取原始待排序数组：| 6 | 2 | 4 | 1 | 5 | 9 |第一趟排序(外循环)

2016-07-28 17:59:58 407

原创从上到下逐层打印一棵树

public class TreePrinter {public ArrayList<Integer> PrintFromTopToBottom(TreeNode root) { ArrayList<Integer> list = new ArrayList<Integer>(); if (root == null) { return list; }

2016-07-25 21:45:31 2155

原创计算机网络知识整理

OSI七层物理层、数据链路层、网络层、传输层、会话层、表示层、应用层。物理层涉及信道上传输的比特流。数据链路层的主要任务是加强物理层传输原始比特流的功能，是指对应的网路层显现为一条无错线路。发送包把数据封装在数据帧，按顺序传送出去并处理接收方会送的确认帧。网络层关系到子网的运行控制，其中一个关键问题是确认从源端到目的算如何选择路由。传输层的基本功能是从会话层接收数据而且把其分成较小的

2016-07-22 09:08:47 474

作业用户在一次解题或一个事务处理过程中要求计算机系统所做工作的集合。它包括用户程序、所需要的数据及控制命令等。作业是由一系列有序的步骤组成的。进程一个程序在一个数据集合上的一次运行过程。所以一个程序在不同数据集合上运行，乃至一个程序在同样数据集合的多次运行都是不同的进程。线程线程是进程中的一个实体，是被系统独立调度和执行的基本单位。进程和线程的区别进程是程序的一次执行。线程可以理解为进程中执行的一段

2016-07-19 22:03:36 1106

原创回归分析

回归分析是建模和分析数据的重要工具。本文解释了回归分析的内涵及其优势，重点总结了应该掌握的线性回归、逻辑回归、多项式回归、逐步回归、岭回归、套索回归、ElasticNet回归等七种最常用的回归技术及其关键要素，最后介绍了选择正确的回归模型的关键因素。什么是回归分析？回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量

2016-07-19 19:47:06 1478

原创软件测试知识整理

在一个测试计划汇总能包含哪些内容？答：在一个测试计划中可以包含需要测试的产品的特点和主要功能模块，列出需要测试的功能点，并标明侧重点；测试的策略和记录（测试工具的确认，测试用例等文档模板，测试方法的确定）；测试资源配置（确定测试每一阶段的任务和所需资源）。黑盒测试是功能测试的一种，由测试人员进行，只要验证产品是否符合需求设计的要求。主要方法有：边界值测试健壮性测试最坏情况测试特殊值测

2016-07-06 22:36:43 408

原创 Java的几个特点

Java语言是简单的： Java语言的语法与C语言和C++语言很接近，使得大多数程序员很容易学习和使用。另一方面，Java丢弃了C++中很少使用的、很难理解的、令人迷惑的那些特性，如操作符重载、多继承、自动的强制类型转换。特别地，Java语言不使用指针，而是引用。并提供了自动的废料收集，使得程序员不必为内存管理而担忧。 Java语言是面向对象的： Java语言提供类、接口和继承等原语，为了简单

2016-07-06 22:18:14 637

原创数据挖掘工程师的面试问题与答题思路

一个Java程序可以认为是一系列对象的集合，而这些对象通过调用彼此的方法来协同工作。下面简要介绍下类、对象、方法和实例变量的概念。对象：对象是类的一个实例，有状态和行为。例如，一条狗是一个对象，它的状态有：颜色、名字、品种；行为有：摇尾巴、叫、吃等。类：类是一个模板，它描述一类对象的行为和状态。方法：方法就是行为，一个类可以有很多方法。逻辑运算、数据修改以及所有动作都是在方法中完成的。实例变

2016-06-22 22:23:12 8230

原创大话数据结构——查找

查找（Searching）是根据给定的某个值，在查找表中确定一个其关键字等于给定值的数据元素（或记录）。一、顺序表查找顺序查找又叫线性查找，是最基本的查找技术，它的查找过程是：从表中第一个（或最后一个）记录开始，逐个记性记录的关键字和给定值比较，若某个记录的关键字和给定值相等，则查找陈宫，找到所查的记录；如果直到最后一个（或第一个）记录，其关键字和给定值比较都不等时，则表中没有所查的记录，查找不成功

2016-06-16 11:35:59 630

原创大话数据结构——图

图（Graph）是由定点的又穷非空集合和顶点之间边的集合组成，通常表示为：G（V,E），其中，G表示一个图，V是图G中顶点的集合，E是图G中边的集合。一、各种图的定义图按是否有方向分可分为有向图和无向图。有向边用尖括号“<>”表示，无向边用小括号“（）”表示。简单图：无环无重复边。我们以下讨论的都是简单图。无向完全图：任意两个顶点之间都存在边。含有n个顶点的无向完全图有n*（n-1）/2

2016-06-14 16:31:03 1531

原创大话数据结构——树

一、树的定义**树（Tree）是n（n>=0）个结点的有限集。**n=0又称为空树。在任意一课非空的树中：（1）有且仅有一个特定的称为跟（Root）的结点；（2）当n>1时，其余结点可分为m（m>0）个互不相交的有限集，其中每一个集合本身又是一棵树，并且称为根的子树（SubTree）。树是一种一对多的数据结构。需要注意的是：（1）当n>0时根结点是惟一的，不可能存在多个根结点。（2）

2016-06-13 17:51:36 7165

原创大话数据结构——串

串（string）是由零个或多个字符组成的有限序列，又名字符串。字符串有很多函数，replace、ToUpper、ToLower（转小写）、Trim（去掉两边空格）、IndexOf（从左到右查找子串的位置）、SubString、SubLength等等。一、串的存储结构串的存储结构与线性表相同，分为顺序存储结构和链式存储结构。 1. 顺序存储结构串的顺序存储结构是用一组地址连续的存储单元来存

2016-06-12 11:46:22 1351 1

原创大话数据结构—栈与队列

栈一、栈的定义栈是(stack)是限定尽在表尾进行插入和删除操作的线性表。栈又称为后进先出（Last In First Out）的线性表，简称LIFO结构。二、进栈出栈变化形式注意：并不是最新进栈的元素只能最后处栈。如，我们现在有三个元素一次进栈，次序会有以下5种： 1. 1、2、2进，再3、2、1出，出栈次序为321； 2. 1进，1出，2进，2出，3进，3出，出栈次序为123； 3.

2016-06-09 12:07:19 888

原创用户画像

用户画像：标签化、用标签描述用户行为用户画像：动态信息数据用户行为产生的数据：注册、浏览、点击、购买、签收、评价比较重要的行为：购买商品、浏览商品、放入购物车、关注商品用户画像的用途：分类统计，数据挖掘，营销推荐模型算法性别模型用户忠诚度模型疑似马甲模型：马甲指一个用户注册多个账号用户购物类型模型用户身高尺码模型手机相关标签：对手机相关标签参考意义比较大；手机品牌、

2016-06-06 23:05:07 1295

原创 Linux简介

一、Linux发展史 1991年出现Linux，之前有个玩意叫Minus，用于教学的。Linux有内核版本和发行版本（企业字内核版本的基础上加入自己的理解），内核版本更加标准。二、开源软件简介 Aphache（网站服务搭建软件）、Nginx、Mysql、mongoDB、python、samba、Ruby 使用的自由：绝大多数开源软件免费；研究的自由：可以获得软件源代码；散布及改良的自由

2016-06-06 11:25:35 362

原创 HIVE入门

Hive概述什么是 Hive？ * Hive 是建立在 Hadoop HDFS 上的数据库仓库基础建构 * Hive 可以用来进行数据库提取转化加载（ETL） * Hive 定义了简单的类似 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据 * Hive 允许熟悉 MapReduce 的开发者自定义 mapper 和 reducer 来处理内建的 mapper 和 redu

2016-06-05 11:41:20 830

原创 Hadoop 大数据平台架构与实践

初识HadoopHadoop是一个开源的分布式存储+分布式计算平台。Hadoop核心组成部分：HDFS：分布式文件系统，存储海量的数据。MapReduce：并行处理框架，实现任务分解和调度。Hadoop可以用来做什么？搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务。Hadoop优势：高扩展、低成本（不依赖高端硬件，只需要PC机就可以实现）、成熟的生态圈（开源、有很多衍生的小工具

2016-06-05 10:26:28 1007

原创大数据基础技术和应用

大数据概述数据的表现形式：线下数据信息化：数据库、文字记录、照片……互联网-移动互联网：网页数据、用户行为记录、数字图像……传感器：设备监控、智能家居、摄像头……大数据的4V特征：大量化（Volume）：存储量大、增量大；多样化（Variety）：来源多、格式多；快速化（Velocity）：高速数据I/O；价值密度低（Value）大数据基础技术一、工程技术Hadoop介绍Hadoo

2016-06-04 12:04:47 2623

原创将visio的图片插入latex（png格式转换成eps格式图片）

EPS和PDF转换工具：http://www.xdowns.com/tag.asp?keyword=EPS%D7%AApdf 这个软件亲测可以转换，但是，仍然不能插入latex中，就像之前曾尝试强制改变后缀名转成eps一样，效果是不佳的。楼主的图是在visio上画的，先另存为png格式的图片，再在线转成eps http://www.tlhiv.org/rast2vec/ 。这个方法转换的图片是可以

2016-05-31 20:38:29 1671

原创大话数据结构——算法

算法：算法是解决特定问题求解步骤的描述，在计算机中表现为指令的有限序列，并且每条指令表示一个或多个操作。为什么把数据结构和算法一起说？想想罗密欧与朱丽叶，梁山伯和祝英台，少了一个你总会觉得奇怪吧。算法的五个基本特性：输入：有0个或多个输入；输出：有1个或多个输出；有穷性：步骤有限，不能无穷循环下去；确定性：有确定的含义，不能出现二义性；可行性：每一步都能通过有限次数完成。算法设计的要

2016-05-10 21:36:14 904

原创大话数据结构——数据结构绪论

数据：描述客观事物的符号，是计算机可以操作的对象，是能被计算机识别，并输入给计算机处理的符号集合。有两个要素：可以输入到计算机中能被计算机程序处理数据元素：组成数据的基本单位，也就是一条条数据记录。数据项：数据中不可分割的最小单位。例子：数据（人类）– 数据元素（人）– 数据项（眼耳口鼻）

2016-05-10 17:38:32 658

原创京东面试题（JAVA）

京东17号一面问题与回答情况（Java岗）作者：牛客190525号 Q1: HashMap的原理, 以及HashMap如何扩充bucket的大小 A1: 原理答上来了，如何扩容瞎答的，之前不知道扩容之后已经哈希的MapEntry如何处理，当时就说扩容后已经哈希的全部再计算并分配到新的桶里。Q2: 是否对多线程有了解 A2: 了解的不深，被项目岔开没继续问Q3: 项目中的Queue，单机容量

2016-05-03 22:51:30 15423 4

原创华为面试题

技术面试： java： java学了几年，看过什么书，有没有看过thinking in java这本书 java的公共父类是什么，object类中有什么方法 object中有个hashcode方法，这个方法是用来做什么的， equal 与 ==的区别 java反射了解吗 java clone了解吗

2016-05-03 22:46:04 1039 1

原创 Mysql优化技巧

索引优化，查询优化，查询缓存，服务器设置优化，操作系统和硬件优化，应用层面优化（web服务器，缓存）等等。这里的记录的优化技巧更适用于开发人员，都是从网络上收集和自己整理的，主要是查询语句上面的优化，其它层面的优化技巧在此不做记录。查询的开销指标：执行时间检查的行数返回的行数建立索引的几个准则：

2016-04-29 20:27:16 4259

原创 matlab实现二项分布

二项分布 1. 求n次独立重复试验中事件A恰好发生k次的概率P。命令：pdf 或 binopdf 格式：pdf (‘bino’, k, n, p) 或 binopdf (k, n, p) 说明：该命令的功能是计算二项分布中事件A恰好发生k次的概率。pdf为通用函数，bino表示二项分布，binopdf为专用函数，n为试验总次数，k为n次试验中，事件A发生的次

2016-04-22 15:13:51 26358