最好的时光就是我-CSDN博客

原创 numpy矩阵基本操作总结

import numpy as np;import math;#构造矩阵m = np.mat([[1,2,3,4],[2,2,3,4],[3,2,3,4],[4,2,3,4]]);print(m);#取第i行,从0开始计数row1 = m[0];print(row1);#取[i,j]元素,从0开始计数,如果是：这种形式那么是从i开始包含i,到j截至不包含jitem1 = m[0, 1

2017-11-18 15:01:43 528

原创 java实现各种排序算法

主要实现了插入，冒泡，选择，归并，快速排序，平均时间复杂度和最坏时间复杂度情况如下表：【百度找的】代码如下：package cn.com.cnn;//从小到大的顺序public class MySort { public static void main(String[] args) { int[] data = {3, 6, 4, 1, 5, 2};

2017-09-20 19:21:38 244

原创 Java实现二叉树基本操作

总结了下二叉树的基本操作。创建二叉查找树先序遍历二叉树（递归）先序遍历二叉树（栈）中序遍历二叉树（递归）中序遍历二叉树（栈）后序遍历二叉树（递归）后序遍历二叉树（栈）宽度优先遍历二叉树（队列）利用二分法查找指定节点获得二叉查找树的最小值删除指定节点源码如下：package cn.com.cnn;imp

2017-09-16 22:06:55 706

转载 java实现链表基本操作

在看剑指offer的时候看到有关链表基本操作的考点，想总结一下，基本是参考http://blog.csdn.net/kerryfish/article/details/24043099文章实现的，对于该文章中的方法进行了编写，测试，修改了其中几个问题。源码如下package cn.com.cnn;import java.util.Stack;public class ListSum { pu

2017-09-13 22:23:44 461

原创用Java实现将一个字符串中的空格换成%20

package cn.com.cnn;public class Replace { public String replaceMethod(String oldStr) { String newStr = oldStr.replace(" ", "%20"); return newStr; } public String replaceMyMetho

2017-09-07 16:39:38 3688

原创 Integer的==判断问题

Integer的==判断问题在高版本jdk中，int可以自动装箱成Integer，亦可自动拆箱。在使用==判断两个Integer类型是否相等时，假定Integer a，b和c （c = a + b），有以下几个规则总结：：数值范围在-128-127之间，a == b 判定为true。 JVM会自动维护八种基本数据类型的常量池，Integer维护的数据范围是-128~127，自动装箱实际上是从常量

2017-08-21 16:50:40 1013

转载序列化和反序列化

摘要　　序列化和反序列化几乎是工程师们每天都要面对的事情，但是要精确掌握这两个概念并不容易：一方面，它们往往作为框架的一部分出现而湮没在框架之中；另一方面，它们会以其他更容易理解的概念出现，例如加密、持久化。然而，序列化和反序列化的选型却是系统设计或重构一个重要的环节，在分布式、大数据量系统设计里面更为显著。恰当的序列化协议不仅可以提高系统的通用性、强健性、安全性、优化系统性能，而且会让系

2017-04-24 10:08:23 354

转载 HDFS,YARN,HBASE,ZOOKEEPER主要默认端口

Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper。组件Daemon端口配置说明

2017-03-17 15:06:53 1823

1.主节点运行良好，两个regionserver连不上，查看regionserver的log后发现问题是：2017-03-17 14:42:12,581 FATAL [regionserver/node3/192.168.11.96:16020] regionserver.HRegionServer: Master rejected startup because clock is out of s

2017-03-17 15:04:03 866

原创启动Alluxio：Could not create ServerSocket on address /0.0.0.0:19998

启动alluxio时遇到的问题

2017-03-10 10:43:55 632 1

转载 Tachyon：Spark生态系统中的分布式内存文件系统

Tachyon是Spark生态系统内快速崛起的一个新项目。本质上， Tachyon是个分布式的内存文件系统，它在减轻Spark内存压力的同时，也赋予了Spark内存快速大量数据读写的能力。Tachyon把内存存储的功能从Spark中分离出来，使Spark可以更专注计算的本身，以求通过更细的分工达到更高的执行效率。本文将先向读者介绍Tachyon在Spark生态系统中的使用，也将分享百度在

2017-03-07 15:12:16 310

原创在eclipse上搭建mapreduce开发环境及运行wordcount

1.先说明我的实验环境：win7,eclipse版本是Neon.2 Release (4.6.2),hadoop2.7.3部署在1master，3slave的集群上2.需要下载winutils.exe和hadoop-eclipse-plugin-2.7.3.jar,下载地址是点击打开链接3.找到eclipse根目录下的plugins目录，将下载好的hadoop-eclipse-

2017-02-08 17:24:38 10139

原创 HDFS的命令行操作及可视化

想在这里把一些自己用过常用的操作练习，总结一下备忘。其实基本上是是linux命令的一部分，这部分命令和linux中的用法基本一致。在使用时可以用$bin/hadoop fs来全部列出查看或者学习。 1. $bin/hadoop fs -ls path //列出目录下文件 2. $bin/hadoop fs -mkdir path //创建目录 3. $bin/hadoop fs -rm path

2017-02-08 17:19:17 4453

转载 hadoop完全分布式环境搭建

在服务器上搭建完全分布式环境，就是按照下面的教程来的，很顺利。写的很好，留着备用。转载请注明来自：http://blog.csdn.net/ab198604/article/details/8250461 要想深入的学习Hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，可以将hadoop简化地想象成一个小软件，通过在各个物理节点上安装这

2017-01-20 12:24:15 337

原创 hive安装-构建在hadoop上的数据仓库

1.安装* 解压官网下载的安装包 tar -xvf apache-hive-2.1.0.tar.gz* vim /etc/profile* 文件结尾处添加 * export $HIVE_HOME=/usr/lib/apache-hive-2.1.0 * export $PATH=$PATH:$HIVE_HOME/bin* source /etc/profile使配置文件

2016-12-08 18:05:19 580

原创 hadoop安装

主要分为以下两个部分： - 单机安装 - 集群安装首先记录单机安装1. 环境说明。vmware虚拟机，centos7 64位2. Java安装。Hadoop安装需要Java，centos自带的是openjdk，但使用最广的是sunjdk。所以需要先卸载openjdk，再安装sunjdk。 1. 查看当前安装的jdk:$yum list installed | grep java

2016-12-06 12:17:33 285

原创 vim操作[个人备忘]

/ root目录 ~ 用户家目录一般模式：移动光标。i.o.a.r按键进入命令模式。按：q退出，：wq保存退出，加！强制执行以上操作1. 箭头上下左右移动光标，下移30行-------30下箭头2. Ctrl+F=pagedown ctrl+b= pageup 3. n<space>光标向右移动n个空格4. 0=home $=end5. +=光标移动到非空格符的

2016-12-02 17:13:07 263

原创 mysqli的初步学习

/*mysqli 面向对象*//*连接数据库*/$mysqli=new mysqli($host,$username,$password,$db);if($mysqli->connect_errno){echo $coon->connect_error;}/*增删改查*/$query="sql增删改查语句";$result=$mysqli->quer

2015-12-01 14:21:10 271

Mr.Cai