- 博客(113)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 Centos7安装并配置mysql5.6
安装1、下载安装包mysql-5.6.34-linux-glibc2.5-x86_64.tar 下载 2、卸载系统自带的Mariadb[root@localhost ~]# rpm -qa|grep mariadb // 查询出来已安装的mariadb [root@localhost ~]# rpm -e --nodeps 文件名 // 卸载mariadb，文件名为上述命令查询出来的文件3
2017-12-26 16:53:08
936
原创 Elasticsearch 5.6.5 基础笔记(二) - Restfull API 和 分布式特性
Restfull API请求格式curl [-u xxx] [-I] -X[HEAD|POST|DELETE|PUT|GET] '<PROTOCOL>://<HOST>:<PORT>/<PATH>?<QUERY_STRING>' [-H 'Content-Type:application/json'] -d '<BODY>'创建文档当索引一个文档的时候，文档会被存储到一个主分片中。 Elastics
2017-12-25 15:51:19
1729
原创 Elasticsearch 5.6.5 基础笔记(一) - 概念和安装
概念Elasticsearch分布式、可扩展、实时的搜索与数据分析引擎建立在全文搜索引擎库 Apache Lucene 基础之上能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据将所有的功能打包成一个单独的服务，这样你可以通过程序与它提供的简单的 RESTful API 进行通信全文搜索/结构化数据的实时统计 ES索引和Lucene索引比较一个 Lucene 索引 我们
2017-12-25 14:11:37
3552
原创 关于Hbase的一些优化
服务端优化手段1、虚拟机内存优化java -Xms256m -Xmx512m -XX:NewSize=xxm -XX:MaxNewSize=xxm-XX:+UseParNewGC //使用并行年轻代垃圾回收2、MemStore和 blockcache优化 调整MemStore限制： hbase.regionserver.global.memstore.upperLimit/lowerLimit
2017-12-15 18:57:59
565
转载 Hbase之RIT
相信长时间运维HBase集群的童鞋肯定都会对RIT（Region-In-Transition，很多参考资料误解为Region-In-Transaction，需要注意）有一种咬牙切齿的痛恨感，一旦Region处于长时间的RIT就会有些不知所措，至少以前的我就是这样过来的。正所谓“恐惧来源于未知”，不知所措意味着我们对RIT知之甚少，然而“凡事都有因果，万事皆有源头”，处于RIT状态的Region只是肉
2017-12-13 12:03:21
6266
1
原创 Ant构建hadoop工程
build.xml<project name="zdemo-hadoop-debug" basedir="." default="prepare"> <property name="myclasspath" value="/Users/zhangqingli/Documents/y/mylibs/hadoop/2.5.0/jar" /> <property name="targett
2017-11-30 13:51:06
272
原创 java远程调试
jdwp远程调试简介Java远程调试的原理是两个VM之间通过debug协议进行通信，然后以达到远程调试的目的。两者之间可以通过socket进行通信。这对于一些分布式框架（如hadoop集群、storm集群等）的远程调试非常有用！首先被debug程序的虚拟机在启动时要开启debug模式，启动debug监听程序。jdwp是Java Debug Wire Protocol的缩写。jdk1.7版本之前的方法
2017-11-30 11:48:33
1043
原创 seaborn可视化库分析库基础02 - API测试
%matplotlib inlineimport pandas as pdimport numpy as npimport seaborn as snsimport matplotlib.pyplot as pltfrom scipy import stats, integratesns.set(color_codes=True)np.random.seed(sum(map(ord, "
2017-11-23 19:57:42
809
原创 seaborn可视化库分析库基础01 - 布局、参数、色板等
Seaborn库简介Seaborn库官网 正如你所知道的，Seaborn是比Matplotlib更高级的免费库，特别地以数据可视化为目标，但他要比这一切更进一步：他解决了用Matplotlib的2个最大问题，正如Michael Waskom所说的：Matplotlib试着让简单的事情更加简单，困难的事情变得可能，那么Seaborn就是让困难的东西更加简单。用Matplotlib最大的困难是其默认的
2017-11-22 19:45:21
1923
原创 可视化分析库 matplotlib 基础01 - 基本常见API
Matplotlib库简介Matplotlib 官网 Matplotlib 可能是 Python 2D- 绘图领域使用最广泛的套件。它能让使用者很轻松地将数据图形化，并且提供多样化的输出格式。通过数据绘图，我们可以将枯燥的数字转换成容易被人们接受的图表，从而让人留下更加深刻的印象。matplotlib api 测试绘制简单的折线图import pandas as pdimport numpy a
2017-11-22 17:15:40
840
原创 mysql主备
复制概述MySQL支持三种复制方式：基于行(Row)的复制、基于语句(Statement)的复制和混合类型(Mixed)的复制。基于语句的复制早在3.23版本中就存在，而基于行的复制方式在5.1版本中才被加进来。这两种方式都是通过在主库上记录二进制日志、在备库重放日志的方式来实现异步的数据复制。混合类型的复制：默认采用基于语句的复制，一旦发现基于语句的无法精确的复制时，就会采用基于行的复制。复制通常
2017-11-02 17:26:40
608
原创 flume的安装和使用
flume简介Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目。支持在日志 系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方。Flume采用了多Master的方式，为了保证配置数据的一致性，Flume引入了ZooKeeper
2017-10-30 13:10:00
2074
原创 Hbase 数据迁移的常见方式（四）
要使用Hadoop，需要将现有的各种类型的数据库或数据文件中的数据导入HBase。一般而言，有三种常见方式：使用HBase的API中的Put方法，使用HBase 的bulk load工具和使用定制的MapReduce Job方式。本文均有详细描述。数据导入hbase的常见方法数据的来源：日志RDBMS导入的常见方法：使用hbase put API（sqoop、kettle）使用HBase的
2017-08-29 19:46:59
4212
原创 Hbase的基本简介及安装、配置、使用（一）
Hbase简介 Hbase是一个构建在HDFS之上的、分布式的、可扩展的、面向列存储的开源数据库，是google的bigtable的开源实现，适用于海量数据的存储和实时查询，是hadoop生态系统中重要的一员。以下是hbase处理数据的物理架构图：1. master-slave主从架构。2. table从竖直方向进行切割，分成若干个区域region，由各个区域服务器regionserver进
2017-08-26 18:37:52
1368
1
转载 hadoop java API（二）
HDFS java API Base首先要拷贝hadoop配置文件 和 log4j.properties 到maven项目的类路径(e.g. resources 目录)<!-- hadoop客户端依赖包--><dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId>
2017-08-25 15:55:37
407
原创 hive的基本简介及安装、配置、使用（一）
hive是什么？ 由facebook开源，用于解决海量结构化日志的数据统计； 基于hadoop的一个数据仓库工具，使用HDFS进行存储并将结构化数据文件映射成一张表，并提供类sql查询的功能，其底层采用MR进行计算； 本质是将HQL转化成MR程序。 hive架构图安装前的准备Java 1.7 (preferred)Hadoop 2.x (preferred), 1.
2017-08-23 18:34:45
5069
原创 hadoop的基本简介及安装、配置、使用（一）
大数据的特点大（大象 Volume）繁（章鱼 Variety）快（豹子 Velocity）值（淘金 Value）由谷歌的三驾马车引申出hadoopMapReduce —> Map & Reduce 计算架构GFS —> HDFS分布式文件系统bigtable —> hbase数据库hadoop的常用版本HADOOP是什么：可靠的、可扩展的、分布式计算框架。apache hadoopc
2017-08-15 21:51:13
894
原创 Mysql之sql开发技巧
如何进行行转列 场景：报表统计、汇总显示报表统计示例：create table t_amount( create_time date not null, amount float(8, 2) not null default 0);insert into t_amount values('2012-10-01', 111422.12), ('2012-10-10', 1114
2017-08-05 19:08:46
296
原创 JAVA内存模型以及垃圾回收机制
一个优秀Java程序员，必须了解Java内存模型、GC工作原理，以及如何优化GC的性能、与GC进行有限的交互，有一些应用程序对性能要求较高，例如嵌入式系统、实时系统等，只有全面提升内存的管理效率，才能提高整个应用程序的性能。本文将从JVM内存模型、GC工作原理，以及GC的几个关键问题进行探讨，从GC角度提高Java程序的性能。一、Java内存模型按照官方的说法：Java 虚拟机具有一个堆，堆是运行
2017-08-03 17:34:29
358
原创 JAVA中的线程池-Executor框架
在java中，使用线程来异步执行任务，java线程的创建与销毁需要增加一定的开销，如果我们为每一个任务创建一个新线程来执行，这些线程的创建和销毁需要耗费大量的计算资源，同时这种策略可能会使处于高负荷状态的应用最终崩溃。 Java的线程既是工作单元，也是执行机制。从JDK1.5开始，把工作单元与执行机制分离开来，工作单元包括Runnable和Callable，而执行机制由Executor框架
2017-08-03 17:20:05
464
原创 JAVA中的线程池-ThreadPoolExecutor
java中的线程池是运用场景最多的并发组件，几乎所有的异步或者并发任务的程序都可以使用线程池。在开发过程中使用线程池将会带来3个好处： 降低资源的消耗。通过反复利用已创建的线程降低线程创建和销毁造成的消耗； 提高响应速度。当任务到达时，任务可以不需要等到线程创建就立即执行； 提高线程的可管理性。 线程池的主要处理流程当提交一个新任务到线程池时，线程池的主要处理流程如下：
2017-08-01 16:21:38
437
原创 ConcurrentHashMap
layout: post title: “JAVA并发容器和框架-ConcurrentHashMap” desc: “JAVA并发容器和框架-ConcurrentHashMap” keywords: “JAVA并发容器和框架-ConcurrentHashMap,java,kinglyjn,张庆力” date: 2017-07-28 categories: [Java] tags: [J
2017-07-31 17:45:25
321
原创 使用gradle创建多项目
使用gradle创建多项目初始化项目> mkdir zdemo-gradle-parent && cd zdemo-gradle-parent> gradle init> tree.├── build.gradle├── gradle│ └── wrapper│ ├── gradle-wrapper.jar│ └── gradle-wrapper.prope
2017-07-03 00:08:00
813
原创 Mongodb技术总结（version3.4.4）
mongodb的标准安装与卸载# 1. 导入包管理系统使用的公钥# Ubuntu 的软件包管理工具（即dpkg和APT）要求软件包的发布者通过GPG密钥# 签名来确保软件包的一致性和真实性。通过以下命令导入MongoDB公共GPG密钥：sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 0C49F3730359A1
2017-06-09 23:01:49
3539
1
原创 Maven-sonarqube-jenkins-git 持续集成开发环境的搭建
废话不多说，直接上干货maven global or sysfile setting.xml注意：贴代码的时候要将xxxx替换成你自己的配置信息<?xml version="1.0" encoding="UTF-8"?><settings> <!-- 本机maven仓库 --> <localRepository>xxxx</localRepository> <!-- 发布信
2017-05-23 19:34:17
2651
原创 springmvc-4.3.7.RELEASE核心源码断点分析
springmvc请求执行流程springmvc核心源码核心方法：DispatcherServlet.doDispatcher该方法控制着springmvc处理和响应请求的核心流程，源码和注释如下：protected void doDispatch(HttpServletRequest request, HttpServletResponse response) throws Exception {
2017-04-15 21:29:41
1373
原创 java RMI
简介RMI（即Remote Method Invoke 远程方法调用）。在Java中，只要一个类extends了java.rmi.Remote接口，即可成为存在于服务器端的远程对象，供客户端访问并提供一定的服务。JavaDoc描述：Remote 接口用于标识其方法可以从非本地虚拟机上调用的接口。任何远程对象都必须直接或间接实现此接口。只有在“远程接口”（扩展 java.rmi.Remote 的接口）
2017-03-21 16:13:01
284
原创 java动态代理（类加载、asm、cglib、javassist）
class文件简介及加载Java编译器编译好Java文件之后，产生.class 文件在磁盘中。这种class文件是二进制文件，内容是只有JVM虚拟机能够识别的机器码。JVM虚拟机读取字节码文件，取出二进制数据，加载到内存中，解析.class 文件内的信息，生成对应的 Class对象:class字节码文件是根据JVM虚拟机规范中规定的字节码组织规则生成的、具体class文件是怎样组织类信息的，可以参考
2017-03-21 11:37:46
1521
原创 ubuntu系统单用户模式
如果用户改了某个不该改的文件（如使用sudo chown更改了/etc/sudoers文件导致sudo命令无法使用，或是由于一时操作失误，无法再进入系统），想要恢复又恢复不过来，这时候就可能用到单用户模式这个必杀技。方法/步骤：1、在虚拟机上启动系统后，一直按住shift键不放，将进入如下界面。2、如果不修改任何东西，进入单用户模式是只读的，所以在这里我们需要把下图所示中的ro改成rw。3、修改后
2017-02-09 15:19:20
771
原创 浏览器中的data类型的Url格式 data:image/png,data:image/jpeg
所谓”data”类型的Url格式，是在RFC2397中 提出的，目的对于一些“小”的数据，可以在网页中直接嵌入，而不是从外部文件载入。例如对于img这个Tag，哪怕这个图片非常非常的小，小到只有一个 点，也是要从另外一个外部的图片文件例如gif文件中读入的，如果浏览器实现了data类型的Url格式，这个文件就可以直接从页面文件内部读入了。 data类型的Url格式早在1998年就提出了，时至今日，F
2017-01-23 14:03:02
2848
原创 正则表达式中的向前匹配、向后匹配、负向前匹配、负向后匹配
比如我们要匹配下面这个语句中的“<”后面不是“br>”的“<”： <div>line1</div> <br> 这个正则表达式这么写：/<(?!br>)/如果我们只匹配后面为“br>”的“<”呢，正则表达式这么写：/<(?=br>)/这两种语法在正则表达式中称之为：(?=pattern) 零宽正向先行断言(?!pattern) 零宽负向先行断言断言的意思是判断是否满足，零宽的意思是它只匹配一个位
2017-01-23 11:20:22
7322
原创 正则表达式的贪婪与懒惰模式
当正则表达式中包含能接受重复的限定符时，通常的行为是（在使整个表达式能得到匹配的前提下）匹配尽可能多的字符。以这个表达式为例：a.*b，它将会匹配最长的以a开始，以b结束的字符串。如果用它来搜索aabab的话，它会匹配整个字符串aabab。这被称为贪婪匹配。有时，我们更需要懒惰匹配，也就是匹配尽可能少的字符。前面给出的限定符都可以被转化为懒惰匹配模式，只要在它后面加上一个问号?。这样.*?就意味着匹
2017-01-22 17:56:09
945
原创 Hibernate唯一约束
UNIQUE约束可以防止两个记录在一个特定的列具有相同的值。 Customers表中，例如，你可能要防止两个或两个以上的人具有相同的年龄。例子:例如，下面的SQL语句创建一个新的表名为CUSTOMERS，并增加了5列。这里年龄列设置为独一无二的，所以不能有两个记录具有相同的年龄：CREATE TABLE CUSTOMERS( ID INT NOT NULL, NAME VAR
2017-01-22 17:53:34
4334
原创 Hibernate Set Cascade Example (save, update, delete and delete-orphan)
Cascade is a convenient feature to save the lines of code needed to manage the state of the other side manually.The “Cascade” keyword is often appear on the collection mapping to manage the state of th
2017-01-19 16:41:34
410
原创 Hibernate data type conf
实体类public class MultiTypeDemo { private String id; private Integer ii; private Short sht; private Byte bt; private Long lg; private Float flt; private Double dbl; privat
2017-01-19 16:22:22
338
原创 Hibernate Calendar API
java.util.CalendarCalendar 的 month 从 0 开始，也就是全年 12 个月由 0 ~ 11 进行表示。 Calendar.DAY_OF_WEEK 定义和值如下：Calendar.SUNDAY = 1Calendar.MONDAY = 2Calendar.TUESDAY = 3Calendar.WEDNESDAY = 4Calendar.THURSDAY =
2017-01-19 15:57:58
417
原创 docker实战（二） - 基本概念
基本概念Docker 包括三个基本概念 * 镜像（Image） * 容器（Container） * 仓库（Repository）理解了这三个概念，就理解了 Docker 的整个生命周期。Docker 镜像我们都知道，操作系统分为内核和用户空间。对于 Linux 而言，内核启动后，会挂载 root 文件系统为其提供用户空间支持。而 Docker 镜像（Image），就相当于是一个 root 文件
2017-01-17 16:18:10
460
原创 docker实战 - docker简介
什么是 DockerDocker 最初是 dotCloud 公司创始人 Solomon Hykes 在法国期间发起的一个公司内部项目，它是基于 dotCloud 公司多年云服务技术的一次革新，并于 2013 年 3 月以 Apache 2.0 授权协议开源，主要项目代码在 GitHub 上进行维护。Docker 项目后来还加入了 Linux 基金会，并成立推动开放容器联盟。Docker 自开源后受到
2017-01-17 15:48:53
418
原创 redis基础简介（九）- redis虚拟内存的配置和使用
简介Redis的虚拟内存和os的虚拟内存不是一回事，但思路和目的是相同的。就是暂时把不经常访问的数据从内存中交换到磁盘中，从而腾出宝贵的内存空间用于其他需要访问的数据。尤其是对于redis这样的内存数据库，内存总是不够用的。除了可以将数据分割到多个redis server之外，另外能够提高数据库容量的办法就是是用虚拟内存将那些不经常访问的数据交换到磁盘上。相关配置下面是redis vm相关配置：除
2017-01-13 20:47:24
563
原创 redis基础简介（八）- redis持久化配置和使用
简介Redis是一个可以持久化的内存数据库，也就是说redis需要经常将内存中的数据同步到硬盘来保证持久化。redis支持两种持久化方式：snapshotting（快照），也是默认的方式append-only file （缩写aof）的方式snapshotting方式持久化数据快照方式是redis默认的持久化方式。这种方式是将内存中的数据以快照的形式写入二进制文件中，默认的文件名为dump.
2017-01-13 17:09:21
461
jd_gou_win.zip
2020-02-29
Storm流计算项目
2018-01-24
hadoop2.x 64位 native工具包
2017-09-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人