- 博客(15)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 JDBC 异常排查记录
JDBC 异常排查记录问题1: JDBC报错 java.sql.SQLException: Unknown system variable ‘query_cache_size’原因: 数据库使用的最新版本的MySQL 8,驱动版本过低 解决: 更新依赖包<dependency> <groupId>mysql</groupId> ...
2018-08-22 22:10:33
283
原创 Mybatis的参数处理过程源码分析
Mybatis参数处理方式 通常方式通过POJO传递通过Map容器传递通过DTO传递其他情况源码分析Mybatis的参数处理过程Mybatis参数处理方式通常方式单个参数,mybatis不会做特殊处理 #{参数名}就可以取出参数值多个参数,mybatis会做特殊处理 多个参数会封装成一个map key: param1,param2,param3…或者其...
2018-08-03 01:57:07
891
原创 HBase基础知识点
HBase 基本概念存储的是松散型的数据类型在HBase中行健按照字典序升序存储基于行健，列键，时间戳建立索引HBase客户端访问方式包括API、使用HBase Shell访问、通过控制台进行访问HBase在Hadoop上通过HDFS系统存储底层数据，可实现多机同时读写HBase是一个稀疏的长期存储的，多维度的，有序的映射表，该表的索引是行健，列关键字和时间戳HBase 的基...
2018-07-15 03:44:55
5085
原创 HBase Java API常用操作
package com.crzmy.hbase.util;import java.io.IOException;import java.util.Arrays;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.h...
2018-07-15 03:44:26
245
原创 HBase之过滤器
Filter的执行过程 过滤器在客户端创建，然后通过RPC协议发送到服务器上，由服务器执行 比较器[su_table]Comparator Description LongComparatorAssumes the given value array is a Java Long number and uses Bytes.toLong() to...
2018-07-15 03:43:57
273
原创 大数据系统搭建Hadoop+HBase+Spark
1.1 框架介绍Hadoop是一个开源的框架，可编写和运行分不是应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任何数据形式最终会转化为key/value，key/value是基本数据单元。HBase 不同于一...
2018-07-15 03:43:23
2861
原创 Ubuntu14.04+Hive-2.3.2环境搭建
0. 安装Mysql并创建hive用户运行以下命令sudo apt-get install mysql-server使用root用户进入mysql后，执行以下语句。红色部分视自己意愿修改create user 'hive'@'%' identified by 'hive';账号名为hive，’%’表示允许任何访问，密码为hive。grant all privileges o...
2018-07-15 03:42:39
776
原创 Java问题日常随记
本笔记为个人学习思考解惑记录,多方面引用互联网资料,争取每日更新。 若有纰漏,欢迎指正。2018年07月07日1. 观察一下代码，说出执行结果(JVM类加载)class A{ static { System.out.print("1");}public A(){ System.out.print("2"); }}class ...
2018-07-15 03:41:16
195
原创 Servlet基础
本笔记为个人学习思考解惑记录,多方面引用互联网资料。 若有纰漏,欢迎指正。HTTP协议相关HTTP协议的特征单向性：客户端和服务端建立连接依靠于客户端发送请求，如果客户端不发送请求，服务端不会主动发送主句到客户端无状态：HTTP对于事务处理没有记忆能力。无法“断点续传”灵活：HTTP允许传输任意类型的数据对象。正在传输的类型有Content-Type加以标记简单快速：...
2018-07-15 03:40:46
189
原创 JSP基础
JSP(Java Server Page)基础Servlet和JSP的相同点JSP和Servlet从本质上,是相同的技术. 继承结构如下:Created with Raphaël 2.1.2Servlet接口JspPage接口HttpJspPage接口接口源代码public interface JspPage extends Servlet { public...
2018-07-15 03:37:14
138
转载 Hbase万亿级存储性能优化总结
背景 hbase主集群在生产环境已稳定运行有1年半时间，最大的单表region数已达7200多个，每天新增入库量就有百亿条，对hbase的认识经历了懵懂到熟的过程。为了应对业务数据的压力，hbase入库也由最初的单机多线程升级为有容灾机制的分布式入库，为及早发现集群中的问题，还开发了一套对hbase集群服务和应用全面监控的报警系统。总结下hbase优化(针对0.94版本)方面的一
2017-09-29 23:00:20
804
原创 Ubuntu 16.04-HBase1.3.1+Hadoop2.6.5 单机环境搭建
1.首先下载hbase下载地址 ：hbase1.3.1-bin.tar.gz解压到任意目录，例如我的是 /opt/hbase-1.3.1并为HBase配置环境变量2.配置HBasecd /opt/hbase-1.3.1/conf/ 2.1. 修改hbase-env.shsudo vim hbase-env.sh配置JAVA环境变量export JAVA_H
2017-09-25 21:33:42
1056
原创 windows10+eclipse neon+hadoop2.6.4（伪分布式）远程连接虚拟机环境搭建
windows64位系统下使用eclipse连接hadoop服务器
2017-03-03 00:25:11
1581
原创 Ubuntu搭建Hadoop2.6.5（伪分布式）
1.安装jdk此步略过，可参考我发布的另一篇文章2.下载hadoop2.6hadoop2.6下载地址3.配置环境变量 输入 vim /etc/profile 命令可打开profile文件（若使用的界面版本可在目录中直接打开此文件） 在文件末尾加入以下信息（命令中不要自行加入空格，否则没法使用） export JAVA_HOME=/usr/lib/jvm/
2016-12-12 23:18:03
3186
原创 Ubuntu16.04安装jdk1.8(tar.gz方式)
1.从官网下载到默认存储地址/home/Downloads2.下载成功后在/usr/lib下新建目录jvm命令：sudo mkdir -p /usr/lib/jvm注：如果不是root用户需要用sudo提升权限3.将jdk解压到/usr/lib/jvm下命令：sudo tar -zxvf Downloads/jdk-8u112-linux-x64.tar.g
2016-12-12 16:35:49
6240
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人