- 博客(167)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 Mybatis的分页插件PageHelper源码解析和性能优化
1、Maven中引入依赖2、代码中分页的使用3、源码分析PageHelper.startPage(page,pageSize);设置页码和每页显示的条数查看源码PageInterceptor类，实现了Interceptor接口实现了Interceptor接口会重写下面三个方法定义了拦截器，拦截Executor的query方法在执行以...
2019-07-07 12:39:41
2774
1
转载 Java泛型中<T> T 与 T的区别和用法
<T> T表示返回值是一个泛型，传递啥，就返回啥类型的数据，而单独的T就是表示限制你传递的参数类型，这个案例中，通过一个泛型的返回方式，获取每一个集合中的第一个数据， 通过返回值<T> T 和T的两种方法实现一、<T> T 用法二、T用法...
2019-06-10 22:37:03
6424
转载 SSO单点登录原理详解与实现（二）
二、多系统的复杂性 web系统早已从久远的单系统发展成为如今由多系统组成的应用群，面对如此众多的系统，用户难道要一个一个登录、然后一个一个注销吗？就像下图描述的这样 web系统由单系统发展成多系统组成的应用群，复杂性应该由系统内部承担，而不是用户。无论web系统内部多么复杂，对用户而言，都是一个统一的整体，也就是说，用户访问web系统的整个应用群与访问单个系统一样，登录/...
2019-06-10 22:14:21
302
原创 Linux下停止和启动redis
1. 启动redis[root@redis]# ./bin/redis-server /usr/local/redis/etc/redis.conf2.停止redis (进入redis安装目录)[root@redis]# ./bin/redis-cli shutdown
2019-06-05 15:42:18
11475
转载 SSO单点登录原理详解与实现（一）
单系统登录机制1、http无状态协议 web应用采用browser/server架构，http作为通信协议。http是无状态协议，浏览器的每一次请求，服务器会独立处理，不与之前或之后的请求产生关联，这个过程用下图说明，三次请求/响应对之间没有任何联系 但这也同时意味着，任何用户都能通过浏览器访问服务器资源，如果想保护服务器的某些资源，必须限制浏览器请求；要限制浏览器请求，必...
2019-06-04 17:49:09
285
原创 走近大数据之Hive进阶（七、开发Hive的自定义函数）
Hive自定义函数实现细节： 1.自定义UDF需要继承org.apache.hadoop.hive.sql2.需要实现evaluate函数，evaluate函数支持重载3.把程序打包放到目标机器上去4.进入hive客户端，添加jar包：- hive>add jar /root/training/udfjar/udf_test.jar5.创建临时函数：- hiv...
2019-05-19 10:43:41
163
原创 走近大数据之Hive进阶（六、Hive的客户端操作）
通过jdbc的方式操作hive需要开启相关服务hive --service hiveserver //开启hive远程服务，以便jdbc远程连接一、Hive的JDBC客户端操作新建Java项目需要用到的jar包，这些jar包在hive的lib目录下，或者hadoop的lib目录下都能找到代码如下：二、Hive的Thrift客户端操作...
2019-05-16 23:27:44
204
原创 走近大数据之Hive进阶（五、Hive的子查询）
HIVE子查询 hive只支持from和where子查询select e.ename from emp e where e.deptno in (select e.deptno from dept d where d.dname='SALES' or d.dname='ACCOUNTING'); 注意的问题:1、语法中的括号2、合理的书写风格3、主查询和子查询可以不是同...
2019-05-11 18:17:42
1199
原创 走近大数据之Hive进阶（四、Hive的表连接）
HIVE表连接(转换成mapreduce作业,提交到hadoop上)一、Hive等值连接和不等值连接等值连接(连接条件中为等号):select e.empno, e.ename, e.sal, d.dname //选择要查询的字段from emp e, dept d //选择表，并取别名where e.deptno=d.deptno; //条件是表e的deptno等于表d的de...
2019-05-11 12:39:25
619
原创 走近大数据之Hive进阶（一、Hive数据的导入）
一、使用Load语句进行数据的导入-语法：LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE]INTO TABLE tablename [PARTITION (partcoll = vall, partcol2 = val2 ...)]*将student01.txt数据导入t2 （t2表没有指定分隔符）load data loca...
2019-05-11 11:48:01
375
转载 Hive中实现group_concat功能（不用udf）
hive>desct;OKidstringstrstringTimetaken:0.249secondshive>select*fromt;OK1A1B2C2DTimetaken:0.209seconds在H...
2019-05-09 16:40:35
3137
原创 查看Hive中表的所有信息（结构、字段、存放路径、属性）
目录1. 查询创建表信息（show create table）2. 查询表的字段信息（desc）3. 查看表的详细属性信息（desc formatted）4.查看表的详细信息（describe extended）5. 查看表的partitions信息（show partitions ）1. 查询创建表信息（show create table）里面有delemited...
2019-05-06 17:45:23
38296
转载 hdfs shell的基本操作
目录hdfs基本操作1、查询命令2、创建文件夹3、创建新的空文件4、增加文件5、查看文件内容6、复制文件7、删除文件或文件夹8、重命名文件9、将源目录中的所有文件排序合并到一个本地文件hdfs基本操作1、查询命令 hadoop dfs -ls / 查询/目录下的所有文件和文件夹 hadoop dfs -ls -R 以递归的方式查询/...
2019-05-06 17:31:00
815
原创 hive查找函数并查看函数使用方法
1、先进入到hive2、查看month相关的函数show functions like '*month*'输出如下：3、查看add_months函数的用法desc function add_months;3. 查看 add_months 函数的详细说明并举例desc function extended add_months;...
2019-05-05 17:28:23
1756
原创 走近大数据之Hive入门（六、Hive的数据模型）
目录一、Hive的数据存储二、内部表(Table)三、分区表(Partition)四、外部表(External Table)五、桶表(Bucket Table)六、视图(View)一、Hive的数据存储 基于HDFS(Hadoop的数据仓库) 没有专门的数据存储格式(默认的情况下采用'\t'(制表符)作为列与列之间的分隔符) 存储结构主要包括：...
2019-05-04 11:49:00
263
原创 走近大数据之Hive入门（五、Hive的数据类型）
目录一、基本数据类型二、复杂数据类型三、时间数据类型一、基本数据类型整数类型：tinyint/smallint/int/bigint浮点数类型：float/double布尔类型：boolean字符串类型：string（包含：string、varchar、char）>create table person (pid int, pname string, ma...
2019-05-04 10:57:11
257
原创 Linux启动/停止/重启Mycat
启动MyCat：./mycat start查看启动状态：./mycat status停止：./mycat stop重启：./mycat restart
2019-04-30 16:56:55
1856
原创 IntelliJIDEA连接数据源看不到我MySQL数据库中现有的表
如下图：连接mysql数据源成功，却点不开表右键单击数据源 - >属性 - >架构 - >使用legacy introspector来修复它看一下
2019-04-30 16:39:05
5977
原创 Mycat查表报错[42000][1064] find no Route:SELECT t.* FROM db_student.student_score t
一、修改配置修改schema.xml的 checkSQLschema=“false”,改为true即可<schema name="db_student" checkSQLschema="true" sqlMaxLimit="100">当该值为true时，例如我们执行语句select * from db.company 。mycat会把语句修改为 select * from...
2019-04-30 16:27:02
2886
3
转载 史上最全面的Spring Boot Cache使用与整合
目录一：Spring缓存抽象二：几个重要概念&缓存注解三：SpEL上下文数据四：开始使用1.开始使用前需要导入依赖2.然后在启动类注解@EnableCaching开启缓存3.缓存@Cacheable4.配置@CacheConfig5.更新@CachePut6.清除@CacheEvict7.组合@Caching五：整合EHCACHE1.导入...
2019-04-30 15:28:57
233
1
转载 quartz异常之：org.quartz.SchedulerException
一、问题tomcat启动是报错：org.quartz.SchedulerException:Couldn'tgethostname!atorg.quartz.simpl.SimpleInstanceIdGenerator.generateInstanceId(SimpleInstanceIdGenerator.java:36)atorg.quartz.impl.StdSch...
2019-04-30 11:14:35
16753
转载 IDEA中MAVEN项目打JAR包的简单方法
Idea中为一般的非Web项目打Jar包是有自己的方法的，网上一搜就能查到很多。但是如果是为Maven项目打Jar包，其实是很简单的，因为maven本身就有打Jar包的命令。最简单的方法 首先是在maven项目的pom.xml中添加打包的插件，这里有很多种方式的。最最简单的就是只使用maven-compiler-plugin、maven-jar-plugin插件，并且指定程序入...
2019-04-30 11:05:30
65567
5
转载 Mysql字符串字段判断是否包含某个字符串的3种方法
方法一：SELECT * FROM users WHERE emails like "%[email protected]%";方法二：利用mysql 字符串函数 find_in_set();SELECT * FROM users WHERE find_in_set('[email protected]', emails);这样是可以的，怎么理解呢？mysql有很多字符串函数 find_in_s...
2019-04-30 10:55:12
258
原创 java得到指定时间段中的所有周，以及每周的每天都是周几和日期是多少？
Calendar： cal1.add(Calendar.DAY_OF_MONTH,1); cal1.add(Calendar.DAY_OF_YEAR,1); cal1.add(Calendar.DATE,1); 就单纯的add操作结果都一样，因为都是将日期+1,区别就是在月的日期中加1还是年的日期中加1 ...
2019-04-30 10:22:40
5236
2
原创 走近大数据之Hive入门（四、Hive的管理）
目录一、Hive的管理之CLI方式二、Hive的管理之web界面方式三、Hive的管理之远程服务一、Hive的管理之CLI方式hive的进入和退出进入hive命令行1：hive -- service cli 进入hive命令行2：hive 退出hive命令：1、exit 2、quit常用的CLI命令清屏：Ctrl+L 或者 ！clear 查看数据仓库中表：sho...
2019-04-27 17:43:14
507
原创 走近大数据之Hive进阶（三、Hive的内置函数）
目录一、Hive数学函数二、Hive字符函数三、Hive收集函数和转换函数四、Hive日期函数五、Hive条件函数六、Hive聚合函数和表生成函数一、Hive数学函数round 四舍五入 前面是小数，后面是取整位数ceil 向上取整floor 向下取整二、Hive字符函数字符串转换成小写:lower 字符串转换成大写:upper ...
2019-04-22 22:16:05
340
原创 走近大数据之Hive进阶（二、Hive的数据查询）
目录一、简单查询和fetchtask二、在查询中使用过滤三、在查询中使用排序一、简单查询和fetchtask1、Hive查询的基本语法语法跟sql语法基本相似SELECT * FROM user与 SELECT name, gender FROM user的区别？SELECT *全表扫描不会开启MapReduce作业，SELECT name, gen...
2019-04-21 11:13:32
540
原创 走近大数据之Hive进阶（目录）
走近大数据之Hive进阶一、Hive数据的导入二、Hive的数据查询三、Hive的内置函数四、Hive的表连接五、Hive的子查询六、Hive的客户端操作七、开发Hive的自定义函数八、课程总结...
2019-04-21 10:46:19
264
原创 走近大数据之Hive入门（三、Hive的安装）
目录一、Hive的安装模式二、Hive安装之嵌入模式三、Hive安装之远程模式和本地模式一、Hive的安装模式下载地址：http://archive.apache.org/dist/找到Hive，选择要安装的版本Hive是基于Hadoop之上的一个数据仓库工具，所以按照Hive之前需先安装Hadoop环境Hadoop安装：（进行中。。。）...
2019-04-07 17:12:29
331
原创 走近大数据之Hive入门（二、Hive的体系结构）
目录一、Hive的体系结构之元数据二、Hive的体系结构之HQL的执行过程三、Hive的体系结构一、Hive的体系结构之元数据Hive将元数据存储在(metastore),支持mysql，derby等数据库 （默认存放在derby数据库中）Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性(是否为外部表),表的数据所在目录。二、Hive的体系结构之...
2019-04-07 12:30:18
408
原创 走近大数据之Hive入门（一、概述）
目录一、数据仓库二、什么是Hive注意一、数据仓库数据仓库是一个面向主题的、集成的、不可更新的、随时间不变化的数据集合，它用于支持企业或组织的决策分析处理。OLTP应用：联机事务处理，关注的是事物的处理，典型的OLTP应用是银行转账，一般操作频率会比较高；OLAP应用：联机分析处理，主要面向的是查询，典型的OLAP应用是商品推荐系统，一般不会做删除和更新，数据...
2019-04-07 11:30:45
418
原创 走近大数据之Hive入门（目录）
走近大数据之Hive入门一、概述二、Hive的体系结构三、Hive的安装四、Hive的管理五、Hive的数据类型六、Hive的数据模型...
2019-04-07 11:22:17
368
转载 RabbitMQ消息队列：ACK机制
每个Consumer可能需要一段时间才能处理完收到的数据。如果在这个过程中，Consumer出错了，异常退出了，而数据还没有处理完成，那么 非常不幸，这段数据就丢失了。因为我们采用no-ack的方式进行确认，也就是说，每次Consumer接到数据后，而不管是否处理完 成，RabbitMQ Server会立即把这个Message标记为完成，然后从queue中删除了。 如果一个Consum...
2019-02-26 09:58:56
673
转载 Linux 如何在vi里搜索关键字
当你用vi打开一个文件后，因为文件太长，如何才能找到你所要查找的关键字呢？在vi里可没有菜单-〉查找不过没关系，你在命令模式下敲斜杆( / )这时在状态栏（也就是屏幕左下脚）就出现了 “/” 然后输入你要查找的关键字敲回车就可以了。如果你要继续查找此关键字，敲字符 n 就可以继续查找了。敲字符N（大写N）就会向前查询；原文：https://blog.csdn.net/...
2018-11-20 15:17:38
34827
转载 VMWare虚拟机Centos7安装redis，并通过外部链接
https://www.cnblogs.com/godwhisper/p/6890291.html默认redis没有密码，自行设置密码https://www.cnblogs.com/springlight/p/6288902.html设置密码后要通过密码连接https://blog.csdn.net/leisure_life/article/details/...
2018-11-13 10:47:28
648
转载 win10下安装两个MySQL5.6.35数据库
http://www.jb51.net/article/113636.htmhttp://www.jb51.net/article/113630.htm
2018-05-22 15:56:54
301
Lucene创建索引步骤
2017-11-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人