- 博客(82)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 springboot多文件上传
后端代码@RequestMapping(value = "/upload", method = RequestMethod.POST)public ResultVo upload(@Valid UploadRequestVo uploadRequestVo, @RequestParam("file") MultipartFile[] files, HttpServletRequest request) { ResultVo data = fileService.uploadPic(upl
2020-06-11 11:39:04
240
原创 存储过程demo-(base mysql)
DROP PROCEDURE IF EXISTS delUserOrderDataByUserId;DELIMITER $ CREATE PROCEDURE delUserOrderDataByUserId(IN pUserId BIGINT) BEGIN -- 依赖orderId来删除的相关表 DECLARE pOrderId BIGINT; DECLARE s INT DEFAULT 0; #声明游标 DECLARE orderIdList CURSOR FOR SELEC
2020-06-11 10:57:13
255
原创 全注解实现自定义过滤器与拦截请求参数
全注解实现自定义过滤器与拦截请求参数环境springboot工程步骤1、在主Application上添加注解@ServletComponentScan使得@WebFilter注解生效@SpringBootApplication@ServletComponentScanpublic class DemoApplication {2、添加自定义过滤器@WebFilter(urlPa...
2020-05-07 20:27:22
1406
原创 全注解实现spring拦截器配置与代码demo
全注解实现spring拦截器配置与代码demo流程说明1 先基于注解初始化添加一个全局配置的WebMvcConfigurerImpl，实现WebMvcConfigurer接口，这个实现类需要添加自定义拦截器。基于@Bean的方式初始化拦截器能保证在拦截器里面使用@Autowried注入其他Service,不为null。2 定义自己的拦截器，需要实现HandlerInterceptor接口3...
2020-04-28 15:29:47
864
原创 Redis的命令行连接与Jedis连接
命令行连接客户端启动命令：./redis-cli -c -h ip -p port -a password不基于-a直接输入密码，可以通过auth输入密码：auth password服务端启动命令：./redis-server ../redis.confJedis连接maven约束<dependency> <groupId>redis.cl...
2019-11-06 16:55:21
363
原创 Kafka单机部署
Kafka单机部署环境说明Red Hat 4.8.5-36JDK1.8Zookeeper-3.4.8kafka_2.11-0.10.1.1Zookeeper单机版部署部署步骤1、下载zookeeper-3.4.8.tar.gz2、解压tar -zxvf zookeeper-3.4.8.tar.gz3、修改配置文件，将$ZOOKEEPER_HOME/conf/zoo_samp...
2019-03-29 14:43:51
4563
1
原创 单机HBase部署以及Java远程连接单机HBase
HBase单机环境搭建环境说明Red Hat 4.8.5-36JDK1.8HBase2.1.1部署过程1、下载 hbase-2.1.1-bin.tar.gz2、解压文件 tar -zxvf hbase-2.1.1-bin.tar.gz3、修改配置文件$HBASE_HOME/conf/hbase-site.xml 添加如下参数&lt;!-- HBase存储数据的路径 默认在tm...
2019-03-12 20:10:33
2870
2
原创 关系型数据库大数据量递进解决方案及诱发问题
1、数据量增多，单靠主键查询效率低效，增加查询字段索引，提升查询效率。2、单节点压力过大，采用读写分离，将查询压力增加到其他节点，查询节点设置索引，插入节点不设置索引。但会导致数据存在时差，如果有多个读节点，将会导致短时间内数据不一致。3、使用redis、memcached等缓存中间件，将常用的查询数据缓存。但是会存在数据一致性问题，需要通过代码来保证数据强一致。4、数据到达百万级以上，采用...
2019-02-27 11:27:12
1409
原创 Spark从入门到精通10 -- Spark Shuffle
Spark ShuffleShuffle简介Shuffle(数据混洗)是将一组无规则的数据转换为一组有规则的数据。Spark是一个分布式计算引擎，大多数的计算和数据转换过程是在多台计算机上执行的，当我们对RDD进行规约操作时,例如reduceByKey，或者当两个RDD之间是宽依赖的关系时，都会产生Shuffle。Shuffle实现方案Shuffle过程中会导致RDD进行重分区，在数...
2019-02-27 11:01:27
486
原创 Spark从入门到精通9 -- Spark Streaming
Spark StreamingSpark Streaming简介Spark Streaming是Spark为了处理实时流数据而设计的模型，允许基于批处理API进行对实时流数据进行处理。Spark Streaming使用离散化流(discretized stream)作为抽象表示，叫做DStream。类似于Spark中的RDD，用于存储实时流数据。DStream是将实时流数据分批整合成...
2019-02-14 11:17:51
503
原创 Spark从入门到精通8 -- Spark SQL
Spark SQLSpark SQL简介Spark SQL是用来操作结构化数据的程序包，支持多种数据源(Hive表、Parquet、JSON),可以基于Spark SQL进行数据的查询，为数据计算提供数据入口。Spark SQL提供一种特殊的RDD，叫做DataFrame，DataFrame是存放Row对象的RDD，每一个Row对象代表一行记录。Spark SQL使用Spark SQ...
2019-02-14 11:16:51
524
原创 Spark从入门到精通7 -- Spark编程进阶
Spark编程进阶累加器介绍与使用场景当我们在驱动器端声明一个变量时，如果我们在计算过程中需要对变量进行修改，这个时候不同的执行器拿到的当前变量的一个副本。类似于Java多线程场景下对共享变量的操作。所以累加器作为一个驱动器端声明的变量，能保证多个执行器端操作的时候是不会发生变量冲突的情况。就像是Java中的AtomicInteger一样。但是累加器具有容错性，当我们某个执行器节点宕机后，...
2019-02-14 11:15:57
249
原创 Spark从入门到精通6 -- Spark数据读取与保存
Spark数据读取与保存Spark支持多种数据源文件格式文件系统SparkSQL结构化数据数据库文件格式支持的文件格式有文本文件、SequenceFile、序列化对象、Hadoop输入输出格式、protocol buffer、压缩文件等。介绍几种常见的文件格式api：文本文件1、读取文本文件文本文件输入的每一行作为RDD的一个元素，或者将一个完整的文件已文件名-文件内容键值...
2019-02-14 11:14:35
351
原创 Spark从入门到精通5 -- Spark运行架构及流程
Spark运行架构及流程Spark运行架构架构图基本概念Application：用户编写的Spark应用程序，一个main方法。Driver：程序中执行main方法的进程，创建SparkContext为Spark应用程序提供运行环境，负责与ClusterManager的通信，进行资源申请、任务的分配和监控等，当Executor部分运行完毕后，Driver同时负责将SparkConte...
2019-02-14 11:13:29
271
原创 Spark从入门到精通4 -- RDD编程
RDD编程RDD是什么弹性分布式数据集RDD是Spark中不可变的分布式对象集合，每个RDD被分为多个分区，分区运行在集群不同节点上。我们可以通过Java、Scala、Python语言操作RDD，进行数据的处理。RDD操作类型转化操作(transformation)转化操作指将一个RDD转换成另一个RDD，就像我们将List转换成Map一样。行动操作(action)行动操作指...
2019-02-14 11:11:49
433
原创 Spark从入门到精通3 -- Spark简介
SparkSpark简介Spark是一个用来实现快速且通用的集群计算平台Spark组件示意图Spark SQLSpark CoreSpark StreamingMLlibGraphX独立调度器YARNMesosSpark CoreSpark Core是Spark的核心计算引擎，提供了任务调度、内存管理、错误恢复、与存储系统交互等模块。其中的弹性分布式数据集(RDD)，是计算时的...
2019-02-14 11:10:18
1680
原创 Spark从入门到精通2 -- Scala基础语法
Scala数据类型Unit：与java中void表示同一含义。//main方法声明def main(args: Array[String]): Unit = {}Any：所有其他类的超类，是抽象类AnyRef：所有引用类的基类，与java中Object表示同一个意思Nothing：所有类的子类变量声明var：声明可以变化的变量val：声明不能变化的常量...
2019-02-14 11:03:34
1058
原创 Spark从入门到精通1 -- 大数据生态组件
大数据生态组件大数据生态关系图Flume日志收集Storm流式计算SparkStreamingScala编程语言JavaPythonMahout机器学习库MLlibzookeeperHadoop家族HbaseHueSqoopOozie大数据生态大数据通用处理平台分布式数据存储资源调度数据分析/数据仓库消息队列HadoopSparkHDFSYarnMesosHiveSparkSQLPigKy...
2019-02-14 11:00:45
458
原创 Java基于Socket创建指定ip端口的服务端，并与客户端进行消息交互实现消息下发，与消息监听
Socket是应用层与TCP/IP协议族通信的中间软件抽象层，它是一组接口。服务端代码public static void main(String[] args) throws Exception { ServerSocket server = new ServerSocket(7777); System.out.println("channel: "...
2019-02-12 14:59:50
3444
2
原创 对接fastDFS存储组件设计文档
文章目录设计背景设计目标设计思路功能设计代码目录接口设计init 初始化upload 文件上传download 文件下载delete 文件删除异常处理配置文件说明fastdfs-client.properties使用demo(springboot)流程图设计背景对接私有化存储组件，解耦现行对象存储KS3设计目标成功解耦现行对象存储KS3完成基于配置文件灵活配置实现对接不同种类的私有...
2018-11-13 16:07:28
376
原创 windows下搭建nginx服务并实现基于端口与路径转发
文章目录windows下搭建nginxnginx下载nginx使用启动命令停止命令重新加载配置文件nginx配置windows下搭建nginxnginx下载下载地址：http://nginx.org/en/download.html下载截图 直接解压即可nginx使用nginx不能通过双击nginx.exe启动，需要在cmd命令行中通过命令启动。启动cmd命令行，进入ngin...
2018-11-09 17:41:54
4528
原创 mysql同一个事务中先插入再查询与先删除再查询结果分析
一，现象展示1、先插入再查询BEGIN;INSERT INTO video (CREATE_TIME, UPDATE_TIME, VERSION, VID, VIDEO_NAME, SPEED, RATE, HORIZONTAL, VERTICAL, SIZE, LIB_ID, ALARM_THRESHOLD, ONLINE, STATUS, REMARK) VALUES(NOW()...
2018-10-19 16:25:18
43539
5
原创 二叉树的十种遍历方式
一、二叉树对象public class Node { public Node left; public Node right; public String value; public Node() { super(); } public Node(String value) { super(); ...
2018-10-10 11:58:01
189
原创 spring全局异常处理
@ControllerAdvice@Slf4jpublic class GlobalExceptionHandler { @ExceptionHandler(BindException.class) @ResponseBody public BaseResult handleBindException(Exception ex) { String e...
2018-09-14 10:40:16
569
原创 基于kmp算法实现字符串时间复杂度为O(N)级别的比较
一、暴力比较字符串时间复杂度为0(N*M) /** * 暴力匹配 时间复杂度为 O(N*M) * @param str1 * @param str2 * @return */ public static boolean compareString(String str1, String str2) { ...
2018-09-13 09:53:21
1819
1
原创 springboot搭建WebSocket服务端
基于springboot框架编写一个WebSocket服务端，并通过简单的html界面模拟客户端验证服务端连接。1、pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/20...
2018-08-30 11:47:40
6971
4
原创 基于keepalived实现mysql双主热备
基于keepalived实现mysql双主热备一、环境说明Ø Red Hat Enterprise Linux Server release 6.2或CentOS 6.4或Suse11sp1Ø MySQL-5.1.66以上二、单机mysql1、安装单机mysql1、操作说明数据库安装需在root用户下进行操作，目前搭建mysql双主热备高可用，现提供两台服务器，服务器信息如下：10.0.2.235...
2018-07-13 11:56:06
882
原创 Java执行脚本命令
//初始化脚本命令String commond = "";Process process = null;//脚本执行返回值boolean flag = false;try { //开始执行脚本 process = Runtime.getRuntime().exec(commond); //这是jdk1.8的waitFor方法，带有时间戳防止阻塞 if(this.waitFor(1...
2018-06-14 16:21:11
3801
原创 hibernate与mysql进行大文件的存储
1、hibernate4下创建SessionFactorypackage com.hibernate;import org.hibernate.Session;import org.hibernate.SessionFactory;import org.hibernate.cfg.Configuration;import org.hibernate.service.ServiceRegi...
2018-05-21 19:43:57
639
原创 使用Log4j进行日志打印流程
当我们需要在项目中打印日志并输出到指定的日志文件中时，我们需要进行配置log4j进行日志的打印。步骤如下：1、引入约束 如果是动态web工程需要引入如下两个jar包： commons-logging-版本号.jar log4j-版本号.jar 如果是maven工程 需要在pom中引入如下两个约束：<dependency> <groupId>log4...
2018-04-13 11:32:00
1994
1
原创 Exception in thread "main" org.hibernate.NonUniqueObjectException: a different object with the same
对于这个异常本质原因是因为你session中存在了两条主键值一样的对象诱发原因1是：我们手动new的对象与数据库中的对象主键一致，并且我们存了手动new的对象而不是数据库中对象。修改办法：将new的对象的属性赋值给从数据库查询的对象，对数据库的对象进行存储更新。瞬时态对象和持久态对象主键一致时，保存瞬时态对象会产生当前错误。...
2018-04-02 19:04:54
482
原创 mysql联合主键
1、hibernate配置联合主键1.1 联合主键的好处：联合主键的好处是不需要因为需要主键而增加一个无用的主键列1.2 联合主键的建表语句CREATE TABLE `HTTP_TERMINAL_DETAIL_STATISTICS` ( `TIME` CHAR(14) NOT NULL COMMENT '时间', `TERMINAL_TYPE` VARCHAR(128) NOT NULL CO...
2018-03-27 13:48:58
12230
2
原创 定时任务下的多线程任务
1、Spring的ServletContextListenerServletContext > webApplicationContext ServletContext 是java中的Servlet工程的上下文对象 webApplicationContext是Spring框架中定义的继承了ServletContext上下文对象的web上下文对象Spring框架定义了一个ContextLoad...
2018-03-21 17:45:55
4078
原创 csv转xml
package com.hcicloud.sap.service.inspection.impl;import com.alibaba.fastjson.JSONObject;import com.csvreader.CsvReader;import com.hcicloud.sap.common.web.ResultMessage;import com.hcicloud.sap.ser...
2018-03-09 11:44:48
1797
原创 Java容器分类介绍
一，Java常见容器关系图1、List集合的关系图List接口下的实现类是基于数组或链表的实现。Set接口下的实现类是基于HashMap中哈希表实现的，只是将value都置为空。2、Map键值对HashMap是线程不安全的，但是速度快。HashTable是线程安全的，但是速度慢(因为增加了锁)。LinkedHashMap是有序的，通过双重链表实现的。TreeMap是按照key值进行排序的(默认自然...
2018-02-26 15:52:58
317
原创 python入门demo
#coding=utf-8#python中listl = [95.5,85,59]#指定索引位置插入元素l.insert(0,1);#删除指定索引位置元素y = l.pop(2)#直接替换值l[1] = 100#创建final属性的list 在python中叫做 tuple:元组t = ('a',2,3)#元组中嵌套listt2 = (1,2,[3,4])'''p
2018-02-03 17:45:05
10765
1
原创 Class类型信息
一、类型信息运行时类型信息使得你可以在程序运行时发现和使用类型信息。在C语言中叫做typeId，在Java中我们在创建每个类对象后，都给这个类一个Class类型信息属性.Class类的toString方法里面就是获取类型加上全类名：public String toString() { return (isInterface() ? "interface " : (isPrimiti...
2018-01-19 17:05:51
815
原创 service层事务与try/catch的关系
首先了解一下异常的组成：1、RuntimeException() 例如：数组越界异常、空指针异常、(我们在编写之后不会提示让 try catch的异常、代码编写错误导致，可避免)2、非RuntimeException() 例如： IO异常、(会提示try catch的异常，不是代码编写错误导致的，只能抛出)3、unchecked异常：RuntimeException + Error
2018-01-10 10:18:33
12633
原创 elasticsearch参数copy_to
在使用elasticsearch时遇见了这样的需求：es聚合指定字段时聚合的结果里面只显示聚合的字段。但是在做报表时，我们发现一个问题：如果我们对员工进行聚合，但是我们还希望查看当前员工所在的班组，部门等信息。这时如果查询es两次，对于效率来说是不好的。所以我们在这里使用一个es的字段特性：copy_to使用的步骤：1、创建mappingPUT my_index{ "mappi
2018-01-03 18:51:14
12570
1
http请求代码
2017-09-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人