- 博客(200)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 notepad++在工作中使用正则表达式
1.前言工作中时常会通过notepad++对数据进行处理，这里记录一下本人在工作中用到的，持续补充吧！2.正则表达式在notepad++中的使用1.贪婪模式与非贪婪模式目标串：abb贪婪模式匹配串：a.* ---结果：abb非贪婪模式匹配串：a.? ---结果：ab2.分组正则表达式会保存每个分组的真正匹配的内容，分组的编号从左到右依次计数，从1开始目标串：让等号右边都加上一个序号1正则表达式执行如下：(.)(=.*)括号包括的内容就是分组。我们要引用
2021-10-08 17:14:41
1980
1
原创 please use local time and enable NTP time synchronization to avoid a deviation between
1.概述记一次异常的处理方法，在测试环境调用服务出现异常，排查后定位是服务器的日期问题，这里记录一下，方便遇到类似问题，供大家查阅参考。2.问题及处理2.1.大致的错误描述：Signature expired，please use local time and enable NTP service for time synchronization to avoid a deviation between 'Timestamp' and the server time 163277.....
2021-09-27 17:02:36
1604
原创 java调用FFmpeg实现视屏压缩
前言最近做人脸识别，对于过大的视屏（10M）以上，识别失败的几率比较大。找了下相关的视屏压缩资料。首先使用的是jave进行视屏压缩，但是踩坑失败，jave中有转码的过程，虽然压缩成功，各种压缩参数也调整了一大堆，但是在识别时，几乎都不会成功，但是只是压缩观看的话，还是可以使用jave的。继续踩坑，直接使用原生的FFmpeg,在windows系统通过cmd命令，进行压缩，调整对应的视屏参数，压缩效果可以，而且可以识别成功，下面简单的展示下java调用FFmpeg命令实现视屏的压缩，仅供参考。实现步骤
2021-09-06 17:53:05
1493
转载 CFCA签章中p1和p7签名的区别
前言:P1签名:即裸签名,签名值中只有签名信息.p7签名:即,签名中可以带有其他的附加信息,例如签名证书信息,签名原文信息,时间戳信息等.所以要注意,不要p7的签名,用p1的方式来验签,这样是不对的.是错误的.数字签名中,包含了两个过程:1.对要签名的信息,用指定的hash算法,获取信息的hash值.2.用私钥,对hash值进行加密,输出加密串(也就是签名值).以上方式也就是裸签名,PKCS#1验证签名:1.对要签名的信息(也就是签名原文),用指定的hash算法,获取信息的hash值.
2021-05-24 14:29:07
2021
原创 java.lang.reflect.InvocationTargetException
记一次java.lang.reflect.InvocationTargetException 异常1.场景查询数据库时，dao查询数据出现这个异常2.异常原因通过dao查询到数据后，通过一个对象实例来封装，但是查询返回的数据有多条，从而出现了java.lang.reflect.InvocationTargetException 异常3.处理方法查询数据库，删除多余的数据 修改封装数据的对象为list4.后记????这里记录的很简洁，网上记录的原因大多数是配置不对导致的，这里
2021-03-12 09:36:57
2016
原创 git项目导入idea,maven中的包不能导入，刷新maven出现Process terminated
问题原因：maven的配置文件中有错误处理方法：选择pom文件，鼠标右键，按照图示打开本地maven的配置文件，在idea中会明显的看到错误，找出错误，修改后，重新刷新maven即可成功导入maven包如下：我这里是注释的时候漏掉了一个标签，导致的报错...
2021-01-25 20:52:59
1051
原创 git bash 查看所有文件（ .idea .git 等）命令
1.前言在将本地项目上传到gitee时，没有注意，直接将 .idea 文件也上传上去了，现在想通过git bash 操作删除，但是执行命令 ll 时 发现文件未显示2.处理过程git bash 使用的是Linux的命令，在使用 命令 ll 或者 ls 时，是无法查看到隐藏文件，如 .git 文件也无法查看到 .idea 这种类型的文件ls 查看效果如下ll查看效果如下无法查看到隐藏文件及.idea 这种类型的文件夹文件等，这里通过命令ls -al...
2021-01-19 19:07:04
2551
原创 git bash配置免密登陆，gitee-ssh秘钥配置
配置ssh免密登陆1.进入git bash 使用：ssh-keygen -t rsa -C "[email protected]" 命令。连续3次回车一般用户目录下会有2个文文件2.查看：cat ~/.ssh/id_rsa.pub ,查看完整的秘钥内容3.登陆进入 gitee,在设置里面找到SSH KEY 将 .pub文件粘贴进去（将上面的秘钥拷贝，然后登陆到gitee）进入到设置页面4.在标题取一个名字，然后在下面将刚刚查询到的公钥内容拷贝...
2021-01-19 09:34:23
2218
转载 翻转equals调用，equals方法被调用时字符串和对象的顺序
之前改的bug，一开始我先判断sortKey不为空，然后再去判断sortKey的值，见下图，代码push后，同事审核后，叫我将sortKey和值得顺序调换一下，说这样就不用再判断为空。这是改之后的代码，见下图，问了几个人，说是避免空指针异常，我说我前面已经对sortKey做了一个不为空判定，有人回答说虽然没有错，但是多判断了一次，而且从代码规范上看显得多余。问题来了，equals方法被调用时，谁在前谁在后，这里面有什么讲究？经过查阅相关资料，整理了一些知识点。equals..
2021-01-13 16:01:15
1023
1
原创 java实现将图片，Word等文件存储到数据库
java实现将文件存储到数据库前言程序架构说明实现思路代码实现1.controller层主要代码2.Service层3.Dao层4.Mapper映射文件前言最近在工作中涉及到了一个将文件存储到mysql数据库中，实现文件存取操作的业务场景，本文将简单的对文件存储数据库的过程进行描述及实现程序架构说明采用的是springboot、mybatis实现对文件的转换与存储。实现思路1、从前端选择获取到需要上传的文件2、文件在Controller控制层将文件的类型和文件名称进行分割3、将文件转换为ba
2020-12-19 13:22:45
4429
6
转载 java.lang.NoClassDefFoundError: org/w3c/dom/ElementTraversal异常问题
1.问题描述在使用SpringBoot框架开发项目时遇到的一个异常，java.lang.NoClassDefFoundError: org/w3c/dom/ElementTraversal，主要意思是：找不到对应的该类，其实也就是找不到org/w3c/dom/ElementTraversal对应的jar包。异常信息如下：Caused by: java.lang.ClassNotFoundException: org.w3c.dom.ElementTraversal at java.net.U
2020-11-06 09:50:22
1174
1
转载 软件开发过程中常用的环境配置解释-DEV FAT UAT PRO
DEVDevelopment environment开发环境，用于开发者调试使用FATFeature Acceptance Test environment功能验收测试环境，用于软件测试者测试使用UATUser Acceptance Test environment用户验收测试环境，用于生产环境下的软件测试者测试使用PROProduction environment生产环境原文链接：https://blog.csdn.net/cc_want/article/de.
2020-10-29 16:29:57
676
原创 pycurl-7.43.0.3-cp27-cp27m-win_amd64.whl is not a supported wheel on this platform
记一次通过pip 安装 pycurl 报错pycurl-7.43.0.3-cp27-cp27m-win_amd64.whl is not a supported wheel on this platform 的问题我遇到的这个错是因为安装了python2 和python3 这2个版本导致的问题；解决办法：将命令：pip install pycurl-7.43.0.3-cp27-cp27m-win_amd64.whl改写为（即切换到python2）pip2 install pycu.
2020-10-10 17:09:06
935
转载 Java7 和 Java8 中的 ConcurrentHashMap 原理解析
Java7 中 ConcurrentHashMapConcurrentHashMap 和 HashMap 思路是差不多的，但是因为它支持并发操作，所以要复杂一些。整个 ConcurrentHashMap 由一个个 Segment 组成，Segment 代表”部分“或”一段“的意思，所以很多地方都会将其描述为分段锁。注意，行文中，我很多地方用了“槽”来代表一个 segment。简单理解就是，ConcurrentHashMap 是一个 Segment 数组，Segment 通过继承 Reentran
2020-10-10 09:15:20
304
原创 MySQL索引优化注意事项整理（详细）
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 orderby 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null 可以在 num 上设置默认值 0，确保表中 num 列没有 null 值，然后这样查询：select id from t where num=03.应尽量避免在 where 子句中使用!=或<>
2020-10-09 19:24:39
247
原创 Zero Copy零拷贝技术
1.概述零拷贝是指计算机操作的过程中，CPU不需要为数据在内存之间的拷贝消耗资源。而它通常是指计算机在网络上发送文件时，不需要将文件内容拷贝到用户空间（User Space）而直接在内核空间（Kernel Space）中传输到网络的方式。2.内核态和用户态就像世界上的人并不平等一样，并不是所有的程序都是平等的。世界上有的人占有资源多，有的人占有资源少，有的人来了，别人出资源，有的人专门为别人让出资源。程序也是这样，有的程序可以访问计算机的任何资源，有的程序则只能访问非常受限的少量资源。而操作
2020-09-30 23:36:05
245
原创 Kafka的消息系统语义
1.概述在一个分布式发布订阅消息系统中，组成系统的计算机总会由于各自的故障而不能工作。在Kafka中，一个单独的broker，可能会在生产者发送消息到一个topic的时候宕机，或者出现网络故障，从而导致生产者发送消息失败。根据生产者如何处理这样的失败，产生了不同的语义。2.各种不同的语义至多一次语义（At most once semantics）：如果生产者在ack超时或者返回错误的时候不重试发送消息，那么消息有可能最终并没有写入Kafka topic中，因此也就不会被消费者消费到。但是为了
2020-09-30 22:57:39
231
原创 java虚拟机JVM调优jvisualvm工具的使用及插件的安装方法
1.说明环境：必须要有java的运行环境2.打开及查看步骤打开jvisualvm 步骤win+R--- cmd，在cmd窗口输入命令jvisualvm，打开的界面如下图这里我实现开启了一个微服务，点击微服务进程，进入进入后可以看到详细的数据信息监视模块展示的信息，圈住的地方点击堆可以查看堆相关的信息，点击堆的右边mataSpace是java8开始具备的元空间线程模块展示的信息，橙色的是驻留（线程池中空闲的线程，等待接收新的任务），监视说..
2020-09-27 20:52:39
645
1
原创 Spark单机模式的安装步骤
单机模式的安装1.下载安装包2.解压安装包tar -xvf spark-2.0.1-bin-hadoop2.7.tgz3.进入conf目录4.修改文件名mv spark-env.sh.template spark-env.sh5.编辑文件vim spark-env.sh6.放开注释，添加当前主机名，保存退出7.启动进入bin执行命令：sh spark-shell --master=local可以看到是用scala语言，...
2020-09-21 11:00:24
686
原创 spring security入门--会话管理
1.说明程序代码采用之前（spring security入门--自定义UserDetails实现用户登录访问简单示例五）文章中的代码，本篇文章值给出修改部分的代码，详细代码请查看往期文章。地址：https://blog.csdn.net/qq_32224047/article/details/1086153012.会话理解会话（session）就是无状态HTTP实现用户状态可维持的一种解决方案。HTTP本身的无状态使得用户在与服务器的交互过程中，每个请求之间都没有关联性。这意味着用户得访问没
2020-09-16 15:02:49
303
原创 spring security入门--自定义UserDetails实现用户登录访问简单示例五
1.说明此示例，是在（spring security入门--从数据库读取数据实现用户登录访问简单示例四）的基础上改用了自定义UserDetails实现用户登录访问，因为这里只修改了实体类User和UserService中的代码，其他代码请参见示例四地址：https://blog.csdn.net/qq_32224047/article/details/1086077462.代码示例因为要实现UserDetails自定义，在User类中实现接口UserDetails，然后重写里面的方法注意
2020-09-16 09:58:17
9076
2
原创 spring security入门--从数据库读取数据实现用户登录访问简单示例四
1.说明之前的几个示例都是从内存中获取的数据，这里改写为从数据库获取数据实现用户登录访问功能从内存读取数据的代码可参看地址：https://blog.csdn.net/qq_32224047/article/details/1086045982.代码示例数据库建表语句CREATE DATABASE /*!32312 IF NOT EXISTS*/`security` /*!40100 DEFAULT CHARACTER SET utf8 */;USE `security`;
2020-09-15 20:05:04
2197
2
原创 spring security入门--基于角色实现用户登录访问简单示例三
1.说明此处只做spring security 基于角色实现用户登录访问简单示，只为说明spring security的简单使用方法基于权限实现用户登录访问简单示例 可以查看上一篇文章地址：https://blog.csdn.net/qq_32224047/article/details/1085978202.用户结构的RBAC权限模型在任何有认证授权逻辑的系统,都需要决定用户的权限,RBAC(ROLE-BASED-ACCESS-CONTROLLER)基于角色的权限控制模型,应用最广泛.
2020-09-15 18:55:18
651
原创 spring security入门--基于权限实现用户登录访问简单示例二
1.说明此处只做spring security 实现不同角色访问不同地址的简单示例代码，只为说明spring security的简单使用方法基本的登录可查看---spring security入门--实现用户名密码登录简单示例一地址：https://blog.csdn.net/qq_32224047/article/details/1079213872.代码示例项目结构AdminController 中的代码，做访问跳转测试用import org.springframe
2020-09-15 13:55:06
465
原创 spring security入门--实现用户名密码登录简单示例一
1.概述spring security默认的用户名是user,密码是随机生成的，那么能否自定义用户名和登录密码呢。spring security 提供给用户一个在整个配置中，扩展自定义逻辑的配置类主要自定义配置类，并且继承WebSecurityConfigurerAdapter，在类上添加@EnableWebSecurity注解就行，通过它就能实现自定义用户名、密码等信息2.实现过程2.1自定义一个内存用户覆盖父类方法configure(AuthenticationManagerBu
2020-09-15 13:16:57
1264
1
原创 Hbase中通过代码API查询删除添加遍历示例
1.说明Hbase这里采用的是完全分布式，hadoop中测试用到的是hdfs的存储，因为没有用到相关的计算，可以不用开启yarn使用了3个Zookeeper、3个Hbase、1个hadoop在本地电脑中先配置hosts文件格式：ip ip对应的主机名2.代码示例import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.
2020-09-14 09:42:44
114
原创 HBase简介与常用命令
1.概述HBase是Apache提供的一套基于HDFS的、分布式的、可扩展的、能够存储大量数据的、NOSQL(Not Only SQL)的非关系型数据库 HBase是Doug Cutting根据Google的论文<The Big Table>实现的，HBase和BigTable的设计思想一模一样，只不过BigTable是用C语言实现的，HBase是用Java实现的 HBase允许对大量的数据进行随机且实时读写 HBase能够管理非常大的表：billions of rows X m...
2020-09-14 09:32:41
208
原创 Hive数据仓库工具常用的sql操作语句
1.创建一个库create database demo;每一个database 在HDFS上都对应了一个目录2.查看库show databases;3.删除库drop database 库名4.建表hive中没有主键use demo; create table person(id int ,name string,age int);hdfs上出现对应的目录5.插入数据insert into table person v...
2020-09-08 13:25:02
664
原创 linux中配置别名的具体步骤
1.linux中的别名：1.1查看别名：alias1.2 别名的配置alias 别名='原命令'1.3 别名的删除unalias 别名1.4 使别名永久生效的方法编辑文件vi ~/.bashrc如下：添加一个进入软件安装文件夹的别名命令写入这个文件中即可永久生效 编辑完之后记得使环境变量生效:source .bashrc如果这样还不行，表示没有~/.bash_profile文件或文件中没有执行~/.bashrc文件可以在~/.bash_...
2020-09-04 20:58:34
2668
原创 Hadoop之MapReduce简介与统计字符个数demo
1.概述MapReduce是Hadoop提供的一套基于YARN的，用于进行分布式计算的框架 MapReduce是Doug根据Google的MapReduce来实现的 MapReduce将整个计算过程拆分为2个阶段：Map(映射)阶段和Reduce(规约)阶段2.MapReduce的执行流程Map阶段2.1需要处理的文件在MapReduce中会先进行切片，每一个切片会交给一个MapTask来处理2.2MapTask拿到切片之后，默认会对这个切片进行按行读取并按行处理2.3所有的.
2020-08-31 20:15:56
1278
原创 HDFS管理工具HDFS Explorer 安装配置
1.下载安装包2.双击进行安装3.选择安装路径4.安装5.安装完成后不会自动生成图标，需要去安装目录下找到，然后创建桌面快捷方式，方便以后使用6.双击图标打开7.邮箱随便写一个，只要满足邮箱格式即可，不会去登录校验8.然后选择第一个9.配置ip 和连接名名称为hadoop01（根据自己的主机名配置）10.点击Connect按钮即可链接成功，可以查询到里面存储的文件，也可以通过拖拽，选择等方式直接上传，避免了使..
2020-08-29 22:47:10
2683
1
原创 windows10自动更新的关闭方法
1.更新文件的删除如果开始菜单提示更新重启，那么说明已经下载了更新文件操作方法：win+R 打开窗口后输入路径C:\Windows\SoftwareDistribution\Download确认进入到该路径，删除里面下载的所有文件2.关闭更新服务下载的更新文件删除后，点击我的电脑图标，鼠标右键选择管理进入管理界面后，选择服务和应用程序，双击击下面的服务找到Windows Update选中，鼠标右键--属性R,点击进入在常规栏停止...
2020-08-29 16:25:22
273
原创 通过一个形象的例子描述java中的指令重排
1.概述指令重排实际上是对指令的"优化"。指令重排指的是给定的顺序和实际上执行的顺序不一致。在程序执行过程中，有不到万分之一的概率会产生指令重排。指令重排不能违背"happen-before"(先发生 - 要想使用这个东西，之前必须先有这个东西)原则。在多线程执行相同代码的前提下，如果产生指令重排，就会导致多个线程获取到了不同的结果 - 结果产生了二相性 - 在多线程条件下，一般会禁止指令重排2.描述说明例如：做题顺序，希望的顺序是按照题号顺序做，但是在实际中先做会做的-------类似指令重排
2020-08-29 15:44:10
1013
原创 Hadoop中HDFS(Hadoop Distributed File System)细节归纳
一、概述HDFS(HadoopDistributedFileSystem)是Hadoop提供的一套用于进行分布式存储的文件系统HDFS是Doug仿照Google的GFS来实现的二、细节归纳一、基本概述1.HDFS本身是一个典型的MS结构的框架：主节点NameNode，从节点DataNode-通过slaves文件来指定从节点，HDFS的主节点通过hdfs-site.xml来指定2.HDFS对会上传的数据进行切分，切成数据块(Block)来存储到不同的DataNode上3.HD...
2020-08-28 19:31:18
477
原创 Hadoop伪分布式的安装配置步骤
1.配置步骤1. 安装JDK2. 关闭防火墙3. 修改主机名。Hadoop要求主机名中不能出现 - 或者_ 等特殊字符vim /etc/sysconfig/network修改HOSTNAME，例如HOSTNAME=hadoop01保存退出，然后重新生效source /etc/sysconfig/network4. 需要将主机名和IP进行映射vim /etc/hosts将之前的内容全部删除添加IP 主机名映射，例如127....
2020-08-28 19:16:45
4104
原创 ZookeePer的常用命令---单机版本的安装与节点的创建
1.概述Zookeeper是Yahoo!(雅虎)开发后来贡献给了Apache的一套用于分布式管理和协调的机制 Zookeeper早期是Hadoop的组件，后来独立出来形成了单独的项目 Zookeeper本身提供了中心化服务：统一配置、统一命名、提供分布式锁、提供组服务官方地址：https://zookeeper.apache.org/2.安装单机模式：在一台服务器上安装，启动这个框架的部分功能 伪分布式：在一台服务器上安装，利用多个进程来模拟集群环境，启动这个框架的大部分甚至全部...
2020-08-27 23:53:39
571
原创 序列化和RPC的框架之AVRO创建对象的6种方式与序列化和反序列化
1.概述AVRO是Apache提供的一套用于进行序列化和RPC的框架 AVRO原本是Hadoop的子工程之一，后来被独立出来成为了单独的顶级工程官网：http://avro.apache.org/2.AVRO创建对象的6种方式1.创建maven工程，引入pom依赖 <dependencies> <dependency> <groupId>org.apache.avro</groupId&g.
2020-08-27 18:25:06
477
原创 Failed to execute goal org.apache.avro:avro-maven-plugin:1.8.2:schema (default) on project AVRO1: Ex
Failed to execute goal org.apache.avro:avro-maven-plugin:1.8.2:schema (default) on project AVRO1: Execution default of goal org.apache.avro:avro-maven-plugin:1.8.2:schema failed: Type not supported: recode编写avro工程是在compile时，出现如下错误我的jdk版本等都是正确的，检查发现是.
2020-08-27 13:49:59
1130
原创 通过一个详细例子引入重入锁ReentrantLock、ReadWriteLock读写锁
1.概述ReentrantLock是可重入的独占锁。比起synchronized功能更加丰富，支持公平锁实现，支持中断响应以及限时等待等等。可以配合一个或多个Condition条件方便的实现等待通知机制。2.代码示例Demo1：并发安全会存在抢占问题package com.company.lock;public class MyLockDemo { static int i = 0; public static void main(String[] args)
2020-08-24 20:40:42
220
原创 高并发之JUC---ConcurrentMap（并发映射）
1.概述ConcurrentMap是JDK1.5提供的一套用于应对并发且能保证线程安全的一套映射机制 ConcurrentMap主要包含2部分内容：ConcurrentHashMap和ConcurrentNavigableMap2.ConcurrentHashMap - 并发哈希映射底层是基于数组+链表结构来进行存储，数组的每一个位置都称之为是一个桶，每一个桶中维系一个链表 数组默认初始容量是16，默认加载因子是0.75，每次扩容(桶数)默认增加一倍 ConcurrentHashMap的最大
2020-08-21 19:43:29
295
java从后台获取数据并传值到pdf展示源码
2020-05-19
java坦克大战源码
2020-05-18
mysql-java-connector-java-5.1.7-bin.zip
2020-05-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人