- 博客(62)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 使用java对elasticsearch某字段进行修改
一、需求情景 要求将es中文章信息的所在目录移动到另外的目录上去，可以一次性移动多篇文章到指定目录上。 思路：过滤找到es中需要移动的文章，改变对应的目录id即可。二、代码实现 执行方法相对比较简单，主要分为构造查询条件和执行查询修改两步，主要运用UpdateByQueryRequest查询操作的方法。 public Long moveCatalogModel(List<String> modelId, String catalogId) throw...
2021-01-29 10:18:18
3552
2
原创 使用java对elasticSearch进行复合查询
一、实现需求 指定目录下，根据搜索词对有效的es文档的标题进行检索，并对检索词高亮，实现分页查询，若没有填搜索词，则显示指定目录的全部文档信息，查询内容按照更新时间倒序排序。二、代码实现1.检索结果文档实体@Datapublic class ModelSearchDocsVO { private String classifyName; private String classifyCode; private List<ModelSearchDocsV..
2021-01-29 10:06:14
750
原创 JAVA通过HashSet方法对list实体对象去重
1.原理 在实体对象类中重写hasCode方法和equals方法。先比较hasCode是否相等，若相等则不添加；若不等再比较equals方法，若也相等则添加元素，否则不添加。这种方法比循环遍历list元素更加高效。 hashSet的底层实际上就是一个hashMap的key值，因此不允许重复。2.代码示例2.1实体对象类 若实体对象元素中含有null，则使用equals比较时会报错，因此需要判别一下。import java.util.Objects;public...
2020-10-28 15:01:36
1084
5
原创 将JSONObject转换为Map，List，String等任意数据类型的简单方法
JSONObject的包名为com.alibaba.fastjson.JSONObject，话不多说，直接就一行代码：Map<String,Map<String,String>> map=JSONObject.parseObject(json.toJSONString(),new TypeReference<Map<String,Map<String,String>>>(){}); 其中json表示com.alibaba.f...
2020-09-16 09:47:13
3053
原创 SSMAOP日志--实现用户访问记录的通用后端代码
1.需求分析 通过AOP方法实现用户对网页的访问记录，即实现“某用户于什么时间通过什么ip访问了什么接口方法，访问的时长为多久”。2.数据库和表结构设计2.1日志表信息描述sysLog字段名称 字段类型 字段描述 id varchar 主键uuid visit_time datetime 访问时间 user_name varchar 操作者用户名 ip varchar 访问ip url varchar..
2020-08-20 13:23:16
483
1
原创 文件上传报错：Current request is not a multipart request的解决办法
1.问题现象 写在文件上传接口时，传入参数有MultipartFile文件和其他类型参数，如图所示。 结果前端调用时报错org.springframework.web.multipart.MultipartException:Currentrequestisnotamultipartrequest，并且发现orgId参数是会拼接到url中的，显然没有一起传入。2.问题分析 显然从报错信息来说，是因为使用springboot制作excel表格上传时候报错，上...
2020-08-10 14:06:44
63132
8
原创 往Mysql添加数据后，返回该记录的自增主键值
1.需求分析 在项目开发中往往会遇到这样的情况，往数据库里面插入数据，需要立马获得该数据的自增id，例如添加用户数据后，要立刻添加用户角色关系的数据。这个时候一般的做法就会再去查询该数据获得id，这样往往会增加数据库的压力，同时查询条件不一定是唯一标识符，影响准确性。2.推荐方法 思路是将主键值注入到实体类对应的属性。在mybatis框架中，在mapper中指定keyProperty属性，例如：<insert id="insertRole" parameter="Um...
2020-07-22 15:08:42
671
1
原创 Spring基于XML的IoC环境搭建
1.什么是IoC IoC,即控制反转（Inversion of Control），把创建对象的权利交给框架，是框架的重要特征。它包括依赖注入和依赖查找。2.IoC的作用 削减计算机程序的耦合，即削减代码之间的依赖关系。3.基于XML的配置3.1拷贝必备的jar包到工程的lib目录中3.2在类的根路径下创建一个任意名称的xml文件（不能是中文）给配置文...
2020-05-08 09:46:27
149
原创 使用PageInfo把list手动进行分页处理
在项目中经常会遇到对list列表进行分页处理，这时就不能使用PageInfo在查询数据库时分页，需要查询全部之后，进行手动分页。 从PageInfo的类中可以看出，PageInfo里面包含各个参数，各个参数的含义如下：//当前页 private int pageNum; //每页的数量 private int pageSize; //当前页的数量 private...
2020-04-21 15:12:22
6890
6
原创 SpringBoot规范和优化后端接口（validator+BindResult进行校验、全局异常处理）
一个后端接口大致分为四个部分：接口地址（url）、接口请求方式（get、post等）、请求数据（request）、相应数据（response）。优秀的后端接口的关键点就是看是否规范。1.所需要的依赖 SpringBoot配置项目，需要导入一个spring-boot-starter-web包：<!--web依赖包，web应用必备--><depe...
2020-04-16 14:58:01
1455
原创 Spring Data ElasticSearch的常用操作——增删改查
1.配置和准备Spring Data ElasticSearch请参考上一篇文章：https://blog.csdn.net/u013168084/article/details/1055375392.增删改查方法测试public interface ArticleService { //保存 public void save(Article article); ...
2020-04-16 11:17:15
1313
原创 Spring Data ElasticSearch的简介和入门使用
1.Spring Data ElasticSearch的简介1.1什么是Spring Data Spring Data是一个用于简化数据库访问，并支持云服务的开源框架。其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。 Spring Data可以极大的简化JPA的写法，可以在几乎不用写实现的情况下，实现对数据的访问和操作。除了CRUD外，还包括...
2020-04-15 17:06:39
601
原创 ElasticSearch使用Java客户端实现对文档的分页和搜索词高亮
public static void keyWordQuery() throws Exception { //连接对象 TransportClient client = linkObject(); //设置搜索条件 SearchRequestBuilder searchRequestBuilder = client.prepareS...
2020-04-15 16:02:56
258
1
原创 ElasticSearch使用Java客户端实现对文档的查询操作
1.关键字查询@Testpublic void testTermQuery() throws Exception{ //1、创建es客户端连接对象 Settings settings=Settings.builder().put("cluster.name", "my‐elasticsearch").build(); TransportClient client=n...
2020-04-15 11:39:48
558
原创 ElasticSearch使用Java客户端创建文档的两种方法（XContentBuilder和jackson转换实体）
1.通过XContentBuilder创建文档@Test//创建文档(通过XContentBuilder)publicvoidtest4() throwsException{ // 创建Client连接对象 Settings settings=Settings.builder().put("cluster.name", "my‐elasticsearch").build(...
2020-04-15 10:44:28
8354
原创 ElasticSearch使用Java客户端创建索引index和映射mapping
1.创建工程，导入pom.xml坐标<dependencies> <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version...
2020-04-15 10:08:04
2495
转载 java实现简单的树形结构方法
1.首先定义实体类，包括本节点、父节点和叶子节点的实体列表:@Datapublic class NodeTest { private Long id; private String name; private Long parentId; private List<NodeTest> children; public Node...
2020-02-16 15:12:19
3142
原创 使用JAVA API操作HBase
1.获取连接 在java中连接HBase集群，只需要提供HMaster服务的IP地址、端口号、HBase在HDFS上的根目录地址、Zookeeper集群地址即可。使用ConnectionFactory静态create方法即可。/*** 配置ss*/static Configuration config = null;private Connection connec...
2020-02-03 16:00:02
863
原创 HBase常用的shell命令
HBase可以用shell进行一些常规的HBase增删改查以及数据库管理操作，下面将介绍几种常见的HBase shell命令操作： 1.启动。 打开终端，直接输入hbase shell。 注意：需要配置HBase的环境变量，否则必须进入/usr/local/hbase1.1.2/bin目录执行。hbase shell 2.查看表。 使...
2020-02-03 14:38:05
1765
原创 HBase的安装和配置
HBase的配置有三种模式：单机模式、伪分布式模式、完全分布式模式。其中伪分布式模式和完全分布式模式需要有zookeeper和Hadoop集群的支持。这里介绍的是完全分布式模式，因此在安装配置HBase的时候，应该提前安装好JDK、Hadoop、zookeeper集群。实现步骤： 1.确保JDK、Hadoop、zookeeper集群安装成功。参考之前的文章：https://blo...
2020-02-03 14:02:22
342
原创 代码统计以及cloc工具的使用
一、使用git命令行统计代码量统计某个人某一时间段的代码量$gitlog--format='laowang'|sort-u|whilereadname;doecho-en"$name\t";gitlog--author="$name"--pretty=tformat:--since=2019-07-15--until=2019-12-25--nums...
2020-01-14 13:18:11
1220
原创 手动挂载磁盘操作步骤
1查看分区信息lsblk可以看到vda分区下有1T的容量，但是目前的vda1和vda2两个子分区只使用了200GB的容量，剩余800GB需要手动进行挂载2新建分区fdisk/dev/vda输入m获取帮助可以看到输入n即为添加新分区输入n可以看到系统让你选择分区类型，提示主分区里面有已经分配了2个（vda1和vda2），还可以有...
2019-12-26 13:26:41
3101
原创 给编译器看的注解--Annotation
1.Annotation的含义Annotation主要服务于编译器，属于一种配置信息。在本质上，Annotation提供了一种与程序元素关联任何信息或者任何元数据的方式。Annotation可以像修饰符一样被使用，可以应用于任何程序元素（如包、类型、构造方法、方法、成员变量、参数、本地变量）的声明中。这些信息被存储在Annotation的“name=value”结构对中。事实上，Annotat...
2019-08-22 21:16:02
378
原创 java中的抽象类与接口
1.抽象类1.1抽象类定义规则如下：（1）抽象类和抽象方法都必须用abstract关键字来修饰；（2）抽象类不能直接实例化，也就是不能直接用new关键字去产生对象； Book book=new Book(); //若Book是抽象的，则语法错误，因为无法被实例化 （3）抽象类定义时抽象方法只需声明，而不需要实现； abstract class Book...
2019-08-20 21:32:34
130
原创 通过java程序对kudu表进行权限操作
对kudu表进行权限操作除了上述通过impala-shell和hue界面进行SQL操作外，还可以通过Java client、C++ client、Python client操作kudu表，这里介绍通过java程序对kudu表进行权限操作。一、Impala jdbc连接hive和kudu准备工作1.配置环境IDEA和JDK此处不做说明，请自行完成。2.IDEA搭建maven安装、下载...
2019-08-17 11:39:54
1164
原创 对kudu表进行权限管理
对kudu表操作之前，需要先安装impala并配置sentry服务，因为kudu表可以通过impala-shell的SQL操作。详情请参考https://blog.csdn.net/u013168084/article/details/99690353Kudu是Cloudera开源的新型列式存储系统，是Apache Hadoop生态圈的新成员之一(incubating)，专门为了对快速变化的数...
2019-08-17 11:35:18
2006
1
原创 sentry权限管理设置实例
请参考https://blog.csdn.net/u013168084/article/details/99690290，自行安装sentry。1.Hive/Impala/Hue/HDFS服务集成sentry1.1hive配置配置Hive使用Sentry服务关闭Hive的用户模拟功能集群未启用安全认证环境下，需要配置以下参数1.2impala配...
2019-08-17 11:22:52
2265
原创 CM下安装sentry
前言本文档主要描述如何配置hadoop用户权限管理。CDH平台中，要启用授权管理，需要让集群集成sentry。在进行权限管理前，请自行安装相关软件，安装版本如下，如遇不同版本，安装方法大致相同。 内容 版本 CentOS 7.4 64位 JDK 1.8 Cl...
2019-08-17 10:57:38
363
原创 HDFS常用命令hdfs dfs
1.hdfs dfs、hadoop fs、hadoop dfs三个命令的区别 在介绍命令之前，首先要知道hdfs dfs、hadoop fs、hadoop dfs三个命令的区别。 hadoop fs：通用的文件系统命令，针对任何系统，比如本地文件、HDFS文件、HFTP文件、S3文件系统等。 hadoop dfs：特定针对HDFS的文件系统的相关操作，但是...
2019-08-08 16:33:40
6418
原创 Hadoop集群相关命令类别
一般操作Hadoop集群都是使用相关的Hadoop命令，比如文件上传、下载，文件夹新建、删除、拷贝等。大多数Hadoop集群的相关命令类别如下表所示。 种类 命令 解释 示例 ...
2019-08-07 22:21:39
137
原创 PS常用快捷键
1、图层应用相关快捷键：复制图层：Ctrl+j盖印图层：Ctrl+Alt+Shift+E向下合并图层：Ctrl+E合并可见图层：Ctrl+Shift+E激活上一图层：Alt+中括号（】）激活下一图层：Alt+中括号（【）移至上一图层：Ctrl+中括号（】）移至下一图层：Ctrl+中括号（【）放大视窗：Ctrl+“+”缩小视窗：Ctrl+“—”放大局部：C...
2019-06-29 16:54:55
2692
原创 Hive元数据配置metastore
1.解压MySQL驱动的jar包，并拷贝MySQL驱动的jar包到hive安装目录的lib下：tar -zxvf mysql-connector-java-5.1.27-bin.jarcp mysql-connector-java-5.1.27-bin.jar /opt/modules/hive-0.13.1/lib/2.在hive/conf中创建文件hive-site.xml，并编辑...
2019-04-24 11:18:41
270
原创 Linux中MySQL的安装教程
1.下载并解压下载链接：https://pan.baidu.com/s/1heZ5936W4j47FUvtsbGbbQ提取码：7oji解压：unzip mysql-libs.zip2.查看是否已经安装过mysql：rpm -qa | grep mysql若已经安装过，则卸载掉原来版本：rpm -e --nodeps 安装名称3.先切换到root用户进入...
2019-04-23 19:25:08
156
原创 Linux下安装MySQL不兼容问题及解决
在linux中安装MySQL时出现如下情况：主要原因：系统已经安装了其他版本的mysql-libs包导致不兼容。通过如下方法查看之前安装的MySQL信息：解决方法：将之前的mysql的lib包删除了即可，删除mysql-libs：yum remove mysql-libs再次安装MySQL时则不会出现上述问题。...
2019-04-23 18:48:48
382
原创 执行hadoop中bin操作时报错：Operation category READ is not supported in state standby
在hadoop执行操作的时候报错如下： 从报错中可以分析出错误：其中Operation category READ is not supported in state standby 原因：配置了Hadoop HA，启动了一个hadoop NameNode时而启动的NameNode为standby状态。 查看nn1状态： 解决方法：将standby状态手动改为act...
2019-04-22 15:54:15
4312
原创 hive安装教程
1.解压到目标目录中：tar -zxvf apache-hive-0.13.1-bin.tar.gz -C /opt/modules2.将conf中的hive-env.sh.template改名为hive-env.sh3.编辑hive-env.sh：vim hive-env.sh 设置目录环境变量：4.创建目录并设置权限（在hadoop目录下）$bin/hdfs d...
2019-04-22 15:40:10
276
原创 Hadoop2.x HDFS HA架构部署配置
一、HA简介 在Hadoop2.x之前，HDFS集群中只有一个NameNode，若NameNode出现了故障，则整个集群将无法使用，直到NameNode重新启动。 Hadoop2.x开始支持HA和Federation。HDFS HA功能通过配置Active/Standby两个NameNode实现集群中对NameNode的热备。如果Active出现故障，则Standby可快速替代...
2019-03-25 17:35:59
381
原创 Hadoop伪分布式NameNode启动失败：storage directory does not exist
在启动hadoop的HDFS时显示NameNode启动失败。 首先，查看日志文件，找到报错信息： 报错分析：伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行（可参考官方教程），但是如果不设置hadoop.tmp.dir参数的话，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系...
2019-03-19 16:55:37
2751
原创 虚拟机VMWare Workstation的.vmdk格式与VirtualBox的.vdi格式相互转换
现在VMWare Workstation虚拟机越来越普及，很多人以前都是用VirtualBox的。由于VirtualBox导出的镜像文件是.vdi格式，而VMWare Workstation的格式是.vmdk的，因此需要把两个格式相互进行转换。具体步骤： 1.找到硬盘镜像文件格式为.vdi的位置 2.找到安装VirtualBox中的组件VBoxManage.ex...
2019-02-25 14:01:37
3129
原创 MapReduce实例之WordCount代码详细分析
一、问题描述用MapReduce统计每个单词在整个数据集中出现的总次数（WordCount）。二、MapRedeuce对Wordcount的处理过程如下：1.将文件拆分成splits，由于测试用的文件较小，所以每个文件为一个split，并将文件按行分割形成<key,value>对，下图所示。这一步由MapReduce框架自动完成，其中偏移量（即key值）包括了回车所占的字符...
2019-02-09 16:11:40
568
IntelliJIDEA快捷键（中文版）.pdf
2019-12-16
Centos7 安装Cloudera.pdf
2019-12-16
Apache Kudu 1.4.0 中文文档.pdf
2019-12-16
2018年美国大学生数学建模大赛参赛论文B题（世界语言变迁）
2018-10-29
2017年研究生数学建模D题（前景目标提取）参赛论文
2017-12-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人