- 博客(145)
- 收藏
- 关注
RSS订阅原创 es查询代码模板
public Integer getReadCountById(XfaceNoticeMessageListInquiryResponseSubDTO subDTO) { // 构造查询器 BoolQueryBuilder boolQueryBuilder = new BoolQueryBuilder(); boolQueryBuilder.filter(QueryBuilders.termsQuery("push_id", subDTO.getNoticeI
2022-05-18 14:59:08
820
原创 EasyExcel读文件的使用模板
EasyExcelEasyExcel是一个基于Java的简单、省内存的读写Excel的开源项目。官网:（https://github.com/alibaba/easyexcel）常见api · 语雀 (https://www.yuque.com/easyexcel/doc/api)。定义格式package com.bootcrab.cos.dto.coms.easyexcel;import com.alibaba.excel.annotation.ExcelProperty;import i
2022-05-13 18:24:07
774
原创 sentienl控制台、客户端持久化到Apollo
sentinel 学习笔记前段时间大致用了一下sentinel。但是阿里云的sentinel开源并没有实现持久化，针对这个问题我采用了apollo去实现sentinel的持久化。下面就记录一下实现sentinel持久化的过程。Sentinel 是什么？随着微服务的流行，服务和服务之间的稳定性变得越来越重要。Sentinel 是面向分布式服务架构的流量控制组件，主要以流量为切入点，从限流、流量整形、熔断降级、系统负载保护、热点防护等多个维度来帮助开发者保障微服务的稳定性。github项目地址如何使用
2021-12-23 18:07:09
911
原创 ElasticSearch 学习笔记
ElasticSearch 学习笔记很久没有写blog了，最近在一个项目中有用到ElasticSearch，出现了一个不定时出现的bug，经常会每隔一段时间es的查询就会失效，有幸捕获到这个异常，查看报错，是连接超时的问题，后来通过百度，为es的配置设置了连接池的大小，问题就解决了。这时候经典疑惑就来了：为什么他运行不了？为什么他又能运行了？带着这样的疑问，我打开了elastic官网进行学习。什么是ElasticSearch?Elasticsearch 是一个实时的分布式搜索分析引擎，它能让你以前
2021-12-13 16:11:30
1534
原创 rabbitmq 在Springboot项目中的运用
rabbitmq 在Springboot项目中的运用rabbitMQ的依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-amqp</artifactId></dependency>rabbitMQ的下载第一步：安装Erlang OTP，由于RabbitMQ是用Erlang编写的
2021-10-25 16:55:47
250
原创 Springboot分页对象
Springboot分页对象为了应付一下1024的节日，推荐一下Springboot的分页对象//// Source code recreated from a .class file by IntelliJ IDEA// (powered by FernFlower decompiler)//package com.bootcrabframework.cloud.core.component;import io.swagger.annotations.ApiModel;import i
2021-10-24 22:30:02
1988
原创 concurrentHashMap源码解析
concurrentHashMap源码解析put解析public V put(K key, V value) { return putVal(key, value, false);}/** Implementation for put and putIfAbsent */final V putVal(K key, V value, boolean onlyIfAbsent) { //判断key和value 不能为null if (key == null || value
2021-09-30 18:49:28
87
原创 SpringCloud之学习笔记（Feign+consul）
SpringCloud之学习笔记Spring Cloud 为开发者提供了快速构建分布式系统中一些常见模式的工具（例如配置管理、服务发现、断路器、智能路由、微代理、控制总线、一次性令牌、全局锁、领导选举、分布式会话、集群状态）。分布式系统的协调导致了样板模式，使用 Spring Cloud 开发人员可以快速建立实现这些模式的服务和应用程序。它们将适用于任何分布式环境，包括开发人员自己的笔记本电脑、裸机数据中心和托管平台（如 Cloud Foundry）。SpringCloud中文文档：https://ww
2021-08-31 18:18:40
555
原创 阿里盒马一面
阿里盒马一面自我介绍（个人项目、擅长的方向）为什么选择Java方向？你觉得你的项目有什么难点吗？怎么解决的在项目中，为什么选择Shiro（而不选择Spring Security呢？）讲一下cookie和session的区别Spring Boot用的多吗？对Spring的框架有了解吗？AOP和DI讲一下。Java的集合类有了解吗？对于整个体系有认识吗？讲一下HashMap，为什么CurrentHashMap是线程安全的分java1.7、1.8讲。讲讲TCP和UDP协议。Http和Http
2021-08-14 15:59:22
136
原创 交换机与路由器
交换机与路由器参考视频：https://www.bilibili.com/video/BV1fU4y1t7Ju交换机 我们先来了解一下交换机，它的功能就是把数据包发送到正确的位置。 交换机就像是快递员，它可以根据数据包中的目标mac地址，找到它对应的物理端口，一台交换机有很多个端口，他们都有自己的编号，计算机的网卡通过网线连接到交换机的端口上，这个端口就是一个确定的物理位置，我们只要知道某个网卡的mac地址在哪个端口上，我们就能正确的把数据包发给他。 在交换机中，有一张端口与mac地址的映
2021-08-12 22:42:18
270
原创 Java 内存模型
Java 内存模型Java 内存模型硬件内存模型多CUP缓存产生的同步问题CPU指令重排Java内存模型线程通信中可能存在的问题并发三要素可见性原子性有序性Java 内存模型参考视频：https://www.bilibili.com/video/BV1F64y1B7sV参考博客：https://zhuanlan.zhihu.com/p/29881777硬件内存模型周所周知：CPU的处理速度和内存的读写读写速度是不在一个数量级的，所以需要CPU在内存之间加上缓存来进行提速，这就呈现了一种CPU-寄存
2021-08-11 21:02:48
92
原创 frp内网穿透+Nginx反向代理
frp内网穿透+Nginx代理frp 的作用(来自百度百科)利用处于防火墙后的机器，对外网环境提供 http 或 https 服务。对于 http, https 服务支持基于域名的虚拟主机，支持自定义域名绑定，使多个域名可以共用一个80端口。利用处于防火墙后的机器，对外网环境提供 tcp 和 udp 服务，例如在家里通过 ssh 访问处于公司局部环境的主机。frp下载地址下载地址：https://github.com/fatedier/frpfrp中文文档https://gofrp.or
2021-08-10 20:53:25
2961
1
原创 Java锁机制（Synchronized）[无锁、偏向锁、轻量级锁、重量级锁]
Java锁机制（Synchronized）JVM内存结构在了解Java锁机制前，先来复习一下JVM的内存结构对象、对象头、结构Java的对象包含了三个部分：对象头、实例数据、对齐填充字节。对齐填充字节是为了满足Java对象的大小必须是8bit的倍数这一条件而设计的。实例数据就是在你初始化对象时，设定的属性和状态的内容（属性和方法）。对象头存放了一些对象本身运行时的信息，对象头包含了两部分：Mark Word和Class Pointer。相较于实例数据，对象头属于一些二外的存储开
2021-07-18 20:54:11
901
1
原创 java线程笔记（锁、线程通讯、线程池）
java线程文章目录java线程创建线程方式一：继承Thread类创建线程方式2：实现runnable接口对比多个线程操作同一个对象：买火车票同步锁synchronizedLock锁synchronized与Lock的对比线程通信使用线程池线程池自定义线程池提交优先级创建线程方式一：继承Thread类//创建线程方式一：继承Thread类，重写run()方法，调用start开启线程//总结：注意，线程开启不一定立即执行，由CPU调度执行public class Test extends Thr
2021-07-06 20:14:42
96
1
原创 快速傅里叶变化（FFT）含模板
快速傅里叶变化（FFT）资料来源：https://www.bilibili.com/video/BV1Y7411W73U前置知识索引FFT的核心算法是基于复数和单位根的，并且在算法竞赛中FFT的最普遍应用是求i多项式乘法，或者是卷积。复数 Complex Number 定义：z=a+bi其中a,b∈R，i=n加法法则：(a+bi)+(c+di)=(a+c)+(b+d)i乘法法则：（a+bi)(c+di)=(ac−bd)+(ad+bc)i欧拉定理：eiθ=cosθ+isinθ定义：z =
2021-07-04 22:14:53
431
2
原创 阿里闲鱼技术部面试
阿里咸鱼技术部面试自我介绍校外竞赛获得过的最好的名次？在你的学习项目或者是竞赛过程中，对你帮助最大的是什么呢？对索引的了解，在项目组有用到过嘛？数据库分页，假设有1e9的数据，会不会出现越分页越慢的情况？讲一下B+树的数据结构。讲一下你的项目吧。你负责什么功能？讲一下事务的隔离级别。讲一下你对悲观锁乐观锁的理解。怎么用sql语句实现乐观锁悲观锁？情景模拟：如果有两个事务要同时修改一个值，但只能有一个事务能完成，要怎么解决这种情况？try catch语句中，catch语句执行了retur
2021-07-03 16:44:15
392
原创 JVM 笔记
JVM 笔记如何判断对象是否死亡（两种方法）引用计数法 给对象中添加一个引用计数器，每当有一个地方引用它，计数器就加 1；当引用失效，计数器就减 1；任何时候计数器为 0 的对象就是不可能再被使用的。 这个方法实现简单，效率高，但是目前主流的虚拟机中并没有选择这个算法来管理内存，其最主要的原因是它很难解决对象之间相互循环引用的问题。 所谓对象之间的相互引用问题，如下面代码所示： 除了对象 objA 和 objB 相互引用着对方之外，这两个对象之间再无任何引用。但是他们因为互相引用对方，导致它
2021-07-01 16:44:56
99
原创 Hadoop（HDFS、Yarn、MapReduce、Zookeeper、Kafka、Flume、Storm、Spark） 知识点总结
知识点总结请简述HDFS集群的总体架构以及NameNode、DataNode和SecondaryNameNode的作用。什么是HDFS的机架感知策略？在HDFS使用该策略有什么优点？简述HDFS读写数据的流程。简述YARN集群的总体架构以及ResourceManager、NodeManager、ApplicationMaster和Container的作用。以单词计数为例，简述MapReduce计算模型的三个阶段。在ZooKeeper集群中，znode节点有哪几种类型？不同类型的节点分别具有什么特点？什么是H
2021-06-26 13:41:41
951
原创 Spark Streaming实时处理
Spark Streaming实时处理实验内容 在本地或HDFS新建一个测试目录，编写一个简单程序，每随机间隔若干秒（5s以内）在该目录下新建一个文件，并写入若干行内容（每一行包含若干单词，单词之间以空格分隔）。现利用Spark Streaming分别完成如下单词统计：（1）实时统计每10s新出现的单词数量（每10s统计1次）；（2）实时统计最近1分钟内每个单词的出现次数（每10s统计1次）；（3）实时统计每个单词的累积出现次数，并将结果保存到本地文件（每10s统计1次）实验步骤创建文件流
2021-06-13 22:28:27
1574
2
原创 字节一面（后台开发）
字节一面（后台开发）自我介绍做题：给一串字符，每个字母只能出现一次，要求输出的字典序最小。 输入：“bdcacbbd” 输出：“acbd”讲一下数据库的索引。B树和B+树的不同点。如果一个表有a,b,c三个字段，查询a,b要怎么建立索引？那又要查a,c呢？事务的隔离级别。HTTP请求有哪些状态码？TCP的拥塞控制。进程间通讯。浏览器输入url到产生界面的过程？讲一下你的项目吧，你在这个过程中负责的是哪一个部分？反问环节。...
2021-06-13 13:55:27
193
原创 阿里(菜鸟网络)二面
阿里二面先简单自我介绍一下。你现在做过哪些项目。你的项目中数据库这一块是你搭建的，那能不能把你的一些关键的表的设计和关联关系说说看？继续细问，为什么要这样设计？目的是什么。我们在设计数据库的时候一般说的，主键，外键，唯一键，你是怎么理解的？那你有用过索引吗？是在什么情况下用的索引？为什么加了索引之后可以加快查询呢？我们在数据库设计的时候要遵循范式嘛，你知道有哪些范式嘛？除了在数据库设计这部分之外，你在项目组还有参与哪些吗？了解过MVC的设计模式吗？前后端分离的话，后端主要完成的功能是M
2021-06-13 13:27:40
197
1
原创 阿里 菜鸟网络(一面)
阿里 菜鸟网络 (一面)Base：杭州，岗位：Java后端开发自我介绍？为什么选择的是应用开发，而不是算法类的呢？介绍一下你的项目，用了哪些模块？技术细节可以介绍一下。web框架是什么？SpringBoot和Spring的区别？有什么优势？Java中常用的数据结构？这些数据结构是线程安全的吗？如果我要在多线程的环境下使用这些数据结构我应该怎么做？常用的设计模式有了解吗？简单说一下工厂模式吧innoDB引擎的索引是什么数据结构知道吗？B+树相对于B树有什么坏处？数据库的事务有几种隔离
2021-06-03 21:21:22
332
原创 Spark SQL练习
Spark SQL实验目的1.理解Spark SQL工作原理；2.掌握Spark SQL使用方法。实验内容 现有一份汽车销售记录（文件名：Cars.csv），销售记录包括时间、地点、邮政编码、车辆类型等信息，每条记录信息包含39项数据项。按步骤完成如下操作（建议在Spark-shell中完成）： （1）将汽车销售记录上传至HDFS； （2）使用编程方式定义RDD模式，提取月、市、区县、品牌、车辆类型、使用性质和数量7列，并定义相应Schema； （3）将（2）的结果以json格式保
2021-06-02 20:33:17
3314
10
原创 浅读HashMap源码(java 1.8)
HashMap 学习笔记存储结构（数据结构）从结构实现来讲，HashMap是数组+链表+红黑树（JDK1.8增加了红黑树部分）实现的，如下如所示。看下源码： /** * Basic hash bin node, used for most entries. (See below for * TreeNode subclass, and in LinkedHashMap for its Entry subclass.) */ static class N
2021-05-29 14:33:00
69
1
原创 Spark RDD编程
Spark RDD编程需要用到的技术：Spark、Hadoop集群、Scala实验内容现有大约500万条搜索引擎产生的记录，数据格式如下：每一行包含6个字段：字段1代表数据产生的时间；字段2代表用户，即UID；字段3代表用户搜索关键词；字段4代表URL超链接在返回结果中的排名；字段5代表用户单击超链接的顺序号；字段6代表用户单击的URL超链接的地址。请编写Scala程序，实现如下功能：（1）统计用户数量，输出格式如下：（2）统计搜索次数在20次及以上的用户UID及搜索次数，输出格式（按照搜
2021-05-27 21:30:45
751
3
原创 BNUZ_2021_IT节题解
文章目录BNUZ_2021_IT节题解A.我的回合，抽卡！B 游戏兑换码C.你十七张牌能把我秒了？D.嘉然小姐的狗E. 括号匹配F. 不可触碰的禁忌G.神秘的约会H. 二元一次方程组I.奇妙的密码J 驿站选址K.括号翻转BNUZ_2021_IT节题解赛后补题链接：https://oj.bnuz.edu.cn/collections/Bh6nJnGtWXwW/problems?limit=40&page=8A题————————博弈B题————————数论分块C题————————简单模拟D题
2021-05-18 23:06:14
248
3
原创 Storm综合应用
Storm综合应用实验内容假设在某一搜索应用中，需要实时统计搜索次数最多的热门关键词，并按照实时统计搜索次数输出最热门的20大热门关键词及被搜索次数。用户搜索的日志通过Flume采集，并写入Kafka，Storm从Kafka中实时读取数据，并完成实时统计工作，并进行输出。提示：（1）搜索日志可以采用搜狗搜索数据，一行代表一次用户搜索；（2）Flume Agent的Source可以配置为syslogudp类型（端口5640），监控搜索日志；（3）输出形式自定。思路使用Flume批量的读取文件
2021-05-13 10:41:47
540
原创 字节一面凉经
字节一面凉经了解TCP、UDP吗？为什么TCP是可靠的？服务器接收到的TCP包顺序是乱的怎么办？TCP的滑动窗口了解吗？TCP拥塞控制是怎么实现的？讲一下快重传、快恢复。Java语言了解吗？HashMap怎么实现的？HashMap是线程安全的吗？了解优先队列吗？场景模拟：设计一个定时任务吧，我有一堆任务，比如说10点、12点要执行。请你设计一个数据结构或程序去实现它。如果同一时间有很多任务呢？如果任务有几T呢？Spring用过吧？在注入依赖的时候，怎么解决循环注入的问题？做个题吧：给
2021-05-08 22:30:49
494
4
原创 面经笔记
文章目录面经笔记三次握手过程为啥挥手有个2倍最大报文时长握手成功后协商什么子网掩码的作用是什么cookies是什么?服务端怎么设置cookie?TCP为啥可靠UDP用在啥情况了https是安全的，说一下为啥安全，加密过程说下ssl协议建立连接的过程说一下502是什么错误?详细说一下什么是快重传进程和线程的区别A是B的父进程，A挂了，B的父进程是谁?什么是内核态什么是用户态?你来设计的话，怎么设计内核态知道多路复用吗?为啥select的socket数量是有限的知道redis吗? redis为啥快?redis内
2021-05-08 22:09:07
193
1
原创 Flume+Kafka+HDFS综合运用
Flume+Kafka+HDFS综合运用实验内容如下图所示：在某一实际应用中，有一个的数据源(可用Source类型为Exec Source或NetCat Source的Agent a1来用模拟），为方便后期数据分析，需要记录事件的产生IP、时间（格式：年月日时分秒）以及事件类型（事件类型根据事件Body中包含WARNING：、ERROR：、**INFO：**来确定为WARNING、ERROR、INFO，如不包含，则无需记录事件类型）事件经处理后汇总到Agent a2。Agent a2根据事件类型，
2021-05-06 22:32:10
1902
6
原创 SSH免密登录
SSH免密登录对称加密和非对称加密ssh的主要有点就是安全性，安全性依赖于加密方式，现在主要的加密方式有两种：对称加密和非对称加密。对称加密对称加密使用同一个密钥来进行加密和解密，这样在传输时是安全可靠的。但是如何安全的保存密钥呢？在集群中，客户端的数量巨大，一旦任意一个客户端的密钥被窃取，那么整个系统的安全性也不复存在。非对称加密由于对称加密的这个弊端，产生了非对称加密，非对称加密中有两个密钥：公钥和私钥。公钥由私钥产生，但却无法推算出私钥；公钥加密后的密文，只能通过对应的私钥来解密。非
2021-04-24 15:02:07
232
原创 Kafka应用——自定义生产者与消费者
Kafka应用——自定义生产者与消费者实验内容在某一应用场景中，有两个消费者生产消息和一个消费者消费消息，他们利用Kafka集群进行消息传输。其中生产者需要记录消息来源（即发送消息的主机名或IP）及消息发送时间（格式为年月日 时分秒），生产者1同步发送消息、生产者2采用异步发送消息，都需要显示消息发送成功还是失败。用户通过输入消息内容通过生产者（生产者1或生产者2）将消息发送到Kafka，消费者根据消息内容能区分消息来源。实现思路首先我们明确需要两个生产者，两个生产者唯一的区别就是同步发送和
2021-04-21 15:48:41
468
原创 MapReduce编程综合应用
MapReduce编程综合应用实验环境VMware虚拟机（CentOS 7系统）Hadoop数据现有一份汽车销售记录，销售记录【包括时间、地点、邮政编码、车辆类型等信息，每条记录信息包含39项数据项】。实验内容请利用MapReduce框架，编写程序实现如下功能： 统计不同车型销售的年龄段分布情况，并分别按照车型和年龄段进行汇总（不考虑排序）。 注意：年龄段每10岁为1个年龄段（010、1120、21~30…） 输出格式参考如下： 车型1,年龄段1,300 车
2021-04-17 14:28:43
494
原创 HDFS Java API编程——云盘系统
HDFS Java API编程——云盘系统实现内容云盘系统通过互联网为企业和个人提供信息的储存、读取、下载等服务，具有安全稳定、海量存储的特点。根据用户群定位，云盘系统可以划分为公有云盘、社区云盘、私有云盘等。利用HDFS Java API，编写一个云盘系统，实现功能如下：实现框架采用SpringBoot实现，前端界面使用thymeleaf模板。结构：----config（配置类）--------LoginHandlerInterceptor--------MvcConfig----c
2021-04-16 16:58:38
1224
6
原创 注解与反射学习笔记
注解与反射参考视频注解的作用注解的格式内置注解元注解静态 VS 动态语言动态语言静态语言Java ReflectionJava反射机制提供的功能Java反射优点和缺点优点：缺点：所有类型的Class类的加载与ClassLoader的理解什么时候会发生类初始化？类加载器参考视频https://www.bilibili.com/video/BV1p4411P7V3?p=1注解的作用不是程序本身，可以队程序作出解释。可以被其他程序（比如：编译器等）读取。注解的格式注解是以“@注解名”在代码中
2021-02-25 11:14:30
92
2
原创 git学习笔记
git学习笔记git相关网站启动gitGit相关的配置文件Git基本理论Git项目搭建Git的文件操作使用码云Git 分支git相关网站git指令练习网站哔哩哔哩教学视频git命令大全git镜像下载git安装教程git可视化工具(sourcetree)下载sourcetree安装使用教程启动gitGit bash ：Linux风格的命令行，使用最多，推荐最多Git CMD：Windows风格的命令行Git GUI：图形界面的Git，不建议初学者使用，尽量先熟悉常用命令。Git相关的
2021-02-23 16:21:33
69
原创 快速傅里叶变换 (fast Fourier transform)【temp】
快速傅里叶变换 (fast Fourier transform)多项式我们将多项式记为：F(x)=a0+a1x+a2x2+……+anxnF(x)=a_0+a_1x+a_2x^2+……+a_nx^nF(x)=a0+a1x+a2x2+……+anxn =∑i=0naixi=\sum_{i=0}^na_ix^i=∑i=0naixi...
2020-12-20 18:46:28
405
原创 2020 GMCPC粤澳赛 心得反思
2020 GMCPC粤澳赛 心得反思前言报喜报喜，我们两支队伍拿了三等奖。我们队写了5题，另一支队伍写出了4道题。本来以为参加这个比赛都是陪着其他学校的大佬一起参参赛，陪跑而已，没想到出乎意料的拿了三等奖。这次比赛我也是正常的发挥出了自己的水平，十分满意。比赛比赛我们很快就找到了水题，然后我就直接上手敲了，一发过。写完水题之后，给队友写了一下模拟题，可惜敲了半天还是有bug。后面我发现B题暴力看似是O(n3)O(n^3)O(n3)但是仔细分析后，发现是个O(n2logn)O(n^2logn)
2020-12-20 12:43:58
412
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人