- 博客(50)
- 问答 (5)
- 收藏
- 关注
RSS订阅原创 jdk8和jkd6去重
jdk8和jkd6去重//jdk8去重集合名称newList 去重字段getId 实体类PreFileMakeRangeOutEntitynewList = newList.stream().collect(Collectors.collectingAndThen(Collectors.toCollection(() -> new TreeSet<>(Comparator.comparing(PreFileMakeRangeOutEntity::getId))), ArrayList
2021-06-03 18:53:53
112
原创 十大经典算法最强总结
最近几天在研究排序算法,看了很多博客,发现网上有的文章中对排序算法解释的并不是恨透侧而且有很多代码都是错误的,列如有的文章中在"桶排序"算法中对每个桶进行直接使用了Collection.sort()函数,这样虽然能达到效果,但对于算法研究来讲是不可以的,所以我根据这几天看的文章,整理了一个较为完整的排序算法总结,本文中的所有算法均有java实现,经本人调试无误后才发出,如有错误,请各位前辈指出0,排序算法说明0.1排序的定义对一序列对象根据某个关键字进行排序.0.2术语说名稳定:如果a原本在b前面
2021-02-02 17:49:52
1270
原创 Kafka学习之路 （五）Kafka在zookeeper中的存储
Kafka学习之路 （五）Kafka在zookeeper中的存储一丶 Kafka在zookeeper中存储结构图二丶分析2.1 topic注册信息/brokers/topics[topic]:存储某个topic的partitions所有分配信息[zk: localhost:2181(CONNECTED) 1] get /brokers/topics/topic2Schema:{ "version": "版本编号目前固定为数字1", "partitions": {
2021-01-18 17:38:44
131
1
原创 Kafka学习之路(四)Kafka的安装
一丶下载下载地址:http://kafka.apache.org/downloads.htmlhttp://mirrors.hust.edu.cn/apache/二丶安装前提(zookeeper安装)参考:http://www.cnblogs.com/qingyunzong/p/8634335.html#_label4_0三丶安装此处使用版本为kafka_2.11-0.8.2.0.tgz2.1上传解压缩[hadoop@hadoop1 ~]$ tar -zxvf kafka_2.11-0.
2021-01-18 16:45:28
68
原创 Kafka学习之路(三)Kafka的高可用
一丶高可用的由来1.1为何需要Replication在kafka在0.8以前的版本中,是没有Replication的,一旦某个Broker宕机,则其上有的Partition数据都不可被消费,这与kafka数据持久性及DeliceryGuaeantee的设计目标相悖。同时Producer都不能再将数据存在于这些Partition中.如果Producer使用同步模式则Producer会在尝试重新发送message,send.max.retries(默认值为3)次后抛出Exception,用户可以选停止
2021-01-18 16:04:44
189
2
原创 Kafka学习之路(二)Kafka的架构
Kafka学习之路(二)Kafka的架构一丶Kafka的架构如上图所示,一个典型的Kafka集群中包含若干Producer(可以是wen前端产生的Page View,或者是服务器日志,系统CPU,Memory等),若干broler(Kafka支持水平扩展,一般broker数量越多,集群吞吐率越高),若干ConsumerGroup,以及一个Zookeeper集群,Kafka通过Zookeeper管理集群配置,选举leader,以及在Consumer Group 发生变化时进行rebalance.Prod
2021-01-12 15:09:48
85
原创 Kafka学习之路(一)Kafka的简介
一丶简介1.1概述Kafka是最初由Linkedin公司开发,是一个分布式,分区的,多副本的,多订阅者,基于zookeeper协调的分布式日志系统也可以当做MQ系统常见可以用web/nignx日志,访问日志,消息服务等等,Linkedin2010年贡献给了Apache基金会并成为定义开源项目,主要应用场景是:日志收集系统和消息系统Kafka主要设计目标如下:1.一时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证时间的访问性能2.高吞吐率,即使在非常廉价的商用机器上也能做
2021-01-11 15:03:21
160
原创 Flume学习之路 （三）Flume的配置方式
一 丶单一代理流配置1.1官网介绍http://flume.apache.org/FlumeUserGuide.html#avro-source通过一个通道将来源和接收器链接,需要列出源,接收器和通道,为给定的代理,然后指向源和接收器及通道,一个源的实列可以指定多个通道,但只能指定一盒接收器实列,格式如下:实列解析:一个代理名为agent_foo,外部通过avro客户端,并且发送数据通过内存通道给hdfs,在配置文件foo.config的可能看起来像这样:案列说明:这将使时间流从avro-ap
2021-01-08 14:55:52
271
原创 Flume学习之路 （二）Flume的Source类型
一 丶概述官方文档介绍:http://flume.apache.org/FlumeUserGuide.html#flume-sources二 丶Flume Sources描述2.1Avro Sources2.1.1 介绍监听Avro端口,从Avro client streams接收events,当与另一个(前一跳)Flume agent内置的Avro Sink配对时,它可以创建分层手机拓扑.2.1.2示列示列一:示列请求参考官方文档示列二:#配置一个agent，agent的名称可以自定
2021-01-08 09:47:40
512
1
原创 Flume学习之路 （一）Flume的基础介绍
一 ,背景Hadoop业务的整体开发流程:从Hadoop的业务开发流程图中可以看出,在大数据的业务处理过程中,对于数据的采集是十分重要的一步,也是不可避免的一步许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:(1)构建应用系统和分析系统的桥梁,并将它们之前的关联解耦; (2)支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统;(3)具有高可扩展性,既:当数据量增加时,可以通过增家
2021-01-08 09:07:52
162
原创 Flume(日志收集系统)介绍
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集,聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力,当前Flume有两个版本Flume0.9x版本的统称Flume-og,Flume1.x版本的统称Flume-ng,由于Flume-ng经过重大重构,与Flume-og有很大不同,使用时注意区分, 日志收集Flume最早是Cloudera提供的日志收集系统,是Apac
2021-01-07 14:48:48
393
原创 Sqoop学习之路
目录:一,概述二,工作机制三,安装1,前提概述2,软件下载3,安装步骤四,Sqoop的基本命令基本操作示例五,Sqoop的数据导入1,从RDBMS导入到HDFS2,把MySQL数据库中的表数据导入到Hive中3,把MySQL数据库中的表数据导入到hbase正文:一,概述sqoop 是apache 旗下一款"Hadoop"和关系数据库服务器之间传送数据的工具,核心的功能有两个导入,迁入到处,迁出导入数据:MySQL,Oracle 导入数据到Hadoop的HDFS,HIV
2021-01-05 16:28:58
138
原创 Hadoop学习相关内容
Hadoop是什么:1, hadoop是用于处理（运算分析）海量数据的技术平台，并且是采用分布式集群的方式。2, hadoop有两大功能：1） 提供海量数据的存储服务。 2）提供分析海量数据框架及运行平台。 关键词为存储、分析海量数据和运行平台2） Hadoop部署安装进入/usr/local 目录# cd /usr/local/2,导入到虚拟机3.解压 jdk-8u271-linux-x64.tar.gz # tar -zxvf jdk-8u271-linux-x64.tar.gz
2021-01-05 09:03:26
100
原创 kafka安装与部署
Kafka的特性:高吞吐,低延迟,可扩展性,持久性,可靠性,容错性,高并发.Kafka的安装:首先安装Zookeeper下载安装包: https://zookeeper.apache.org/releases.html#download解压并进入Zookeeper目录,如: D:\kafka\apache-zookeeper-3.6.2-bin\conf将”zoo_sample.cfg”重命名为”zoo.cfg” 打开”zoo.cfg”找到并编辑dataDir=D:\kafka\apach
2021-01-04 17:18:32
222
原创 网络通信
网络通信HTTP状态码及其含义？答： 1XX ：信息状态码 100 Continue 继续，⼀般在发送 post 请求时，已发送了 http header 之后服务端 将返回此信息，表示确认，之后发送具体参数信息2XX ：成功状态码 200 OK 正常返回信息 201 Created请求成功并且服务器创建了新的资源 202 Accepted 服务器已接受请求，但尚未处理3XX ：重定向 301 MovedPermanently 请求的⽹⻚已永久移动到新位置。 302 Found 临时性重定向。
2021-01-04 16:57:22
68
原创 算法总结
算法面JavaScript 如何求数组的最大值和最小值？答：var arr = [6, 4, 1, 8, 2, 11, 23];console.log(Math.max.apply(null, arr))如何查找一篇英文文章中出现频率最高的单词？答：function findMostWord(article) {// 合法性判断if (!article) return;// 参数处理article = article.trim().toLowerCase();let wordL
2021-01-04 16:51:10
34
原创 综合总结
综合谈⼀谈let与var的区别？答： let 命令不存在变量提升，如果在 let 前使⽤，会导致报错 如果块区中存在 let 和 const 命令，就会形成封闭作⽤域不允许重复声明，因此，不能在函数内部重新声明参数如何通过JS判断⼀个数组？答：instanceof ⽅法instanceof 运算符是⽤来测试⼀个对象是否在其原型链原型构造函数的属性var arr = [];arr instanceof Array; // trueconstructor ⽅法constructor 属性
2021-01-04 16:44:29
69
原创 Vue.js总结
Vue.jsVue.js 路由的钩⼦函数？答：首页可以控制导航跳转， beforeEach ， afterEach 等，⼀般⽤于页⾯ title的修改。⼀些需要登录才能调整⻚⾯的重定向功能。 beforeEach 主要有3个参数 to ， from ， next 。 to ：route 即将进⼊的⽬标路由对象。 from ： route 当前导航正要离开的路由。 next ： function ⼀定要调⽤该⽅法resolve 这个钩⼦。执⾏效果依赖next ⽅法的调⽤参数。可以控制网页的跳转
2021-01-04 16:30:32
178
原创 jQuery总结
jQueryjquery 特点，聊一聊 jquery?答： jQuery 是一款轻量级的 js 框架，jQuery 核心 js 文件才几十 kb，不会影响页面加载速度。与 Extjs相比要轻便的多。 jQuery 的选择器用起来很方便，好比说我要找到某个 dom 对象的相邻元素 js 可能要写好几行代码，而 jQuery一行代码就搞定了，再比如我要将一个表格的隔行变色，jQuery 也是一行代码搞定。 jQuery 的链式操作可以把多个操作写在一行代码里。jQuery 还简化了 js 操作 cs
2021-01-04 16:22:51
84
原创 JavaScript总结
JavaScriptJavaScript 中有几种数据类型？答：数据类型可以分为基本数据类型和引用数据类型 基本数据类型 ：String、Number、Boolean、Null、Undefined、Symbol、BigInt ; 引用数据类型：Object; 有些小伙伴喜欢把引用数据类型这块分为Object 和 Funtion，这也是可以的，(主要是 typeof可以检测function,还有就是Function这个类比较特殊)其中 Symbol、BigInt 是新增的数据类型JavaScr
2021-01-04 16:18:33
165
原创 css总结
CSSCSS3有哪些新特性？答： 新增各种CSS选择器 （: not(.input)：所有 class 不是“input”的节点） 圆角（border-radius:8px） 多列布局 （multi-column layout） 阴影和反射 （Shadow\Reflect）文字特效 （text-shadow、） 文字渲染 （Text-decoration） 线性渐变 （gradient） 旋转（transform） 增加了旋转,缩放,定位,倾斜,动画，多背景 transform:scale(0.
2021-01-04 16:12:19
70
原创 HTML总结
HTMLHTML5 有哪些新特性？答：1.HTML4 规定了三种声明方式，分别是：严格模式、过渡模式 和 框架集模式；而HTML5因为不是SGML的子集，只需要<!DOCTYPE>就可以了：2.语义化更好的内容标签。header/footer/article等3.音频、视频 API(audio,video)4.表单控件：HTML5 拥有多个新的表单输入类型。这些新特性提供了更好的输入控制和验证。colordatedatetimedatetime-localemailmo
2021-01-04 16:07:34
115
原创 图解使用Visual Studio Code 和idea创建和运行Vue项目
图解使用Visual Studio Code 和idea创建和运行Vue项目1.打开电脑中已经安装的Visual Studio Code 和idea软件,如下图:2. 打开菜单栏中的文件->选择文件夹,浏览到本地磁盘中某个vue项目的空白目录,若下图所示:3.在资源管理器空白处右键选择”在终端”4.我们在终端中输入一下命令npm install vue –g如下图所示:5.继续在终端中输入以下命令npm install vue-cli –g如下图所示:6继续在终端中输入以
2021-01-04 15:53:35
2523
原创 JAVA各个组件总结
####一,枚举添加新方法并在main方法中运行import java.util.stream.IntStream;enum MyEnum { RUN("RUN"), STAND("STAND"), JUMP("JUMP");//必须先定义属性，并且以分号结尾 private String description; //有参数的构造函数 private MyEnum(String description) { this.descript
2020-12-23 09:45:21
313
1
原创 java基础进阶(十二)
函数式编程：避免不必要的格式，尽可能的强调做什么事情。lambda表达式：代替了原来的匿名内部类的写法格式，更加简洁lambda表达式的基本格式lambda表达式的基本格式：() : 代表的是方法中的形式参数-> : 将参数传递到大括号中{} :要执行的代码什么时候使用lambda表达式调用方法的时候，发现方法中的参数类型是1，一个接口类型2，并且这个接口有且仅有一个抽象方法（可以有静态 默认 私有方法）lambda表达式的入门案例public class Demo01 {
2020-12-22 13:57:40
53
原创 java进阶笔记Day(十一)
标准的输入输出流(了解)System.in: 表示的输入流，用于读取键盘录入的数据；它是属于InputStream的子类Scanner内部就是使用的System.inSystem.out: 表示的输出，用于往控制台输出数据；它是属于OutputStream的子类System.out.println(“hello”);打印流(了解)PrintStream和PrintWriter都是打印流，只有输出流没有输入流（也就是说，只能写，不能读）PrintWriter可以往不同的目的地写数据//目的地是
2020-12-22 13:56:36
81
原创 java进阶笔记Day(十)
文件夹的复制先写一个复制文件的代码/**复制文件到目录目标@param srcFile 源文件@param destDir 目标目录*/public static void copyFileToDirectory(File srcFile,File destDir) throws IOException {//使用输入流读取srcFileFileInputStream fis=new FileInputStream(srcFile);//使用输出流往destDir目录中的和srcF
2020-12-22 13:55:44
49
原创 java进阶笔记Day(九)
集合集合是一个容器，用来存储若干个数据，它的长度是可变的。集合有很多种，这里我们学的是ArrayList集合，ArrayList类中给我们提供很多方法，方便对集合中的元素进行操作。集合的常用方法public boolean add(E e)添加元素到集合，如果返回true就表示添加成功；否则就添加失败public void add(int index, E element)添加元素到集合的指定索引位置public E get(int index)获取指定索引位置的元素public E
2020-12-22 13:55:12
74
原创 java进阶笔记Day(八)
字节流复制 (任何文件)字节流一次复制一个字节//字节输入流FileInputStream fis=new FileInputStream(“day09/a.txt”);//字节输出流FileOutputStream fos=new FileOutputStream(“day09/b.txt”);//一边读一边写int b; //记录每次读取的一个字节while((b=fis.read())!=-1){fos.write(b);}//释放资源fos.close();fis.
2020-12-22 13:53:37
64
原创 java进阶笔记Day(七)
Map集合Map一个双列集合的根接口， 用来存储【键值对】的集合，Map下面有几个子类Map<K,V>接口HashMap<K,V>: 键不能重复，值可以重复通过重复键的hashCode和equals方法包装键的唯一性TreeMap<K,V>: 可以对键进行排序让键实现Comparable接口，复写compareTo方法对键进行排序//HashMap底层数据结构是哈希表结构，可以包装键的唯一性Map<String,String> map=new
2020-12-22 13:52:29
111
原创 java进阶笔记Day(六)
Set集合HashSet集合HashSet集合保证元素唯一性的原理HashSet底层数据结构是哈希表结构，当往HashSet集合中存储元素的时候1.会计算元素的hashCode值，如果集合中已经有相同的hashCode值那么还会判断元素的equals是否相同2.如果元素的equals比较也相同，那么就认为元素重复；否则就不重复。HashSet存储自定义的元素如果往HashSet集合中存储自定义的对象，为了保证元素的唯一性，我们可以复写hashCode和equals方法public clas
2020-12-22 13:51:01
65
原创 java进阶笔记Day(五)
集合的继承体系Collection接口Collection是集合体系中的根接口，它定义了一些所有集合多具备的方法。任何一个具体的集合都可以使用这些方法public boolean add(E e)往集合中添加元素到末尾public boolean addAll(Collection<? extends E> c)把一个集合中的所有元素添加另一个集合中public void clear()清空集合中的元素public boolean contains(Object o)判
2020-12-22 13:49:40
97
原创 java进阶笔记Day(四)
基本类型的包装类每一种基本类型都有与之对应的包装类（引用数据类型）基本类型 包装类byte Byteshort Shortint Integerlong Longfloat Floatdouble Doublechar Characterboolean
2020-12-22 13:48:15
117
原创 java进阶笔记Day(三)
类/接口作为参数和返回值把类作为参数和返回值把类作为参数: 调用方法时传递就是该类的对象(地址)把类作为返回值类型：调用方法时实际返回的是该类的对象(地址)把抽象类作为参数和返回值把抽象类作为参数: 调用方法时传递就是该类的子类对象(地址)把抽象类作为返回值类型：调用方法时实际返回的是该类子类的对象(地址)把接口作为参数和返回值把接口作为参数: 调用方法时传递就是该接口的实现类对象(地址)把接口作为返回值类型：调用方法时实际返回的是该接口的实现类对象(地址)内部类
2020-12-17 15:28:43
67
原创 java进阶笔记Day(二)
多态多态指的是同一个对象具有多种表现形态多态有下面的几个前提1.要有继承/实现关系2.要有方法复写3.父类/接口接收子类对象Animal a=new Dog();public class Animal{public void eat(){System.out.println(“动物吃东西”);}}public class Dog extends Animal{@Overridepublic void eat(){System.out.println(“狗吃骨头”);}}
2020-12-17 15:26:05
85
原创 java进阶笔记Day(一)
继承继承描述的是类与类之间的关系，当子类继承父类的时候，子类既可以使用子类自己的内容，也可使用父类的内容。继承的好处1.提高了代码的复用性2.提高了代码的可维护性3.是多态的前提(了解)继承的弊端继承增强了代码的耦合性(类于类之间的关系更加紧密)继承的特点1.单继承：一个子类只能有一个父类（一个儿子只能有一个爸爸）2.多层继承：一个父类也可以有父类(爸爸也可以有爸爸)继承的格式public class 父类{//成员方法变量//成员方法//构造方法}//继承的格式pu
2020-12-17 15:21:48
68
原创 java基础学习(九)
1.ArrayList1.1ArrayList类概述什么是集合 提供一种存储空间可变的存储模型，存储的数据容量可以发生改变ArrayList集合的特点 底层是数组实现的，长度可以变化泛型的使用 用于约束集合中存储元素的数据类型1.2ArrayList类常用方法1.2.1构造方法1.2.2成员方法方法名 说明1.2.3示例代码public class ArrayListDemo02 {public static void main(String[] args) {//创
2020-12-17 15:17:53
86
原创 java基础学习Day(八)
1.API1.1API概述什么是API API (Application Programming Interface) ：应用程序编程接口java中的API 指的就是 JDK 中提供的各种功能的 Java类，这些类将底层的实现封装了起来，我们不需要关心这些类是如何实现的，只需要学习这些类如何使用即可，我们可以通过帮助文档来学习这些API如何使用。1.2如何使用API帮助文档打开帮助文档找到索引选项卡中的输入框在输入框中输入Random看类在哪个包下看类的描述看构造方法
2020-12-17 14:50:04
83
空空如也
html+js+web海康插件
2022-01-25
如何写再oracle中用sql语句将这个进行分组然后按照每个乡镇的名字导出多个excel
2021-09-28
现在这个几个里面有300w条sql我如何快速插入，
2021-07-20
vue下拉框二级联动,加一个input框赋值经行登录操作
2021-07-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人