5 存在morning

我要认证

乐于了解新技术,善于复盘总结,不是很聪明,但能够持续进步。

等级
TA的排名 9k+

【ElasticSearch从入门到放弃系列 十】Elasticsearch深度分页查询方式讨论

在日常工作中,我们的方法提供两种接口用来分页批量的获取数据,第一种是普通的GetEntityList,另外一种是GetEntityIdListByScrollV2,第二种就是我们所说的Scroll方式查询数据。批量获取数据的时候为了性能总是推荐Scroll的方式,但是一直不明白这种方式是什么意思,今天来学习下几种不同的分页查询方式的适用场景。浅度分页适用场景一个搜索请求到来的时候,正如我在上篇blog【ElasticSearch从入门到放弃系列 九】Elasticsearch原理机制探索里谈到的,有一个

2020-10-18 11:46:25

【ElasticSearch从入门到放弃系列 九】Elasticsearch原理机制探索

基础内容回顾写索引原理存储原理分段存储延迟写策略段合并性能优化

2020-10-17 22:06:52

【ElasticSearch从入门到放弃系列 八】Elasticsearch集群深度探讨

概念回顾发现机制&选举机制节点分析故障&故障排查

2020-10-17 16:57:57

【Redis从入门到放弃系列 七】Jedis的使用

在了解了Redis的基础数据结构以及一些特性和操作指令之后呢,和kafka及ES系列一样,我们不可能用指令去编程和完成业务逻辑,还是需要代码去操作指令的,java也封装了相关的代码,统一叫做Jedis,接下来本篇blog就来了解下Jedis的使用:Jedis简介:简单介绍下Jedis是什么,能干什么Jedis环境搭建:创建相关Java项目,完成第一个Jedis代码编写Jedis操作Redis:Jedis对Redis的一些操作指令Jedis综合案例实现:Jedis实现我们之前提到的综合案例Jedi

2020-09-21 01:28:52

【Redis从入门到放弃系列 六】Redis通用指令

学习完Redis的常用数据结构之后,再来了解下Redis的通用命令,什么是通用命令呢?我理解就是数据结构无关的命令,只是把这些数据结构构造的redis都看做一个个redis。key通用命令key是一个固定的string类型,通过key可以获取redis实际存储的数据。判断key自身状态相关操作的常用命令为:DEL:删除指定的key及其对应的value,时间复杂度O(N),N为删除的key数量EXISTS:判断指定的key是否存在,返回1代表存在,0代表不存在,时间复杂度O(1)TYPE:返回

2020-09-20 15:56:13

【Redis从入门到放弃系列 五】数据结构综合应用场景及总结

上一篇的2万字长文【Redis从入门到放弃系列 四】数据结构应用场景后,其实对Redis的五种数据结构整体有了一个认知,对于其详细的应用场景也加深了理解,本篇再次综合性的使用这几种场景探讨下它的使用场合。限时限次结算的服务控制按此结算的服务限制需要限制:每分钟最多调用10次。选定类型:string,选定命令 setex , 设定redis的生命周期,每次incr后get一次,到10次的时候禁止调用,并且生命周期到期后清空值。操作同理,但是可以设置数字的最大值,利用超过报异常来避免每次get操作

2020-09-20 15:07:28

【Redis从入门到放弃系列 四】数据结构应用场景

距离上一次对redis的学习【Redis从入门到放弃系列 三】数据结构居然已经过去一年多了,还是自己没有坚持下去吧,今年刚好在学中间件,那么还是继续顺着学下去吧,但是总要复习一下并且更好的总结提升,那么本篇blog在既往的三篇之上做好总结并且有更深入的探索,方便后续的学习。按照如下的目录去组织:Redis的基本概念与特点:Redis的基本概念是什么,有什么特点Redis的安装与使用:windows版本的服务端与客户端的安装Redis的应用场景:总体的应用场景有哪些,为什么有Reids的需求Redi

2020-09-19 16:22:25

【Kafka从入门到放弃系列 八】Kafka的API调用

在了解了Kafka的基本概念、搭建了Kafka集群以及使用基本命令、**深入了解Kafka架构【工作流程和存储机制、生产者策略、消费者策略、Zookeeper的管理】**之后,就到了我们最常用的环节,也就是通过代码来控制Kafka,使用API来调用。Kafka文档地址为Kafka官方文档,接下来我们会充分使用到官方文档中的示例环境准备生产者API在官方文档中,我们可以看到Kafka的消费者API列表生产者API,这些都是当前Kafka支持的生产者相关的API,有如下四种构造方法:也有如下13种方法

2020-09-13 15:48:45

【Kafka从入门到放弃系列 七】Kafka可视化监控

上篇blog分析了Kafka常用的一些API,本篇可以当作基础入门的终章:安装一款监控工具来监控Kafka的动态

2020-09-13 11:51:08

【Kafka从入门到放弃系列 六】Kafka架构深入——高并发读写及Zookeeper管理

Kafka高效读写数据分布式读写顺序写磁盘零拷贝技术Zookeeper管理Kafka事务生产者事务消费者事务

2020-09-06 22:12:20

【Kafka从入门到放弃系列 五】Kafka架构深入——消费者策略

消费方式分区分配策略Range策略【按topic分块分配、面向主题、topic区分但不均衡】和RoudRobin策略【不区分topic轮询、面向组、均衡但是topic会混】当消费者组里的消费者个数的变化【增多或减少】都会触发重新分配Rang策略RoudRobin策略offset的维护同一个组里的,当动态扩展分区分配时新进入的消息接着消费分区消息而不是重新消费offset是按照:goup+topic+partion来划分的,这样保证组内机器有问题时能接着消费消费者组案例...

2020-09-06 19:38:33

【Kafka从入门到放弃系列 四】Kafka架构深入——生产者策略

分区策略分区的原因分区的原则数据可靠性保证副本同步策略ISR选举策略ACK应答机制HW&LEO故障处理机制Exactly Once语义

2020-09-06 17:33:28

【Kafka从入门到放弃系列 三】Kafka架构深入——工作流程和存储机制

Kafka工作流程Kafka 文件存储机制生产者分区策略数据可靠性保证副本同步策略ISR选举策略ACK确认机制消费者

2020-09-06 11:32:17

【Kafka从入门到放弃系列 二】Kafka集群搭建及基本命令

上一篇blog详细了解了kafka的基本概念、生产消费者模型、基本架构,我对kafka有了一个整体的认知,其整体框架其实可以理解为如下架构【一个Partion分区的leader和foller不会存储到一个broker上】:消息生产出来后依据topic发送到Kafka集群中去,由集群来管理消息,消费集群主动拉取到消息后消费【消费者的消费速度可以由自己来决定,可能会存在长连接轮询的浪费问题】,整体的消息和集群管理由Zookeeper来进行。Zookeeper启动Kafka安装...

2020-09-02 22:33:23

【分布式集群搭建 二】克隆虚拟机并配置集群

在上一篇blog-【分布式集群搭建 一】虚拟机配置(VMware+Centos7+SecureCRT+AppNode)里讲到了如何创建一个虚拟机,在此基础之上,如果我们在虚拟机里部署了ElasticSearch、Kafka等等并且改了一堆配置之后,我们肯定不希望在其它机器上再搞一遍,所以克隆虚拟机就很有必要了。注意,克隆之前需要先将虚拟机关闭拍摄快照在克隆之前我们可以记录下当前虚拟机的状态,之后的克隆就基于当前虚拟机的快照进行复制,右键虚拟机-快照-拍摄快照克隆虚拟机拍摄完快照后就可以通过克隆操作

2020-08-30 18:47:33

【分布式集群搭建 一】虚拟机配置(VMware+Centos7+SecureCRT+AppNode)

环境准备的时候我决定使用VMware+Centos7+SecureCRT+AppNode的方式来搭建和管理虚拟机。1 安装VMware直接从VMware官方网站上下载即可:下载时选择左边的,我下载的时候最新版本为15.5(2020.8.30).下载完成后直接按默认安装流程安装即可。2 下载Centos镜像直接从Centos官方网站上下载即可,下载时选择CentOS Linux即可。因为生产环境现在用的比较多的还是7,所以选择7的版本下载选择阿里云的镜像站点进行下载:使用标准版的DVD

2020-08-30 17:30:29

【实用工具指南 二】视频剪辑工具

花了点时间研究了下视频剪辑,其实没有必要下载会声会影这么复杂的软件,如果只是简单的处理,推荐一个软件叫做【万兴喵影】,这个软件就是入门级的视频剪辑软件。下载完成后,操作界面非常简洁明了:可以直接裁剪片段可以定义视频的倍速:还有设置转场效果等等,剪辑完成后导出如果去水印是需要会员的。...

2020-08-30 15:42:59

【实用工具指南 一】OCR图片识别自动翻译原文替换

最近收到家里上级的一项任务,把一个图片上的英文翻译成中文,并且做出一个一样的表格来,看起来东西不多,也就是一个小卡片:如果按照正常的流程就是:1,整个word文件,照猫画虎整个大致表格出来,把小人粘贴上去2,把表格里的英文全部翻译成中文3,把word截个图整出来显然这种方式太笨了,只有上级才会笨笨的一个一个翻译。既然咱是搞技术的,就得学会偷懒,直接在原图上改他不香么?于是在网上搜了个工具叫秒翻,应该是B站二次元的程序员搞的。在线版可以直接把中文识别出来、清楚原文、填充译文。实现一键三连。

2020-08-30 15:27:55

【ElasticSearch从入门到放弃系列 七】Spring Data Elasticsearch的使用

上一篇blog介绍了如何通过java客户端来操作ES,可以看到,操作还是很繁琐的,需要连接集群、开启客户端连接等一系列繁琐的动作,在正式介绍前,先了解下概念Spring Data:Spring Data 项目的目的是为了简化构建基于 Spring 框架应用的数据访问计数,包括非关系数据库、Map-Reduce 框架、云数据服务等等;另外也包含对关系数据库的访问支持,当然Spring Data Elasticsearch就是为了简化对Elasticsearch访问的一个Spring Data的子模块。可以

2020-08-24 09:51:04

【ElasticSearch从入门到放弃系列 六】Java客户端操作ElasticSearch

我们知道ES的操作方式有两种,一种是http风格的,一种是tcp风格的,http风格的我们可以通过发送请求去进行索引的增删改查等操作、tcp风格的处理方式则需要我们编码去调用实现,由于ES本身是基于Lucene,而Lucene又是Java的开源搜索引擎,所以我们用Java语言去实现ES的调用。环境配置创建一个带有Maven的Java项目,添加Jar包并引入Maven的坐标 <!--指定编译来源为jdk1.9--> <properties> <m

2020-08-20 10:11:13

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 脉脉勋章
    脉脉勋章
    绑定脉脉第三方账户获得
  • 签到达人
    签到达人
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 技术圈认证(专家版)
    技术圈认证(专家版)
    博客专家完成年度认证,即可获得
  • 阅读者勋章Lv2
    阅读者勋章Lv2
    授予在CSDN APP累计阅读博文达到7天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 博客之星-入围
    博客之星-入围
    授予每年博客之星评选结果第21-200名的用户
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。