- 博客(34)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 Kafka高吞吐原理及如何保证不丢失不重复消费
原文:Kafka如何保证不丢失不重复消费 - 知乎一、如何保证百万级写入速度：目录1、页缓存技术 + 磁盘顺序写2、零拷贝技术3、最后的总结“这篇文章来聊一下Kafka的一些架构设计原理，这也是互联网公司面试时非常高频的技术考点。Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。那么Kafka到底是如何做到这么高的吞吐量和性能的呢？这篇文章我们来一点一点说一下。1、页缓存技术 + 磁
2022-04-21 22:09:41
429
原创 大数据系列 (2)之hadoop集群搭建
本次搭建版本 为hadoop-3.3.0.1、下载hadoop创建hadoop文件夹cd usr/mkdir softInstallcd softInstall/mkdir hadoop在hadoop文件夹下执行下载命令：wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz注：如果wget命令不存在，则安装wget：yum install
2021-06-23 22:25:41
380
1
原创 大数据系列(3)之zookeeper集群搭建
前言：由于 hbase等集群的搭建依赖于zookeeper，所以这里把zookeeper集群的搭建和 zookeeper原理(下一篇)等 放到了前面。1、下载并解压zookeeper进入zookeeper的镜像网页地址：http://www.apache.org/dyn/closer.cgi/zookeeper/进入所选择的版本复制下载地址进入自己创建的 zookeeper目录，用 wget命令下载wget https://mirrors.bfsu.e
2021-06-23 22:01:34
180
1
原创 k8s学习资料
K8S相关命令https://www.cnblogs.com/klvchen/archive/2018/09/04/9585746.html
2020-07-28 17:29:22
342
原创 面向切面的自定义注解实现接口访问日志记录
1、自定义注解,定义操作类型参数和方法名参数，方法名当然也可以在切面类里通过反射获得，这里以参数的形式自由填写@Documented@Target(ElementType.METHOD)@Retention(RetentionPolicy.RUNTIME)public @interface OperationLog { String operationType() default ""; String requestMethodName()default "";}2、定义切
2020-05-29 09:55:57
589
原创 微服务网关实战——Spring Cloud Gateway
原文转载于：https://www.cnblogs.com/bocloud/p/10918792.html微服务网关实战——Spring Cloud Gateway导读作为Netflix Zuul的替代者，Spring Cloud Gateway是一款非常实用的微服务网关，在Spring Cloud微服务架构体系中发挥非常大的作用。本文对Spring Cloud Gateway常见使用场景进行了梳理，希望对微服务开发人员提供一些帮助。微服务网关SpringCloudGateway..
2020-05-28 09:56:52
759
原创 框架搭建准备工作之-GIS相关资料
https://github.com/GIScience/GIScene.js三维WebGIS框架。基于Three.js。易于学习和定制。这个项目通过添加图层、控件、坐标、投影等地理信息系统概念，扩展了3D JavaScript library three.js的奇妙功能。如果您熟悉web映射库OpenLayers，您会发现这个库很容易使用。您可以将其用于地理参考的三维数据，但无论您的模型是否地理参考，都需要做大量的工作。...
2020-05-15 09:49:30
209
1
原创 分布式事务及解决方案
最近看了一些分布式事务相关的资料，决定记录下来。所谓分布式事务，即分布式场景下的事务问题，如场景：服务A中的方法A()调用服务B中的方法B()和服务C中的方法C()，由于三个方法属于三个不同的服务，相互调用需要通过远程连接的方式进行调用，此时三个服务中的三个方法访问数据库属于不同的访问连接； /** * A服务中的方法A * @throws Except...
2020-04-23 20:03:37
255
原创 java 设计模式之工厂模式
根据具体业务参数值,获得相应实现类的方式：1、工厂类实现ApplicationContextAware接口，并实现setApplicationContext方法，在该方法中通过applicationContext.getBeansOfType()方法传入接口构造类作为参数获取所有具体实现类集合 Map<String, T>,通过遍历该集合获取到相应类。2、工厂类中使用Ap...
2020-04-09 10:36:28
146
原创 Spring Cloud Alibaba与spring Cloud系列之 Dubbo与Spring Cloud Alibaba
参考文献：http://blog.didispace.com/spring-cloud-alibaba-dubbo-1/ 之前为了解Dubbo与spring Cloud之间的关系和区别，看过很多Spring Cloud与Dubbo对比的博客，后来发现 Spring Cloud与Dubbo的比较本身是不公平的，主要前者是一套较为完整的架构方案，而Dubbo只是服务治理与RPC实现方案，而...
2020-03-14 11:49:26
458
原创 ThreadLocal学习总结
ThreadLocal，即线程本地变量，解决线程局部变量统一定义问题，从名称应该就能看出它是线程的本地变量，是用于线程隔离的，而非用于多线程数据共享。题外话，它虽然可以用于隔离线程(纯后台问题)，但它不能用于隔离网络请求即无法分别无状态的http请求(前台与后台交互问题)，至于怎么区分，就是cookie/session/tocken技术的知识了。一、threadLocal的使...
2020-03-11 18:17:04
146
原创 windows下的nginx使用
原文转载于https://www.cnblogs.com/jiangwangxiang/p/8481661.html1.下载nginxhttp://nginx.org/en/download.html 下载稳定版本，以nginx/Windows-1.12.2为例，直接下载nginx-1.12.2.zip下载后解压，解压后如下2.启动nginx有很多种方法...
2020-01-15 10:03:32
137
原创 布隆过滤器
转载于原文：https://www.cnblogs.com/CodeBear/p/10911177.html布隆过滤器的应用我们先来看下布隆过滤器的应用场景，让大家知道神奇的布隆过滤器到底能做什么。缓存穿透我们经常会把一部分数据放在Redis等缓存，比如产品详情。这样有查询请求进来，我们可以根据产品Id直接去缓存中取数据，而不用读取数据库，这是提升性能最简单，最普遍，也是最有效的做...
2020-01-13 09:18:51
166
原创 redis缓存穿透与缓存雪崩
一、缓存穿透所谓缓存穿透，即当请求访问的数据在缓存中不存在时，需要访问数据库，当这种情况大量存在时(比如黑客蓄意攻击)，会造成数据库访问量集聚增加，进而导致数据库异常，称之为缓存穿透。解决方法：1、数据访问时不管有没有获取到查询结果，都将其值存储到缓存中，没有查询到结果时，将其值存储为null，这样每次请求都会在缓存中命中，此时要注意，缓存中的null值，其过期时间不应设置过长。2...
2020-01-10 16:53:27
143
原创 MYSQL 优化笔记
(1)id: select查询的序列号,包含一组数字，表示查询中执行select子句或操作表的顺序; id相同，执行顺序由上至下 id不同，如果是子查询，id的序号会递增，id值越大优先级越高，越先被执行 id相同不同，同时存在,id如果相同，可以认为是一组，从上往下顺序执行；在所有组中，id值越大，优先级越高，越先执行(2)select_type:查询...
2019-12-24 20:43:22
478
原创 MySQL使用explain时各字段解释
本文全文转载于：https://www.cnblogs.com/116970u/p/10984012.html1、idselect查询的序列号,包含一组数字，表示查询中执行select子句或操作表的顺序三种情况：（1）id相同，执行顺序由上至下id相同，执行顺序由上至下此例中 先执行where 后的第一条语句 t1.id = t2.id 通过 t1.id 关联 t2...
2019-12-24 20:41:59
223
原创 如何使用RedisTemplate访问Redis数据结构
本文全文转载于https://www.jianshu.com/p/7bf5dc61ca06Redis 数据结构简介Redis 可以存储键与5种不同数据结构类型之间的映射，这5种数据结构类型分别为String（字符串）、List（列表）、Set（集合）、Hash（散列）和 Zset（有序集合）。下面来对这5种数据结构类型作简单的介绍：结构类型 结构存储的值 结构的读写能力...
2019-12-17 11:36:49
162
原创 StringRedisTemplate和RedisTemplate的区别和联系
两者之间的联系：StringRedisTemplate和RedisTemplate都是spring框架下的reids操作工具，springboot项目使用时只需使用maven依赖包spring-boot-starter-data-redis即可，使用时将其注册为组件，如@AutowiredStringRedisTemplate stringRedisTemplate;//或者//...
2019-12-17 11:34:53
473
原创 centos7 安装及network与ssh配置
前言： 由于之前买的云服务器马上到期了，之前第一次买比较便宜，再续的话就比较贵了，所以趁双十一打折买了个廉价的主机回来当本地服务器用，也可以再好好的学习下linux系统。买回来的是win7系统，所以首先要装个centos7系统。买回来的主机主板是intel x55，现在来说算是一款比较老有小众的主板了，所以装系统的时候还是碰到了一点小麻烦的。一、win7系统重装为cento...
2019-11-16 18:03:45
3457
原创 springboot动态连接多数据源
需求：不同的方法在获取数据时，动态的切换来自不同的数据库数据源，本篇文章仅用于记录学习过程，若觉得写的不够详细，还请谅解。一、数据库配置文件application.properties，请注意下面的两个URL写法不一样，两种写法对应后面创建连接的方法不一样，这里都试一下。mybatis.mapper-locations=classpath:mapper/*.xmlspring.data...
2018-12-07 09:24:09
1096
原创 c#语言用XmlReader解析超大XML文件
用XmlReader解析xml文件不用提前将内容加载到内存，而是逐行读取，减少内存占用，其高效率，能够有效读取超大xml文件。废话少说，直接上代码！xml文件格式样例：
2018-01-09 13:07:58
5147
1
原创 Spring+SpringMVC+hibernate spatial+oracle spatial 映射存储Geomety空间数据过程记录
本文仅用于记录自己在摸索oracle spatial存储地理数据的过程，以便哪天忘记了，重新回顾下，由于本人过懒直接上代码没写详细步骤，参考的朋友们若有对过程不理解的部分或者看不懂的地方还请见谅，或者可以私信我，当然若有指教的地方亦可以私信或者留言，不胜感激。实体类，注意geom字段@Entity@Table(name="Poly_Polygon")public class Poly_
2017-10-31 15:51:11
1071
原创 c#连接Oracle11g数据库（无需安装客户端）
因项目需要，最近打算学习oracle数据库开发，但是刚开始就碰到了一些小麻烦，发现c#连接oracle数据库时跟其他数据库不太一样，在网上搜了一些教程看起来都挺繁琐，需要安装客户端、配置TNS等等一堆，眼花缭乱。好在找到了一个简单的连接方法，废话不多说，直接上代码： public string getOracleConnect(String name, String passwo
2017-08-29 11:23:58
5315
原创 利用postgresql进行缓冲区内对象检测过程中遇到的sql查询效率问题解决方案记录
首先说一下问题，在利用ST_DWithin（）函数进行缓冲区内对象进行检测时，出现效率极低的情况，比如，有几万条数据，每条数据都要在一个几十万条记录的表中检测存在于其缓冲区内的对象，而在执行的时候，每个对象的缓冲区检测是一条sq语句，但是刚开始的时候每条语句都要花费近一分多钟的时间，这样算下来几万条语句就要花费数万分钟，效率太极低，这个问题困扰了好几天，刚开始也试过其它函数，试过建立索引，都没有太
2017-06-20 10:29:29
1927
原创 postgresql中ST_Intersects用法
ST_Intersects（A，B）经过验证发现，该函数所检索出的对象不仅包括A与B相交，而且包含A存在于B中的情况。因此也可以将其结合ST_Buffer（）进行缓冲区内对象检测。先通过ST_Buffer（）函数生成缓冲区对象如存储到onegradebuffe字段中，然后再利用ST_Intersects（）函数在表中搜索geom字段表示的对象与onegradebuffe字段表示的缓冲区对象
2017-06-18 21:55:09
16274
原创 地理坐标系、投影坐标系及对应WKIDW在生成缓冲区时的应用
首先，说一下问题，之前在利用ST_Buffer（上篇博客有说到）做缓冲区生成时，是在地理坐标系的基础上进行生成的，因此会出现生成的半径跟真实半径不匹配的情况甚至相差一千倍以上，并且在生成shp文件后，加载到arcgis时会出现与影像图不匹配，需要根据以下步骤对其进行坐标系转换。 生成的缓冲区shp文件在arcgis中加载时，与影像图坐标不匹配时：解决方法：对矢量数据加载投影参照坐标系：
2017-05-12 09:56:14
2394
原创 postgresql中ST_Buffer、ST_DWithin函数用法
ST_Buffer：用于矢量对象生成缓冲区geometry对象，可用于缓冲区对象的显示，使用举例（其中bufferColumn字段是geometry类型）：update tableName set bufferColumn=ST_Buffer( ST_GeomFromText( 'LINESTRING(50 50,150 150,150 50)'), 10, 'endcap=round j
2017-05-07 11:15:37
19863
1
原创 vs2010打包程序最简教程
第一步：打开vs新建项目-->其他项目类型—>安装部署-->安装向导，然后一直下一步完成。如下图第二步：项目debug文件夹下的所有文件复制到应用程序文件夹下面，如下图：第三部：将应用程序文件夹--属性中DefaultLocation项里的[ProgramFilesFolder][Manufacturer]\[ProductName]改为：[ProgramFilesF...
2017-05-05 21:54:43
585
原创 hibernate 连接postgresql数据库
一，需要的jar包：二、配置文件信息： "-//Hibernate/Hibernate Configuration DTD 3.0//EN" "http://hibernate.sourceforge.net/hibernate-configuration-3.0.dtd"> postgres 123456
2017-04-21 14:58:02
4552
2
原创 java语言对arcgis进行二次开发
本文章是在已安装arcgis（最好是完整版，在ArcGIS_Desktop文件夹下面含有SDK_java，并保证其已安装）并且javaJDK已安装且环境变量都已经配置好的前提下适用，具体怎么安装去网上搜吧有很多相关教程。（由于SDK_java只支持32JDK，所以请保证你的jdk版本为32位，同时Eclipse也应为32位）所需插件：EMF-2.6.1、GEF-3.6.2、VE-Updata-
2017-04-18 11:02:26
8287
1
原创 第一次写-如何用SAX高效解析超大XML文件
最近用到xml文件想把它读取之后存到数据库里面，但是在网上找了一些方法，发现不是会出现文件过大导致堆溢出的问题，就是效率太低，几百万条数据需要好几个小时甚至一两天，于是我就捉摸着自己写了一个。是用SAX解析的，存储的数据库为SQLserver2012，最终对于将近3个G包含几百万条数据的xml文件，解析时间大概二三十分钟吧，效率还可以，当然还有待改进，没有用到多线程的方法，毕竟是初学者，很多东西都是自己瞎捉摸的，希望大家多多指点。
2016-08-10 14:05:55
7195
2
hibernate-junit4.0-postgresql-8.4-jdbc等jar包
2017-04-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人