- 博客(242)
- 资源 (17)
- 问答 (2)
- 收藏
- 关注
RSS订阅
原创 Apollo开放平台9.0让自动驾驶开发者轻松上手
在自动驾驶技术飞速发展的今天，成为这个领域的一名开发者是一次挑战、一次冒险，更是一次心灵之旅。作为这个领域的先锋之一，Apollo开放平台9.0于12月19日发布，同时Apollo开放平台9.0为开发者提供系统且全面的入门开发指南，让刚接触这个领域的开发者非常容易上手，下面与大家分享我在平台搭建中的成长与心得体会。
2023-12-19 14:10:13
16296
50
原创 Java注解编译期处理AbstractProcessor详解
我们接触的注解主要分为以下两类运行时注解：通过反射在运行时动态处理注解的逻辑编译时注解：通过注解处理器在编译期动态处理相关逻辑平时我们接触的框架大部分都是运行时注解，比如：@Autowire @Resoure @Bean 等等。那么我们平时有接触过哪些编译期注解呢，@Lombok等等像这些编译时注解的作用都是自动生成代码，一是为了提高编码的效率，二是避免在运行期大量使用反射，通过在编译期利用反射生成辅助类和方法以供运行时使用。那这些编译器注解都是如何运行的呢?又是怎么自动生成代码的呢？
2023-04-11 16:55:57
17623
22
原创 图解KafkaConsumer SyncGroupRequest请求流程
在上一篇文章中,我们分析了JoinGropRequest的流程,详细请看Kafka消费者JoinGroupRequest流程解析那么我们知道,在执行完了JoinGroupRequest之后, 所有的Member都对消费组协调器发起了SyncGroupRequest请求那么SyncGroup具体做了哪些事情呢？我们今天来一起分析一下！当我们JoinGroup完成之后, 消费者客户端收到了Response, 然后就会立马发起SyncGroupRequest相关代码如下JoinGroupResponseHandl
2022-11-16 10:20:57
21260
52
原创 如何用Know Streaming 快速对Kafka Topic 完成扩缩副本操作
扩缩副本功能是原生Kafka没有的功能，或者说是没有直接提供的功能。但是对于扩缩副本这么一个操作功能, 是属与平时不会用, 想用的时候干着急。比如一开始你的Topic副本数填的是1, 运行了一段时间之后发现, 1的副本可不行啊, 高可用性大大降低, 需要扩副本。但是你想要扩副本的时候才发现, kafka并没有提供此类功能, 处境很尴尬现在,用Know Streaming 这个将不再是问题！如果你想扩缩副本操作之后 副本应该分配在哪些节点中，则可以在下面这里设置。
2022-11-01 16:30:40
21116
19
原创 喜报! 祝贺KnowStreaming升级为首批银河计划成员
9月16日，中国信息通信研究院（以下简称“信通院”）主办的2022 OSCAR 开源产业大会在京成功举办，滴滴4项开源项目由可信开源社区共同体正式成员升级为首批银河计划（TWOS Galaxy 2022）成员，会上、DoKit、LogicFlow、Delta 4位项目代表上台领取了奖杯，未来将与信通院及各成员单位一起聚焦开源技术，共同学习成长，提升创新能力，推动开源产业生态完善。
2022-10-08 14:04:48
11897
8
原创 寻找协调器FindCoordinatorRequest请求流程
知道了哪个Broker, 那我们就能够获取到对应的EndPoint, 一个Broker可能同时有多个EndPoint（配置了多个监听器），那么我们应该使用哪个EndPoint呢？从客户端 -> Broker -> 其他Broker. 这是一个调用链路，从最开始用的是什么监听器那么这条链路上都是用的这个监听器！这个主要是看当前处理请求的Broker是通过哪个入口来的。这里才是真正的找到协调器的主要逻辑, 这里的判断逻辑是。他们的处理逻辑都是一样的,只是处理的Topic不一样。元信息发起请求的时候也是会用的。
2022-09-02 11:50:05
15228
20
原创 接口自动化测试实践指导（中）：接口测试场景有哪些
在第一篇文章中详细给小伙伴们讲解了一下接口自动化需要做哪些准备工作，准备工作中最后一步接口测试用例设计是非常重要的一个环节，用例设计的好不好，直接关系到我们的测试质量，那如何进行测试用例设计呢，这里呢我结合自身经验，帮助大家梳理一下接口测试用例设计思路，希望对大家后续接口测试工作有所帮助和提升。......
2022-08-11 09:21:59
18136
126
原创 Hadoop Spark太重，esProc SPL很轻
作者石臻臻,CSDN博客之星Top5、、、华为云MVP,腾讯云TVP,滴滴Kafka技术专家、。。
2022-08-01 11:22:47
12180
66
原创 多网络情况下,Kafka客户端如何选择合适的网络发起请求
最近有个同学问了我一个非常有意思的问题, 今天我根据这个问题来给大家好好分析一下。我们都知道, 每个Broker都可以配置多个监听器, 用来用于网络分流。相关知识请看：一文搞懂Kafka中的listeners和advertised.listeners以及其他通信配置然后, 我们客户端中需要配置 来连接到集群中。然后当Kafka集群Broker数量很多的时候,我们不可能在配置所有的地址所以Kafka是允许你只配置其中部分地址的, 它会通过自身的元信息更新机制,去获取Kafka集群中的所有地址。然后如果需要
2022-06-28 16:42:07
8146
14
原创 一文搞懂Kafka中的listeners和advertised.listeners以及其他通信配置
参数详解listener.security.protocol.map安全协议集合默认集合：PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSLPLAINTEXT：不需要授权,非加密通道SSL：使用SSL加密通道SASL_PLAINTEXT：使用SASL认证非加密通道SASL_SSL：使用SASL认证并且SSL加密通道inter.broker.listener.name用于Broker之间通
2022-06-16 09:39:49
7756
3
原创 多图详解kafka生产者消息发送过程
文章目录相关配置源码元信息数据的更新 METADATA发起ApiVersionsRequest获取Kafka版本信息发起MetadataRequest获取元信息信息Kafka服务接受到METADATA客户端收到Response, 更新元数据 ProducreMetaData生产者拦截器生产者拦截器详解onSend(ProducerRecord今天我们来通过源码来分析一下,生产者发送一条消息的所有流程~~~相关配置参数说明默认/示例key.serializerkey的序列化器,需要
2022-04-29 08:30:00
9498
37
原创 【kafka运维】分区副本重分配、数据迁移、副本扩缩容 (附教学视频)
文章目录脚本参数分区副本重分配1. 生成推荐配置脚本2. 执行Json文件3. 验证副本扩缩副本扩容副本缩容脚本参数分区副本重分配一个分区副本重分配的过程建议要经过下面3个步骤1. 生成推荐配置脚本关键参数--generate在进行分区副本重分配之前,最好是用下面方式获取一个合理的分配文件;编写move-json-file.json文件; 这个文件就是告知想对哪些Topic进行重新分配的计算{ "topics": [ {"topic": "test_create_topic1"}
2021-07-26 11:55:46
16754
97
原创 【kafka实战】分区重分配可能出现的问题和排查问题思路(生产环境实战,附视频)
文章目录前提所有异常情况1. TargetBroker若不在线,迁移脚本执行会失败情景演示2. TargetBroker在开始迁移过程中宕机，导致迁移任务一直在进行中情景演示解决方法3. 被迁移副本没有找到Leader,导致TargetReplica一直不能同步副本情景演示解决方案4. 限流导致重分配一直完成不了情景演示解决方案5. 数据量太大,同步的贼慢解决方案排查问题思路1. 先看/admin/reassign_partitions里面的数据2. 再看brokers/topics/{TopicName}
2021-07-12 10:22:44
51382
113
原创 【kafka运维】Kafka全网最全最详细运维命令合集(精品强烈建议保存)
本文所有命令,博主均全部操作验证过,保证准确性; 非复制粘贴拼凑文章; 如果想了解更多工具命令,可在评论区留下评论,博主会择期加上;kafka-topics.sh、kafka-configs.sh、kafka-reassign-partitionskafka-console-producer.sh、kafka-console-consumer.sh、kafka-leader-election、kafka-verifiable-producer.sh、kafka-verifiable-consumer、
2021-06-25 11:48:00
53642
56
原创 【Nacos配置管理】一文带你搞懂Nacos配置管理模块
总结Nacos配置管理操作流程可以 做 ip hash定位使用哪台机器;每次都访问同一台机器 ,或者做共享session;集群列表的配置文件,第3步通知的时候就是读取这里获取集群所有服务器列表给配置文件中的集群列表发送给一个http请求,通知有配置修改了本地磁盘中的文件,在服务端启动的时候就会将配置全部dunmp到本地磁盘, 这里修改了，也会修改对应的磁盘中的配置，服务端内存中存的只...
2019-10-10 09:22:54
8351
25
原创 亮数据----教你轻松获取数据
在如今这个信息化时代，数据的价值变得前所未有的重要，如果你还在纠结如何造数据，不会写爬虫代码问题，我建议赶快将亮数据用起来，另外也不要一直在维护自己的低代码，将更多的时间用在思考决策分析上显得更为重要。目前，亮数据提供了许多折扣，成功注册账户并登录，就能领取福利啦，感兴趣的小伙伴试试吧！亮数据为粉丝提供了10美金的抵用券，成功注册账户，并登录后在用户界面里输入折扣代码即可享受抵扣！折扣代码：shizhenzhen亮数据如有问题，可以关注“Bright_Data”亮数据官微，联系后台客服。
2024-04-08 09:24:10
1082
21
原创 人工智能引领图文扫描新趋势
基于智能OCR技术的不规则弱约束文档图片识别系统，首次应用在手绘括号思维导图数据几乎没有的情况下，按照机器学习的分阶段拆解任务的思路，融合了目标检测算法、像素域的聚类算法和目标计数算法，创新了一种层次逻辑生成算法，弥补当前模式识别在处理手绘括号图识别问题时的缺失。在获取三种信息后，训练一个较大的语言模型，可以根据用户所面试的职位的需要，评估结构是否合理、布局是否合理，并对文本进行润色和扩充，为用户提供风格升级和转换的方案，最终由用户决定和取舍从而制作出结构完整、内容合理、美观大方的简历。
2023-08-21 10:50:22
17310
62
原创 专业的知识图谱应用门槛正在被不断降低
知识图谱（knowledge graph）⼀度被专家称为“AI皇冠上的明珠”，因为知识图谱技术是⼈⼯智能技术⽅向中的重要⼀环。它不仅可以为其他⼈⼯智能应⽤提供⽀持，如⾃然语⾔处理、推荐系统等，更可以帮助⼈⼯智能系统⾃主构建和增⻓知识库，提升计算机的理解和分析能⼒，实现“认知智能”的⽬标。Gartner预测，到2025年，知识图谱技术将应⽤于80%的数据分析，⽽2021年这⼀⽐例仅为10%。
2023-05-31 09:21:58
16701
76
原创 自动化测试工具加入黑科技带来新纪元
这次我们一起感受了一下AI带给自动化测试行业的颠覆性改变，对我们测试工作带来了巨大的效率提升，同时针对页面发生动态变化后的测试适应性更强，极大降低了测试人员的门槛。同时视频解析能够增强对用户问题反馈的相应能力，极大的提升客户的满意度，可谓是创造了自动化测试新纪元。没有体验过的小伙伴一定要点击体验一下。
2023-03-01 08:30:00
19737
84
原创 可路由计算引擎实现前置数据库
很多大机构都会有个中央数据仓库负责向应用提供数据服务。随着业务的发展，中央数据仓库的负载在持续增加。一方面，数仓是前端应用的数据后台，而前端应用不断增多，用户访问的并发数也不断增长。另一方面，数仓还要承担原始数据的批量离线处理，而批量任务不断增加，其数据量和计算量也在不断增大。所以，常常会出现中央数据库不堪重负的情况。表现出来的现象是：批量处理任务耗时过长，远远超过业务可以容忍的时限；在线数据查询响应太慢，用户长时间等待，满意度越来越差。特别是月末或者年末，计算量达到高峰的时候，这些问题会更加严重。
2023-02-06 14:09:07
26572
51
原创 SPL 实现电力高频时序数据实时存储统计
在第二步中已经提到，数据量较大时，无法将数据都放在内存中计算，所以考虑采用冷热分层方案，将数据分为三层，每天的冷数据按测点号、时间有序（下文中的所有外存文件存储均采用该序，不再重复说明），用组表存储，因为大表对性能的影响很大，存储成组表有利于提升系统整体性能；第四层，每天的组表冷数据。系统中，用户期望的统计响应延迟为：从20万个测点中任取100个测点，统计频率最高可能每隔若干秒调用一次，从总时间跨度中统计任意一天的数据，预期执行时间在1分钟内，另外还会有少许离线任务，最长的时间段跨度长达一年。
2023-01-04 08:30:00
61183
52
原创 自动驾驶技术平台分享：百度Apollo开放平台8.0再升级，更简单，更便捷，更高效
在自动驾驶不断发展的今天，百度以Apollo平台入手，实现了全无人自动驾驶的运营、大规模的人才培养以及更简便的平台搭建，我们可以快速轻松的学习，提前进入下一个热点方向。
2022-12-28 18:26:14
15472
31
原创 【重磅干货】如何构建 API 生态促进企业上下游合作
API生态是企业间基于API接口共生的资源交易生态。API的生态企业都会有其独特的资源。例如云平台的算力，操作系统的进程调度，应用软件的业务能力，大数据平台的智能算法等。生态企业通过API接口，在API生态平台上形成紧密互利的共生关系。通过独特资源的交易，产生新的场景价值。这些场景价值可以使得单个企业突破原有的商圈，获得更大的消费市场。提供人脸算法接口对接公安系统数据库，可以做身份认证的业务；提供扫脸身份认证接口和支付系统对接，场景可拓展为快捷刷脸消费；
2022-12-21 18:02:09
17655
37
原创 从SPL看开放计算能力的意义
关系数据库提供了SQL，因而有较强的计算能力，但很遗憾的是，这个计算能力是封闭的。所谓计算封闭性，是指要被数据库计算和处理的数据，必须事先装入数据库之内，数据在数据库内部还是外部是很明确的。与之相对，计算开放性是指数据无需进入内部就可以直接处理多种来源的数据。数据库有元数据，使用前要先定义表，数据要经过整理满足约束才能入库使用，封闭也就成了自然而然的事情了。反过来，什么样的计算能力是开放的呢？数据在使用之前无需整理就可以直接计算，没有任何约束限制，使用起来很灵活。现在有很多这样的开放数据计算引擎，Spark
2022-12-06 08:30:00
13641
45
原创 从 NASL 说开：低代码编程语言能饭否
轻舟低代码平台，NASL是其中的关键，也是最大的差异化。回头看Gartner的定义，也有LCAP（低代码平台）和CADP（无代码平台）之分，前者对开发完整性、应用独立性、逻辑完备性、可接入可集成等都有要求，所以说，NASL的实现使得轻舟低代码更符合这一理念。说到框架，大家首先想到肯定是是react，springboot这种被广泛使用的前后端框架，低代码框架本质上跟他们类似，差别在于，低代码框架通常支持从前后端到数据库的全栈模型实现，而且封装程度更高。
2022-11-22 08:30:00
13437
79
原创 如何用Know Streaming来查询Kafka的消息
Kafka的消息查看功能算是一个呼声比较高的需求了。但是它目前还并不能像RocketMq那样比较友好的对消息做一些复杂查询操作。目前KnowStreaming的实现方式是使用Consumer客户端来拉取数据Know Streaming脱胎于互联网公司内部多年的Kafka运营实践经验，通过0侵入、插件化构建企业级Kafka服务，极大降低操作、存储和管理实时流数据门槛不会对Apache Kafka做侵入性改造，就可纳管0.10.x-3.x集群版本，帮助您提升集群管理水平；
2022-11-09 17:35:02
15360
15
原创 SPL比SQL更难了还是更容易了？
SPL作为专门用于结构化和半结构化数据的处理技术，在实际应用时经常能比SQL快几倍到几百倍，同时代码还会短很多，尤其在处理复杂计算时优势非常明显。用户在看到这些应用效果后对SPL往往很感兴趣，但又担心掌握起来太难，毕竟SPL的理念和语法都跟SQL有较多不同，这要求用户需要重新了解一些概念和学习新的语法，用户可能会心生疑虑。那么SPL的上手难度究竟如何呢？这里我们以SQL为起点讨论一下这个问题。
2022-11-07 10:26:21
19909
67
原创 如何快速优雅的用Know Streaming创建Topic
这个是记录消费组消费的偏移量的信息。同一个消费组消费某个TopicPartition的时候,会把offset消息写入到这个Topic中，每次写入的Key是一样的，但是Value不一样。那获取当前消费组消费的Offset信息的时候，读取的就是这个Key最新的一条。把你的消息体负责到这里面，就会自动展示给你占用的字节数，让你在配置参数属性的时候能够有一个依据。这下面的配置,都只是针对的该Topic生效的, 并且这里配置的属性 都是属于动态配置。简单清晰的操作界面, 让你能够非常快速的创建一个新的Topic；
2022-10-31 17:33:07
4337
1
原创 Kafka扩分区和分区副本重分配之后消费组会自动均衡吗？
扩分区之后 消费组会不会重新平衡呢？那我们今天从源码的角度来一起分析一下, 扩分区能否重平衡？
2022-10-28 10:17:51
15165
9
原创 告别宽表,用DQL成就新一代BI
要解决这个难题，就需分析研究SQL的JOIN运算，突破SQL的局限才可以我们发现，BI多维分析中需要的JOIN，都属于这么3+1种情况：外键关联，多对1的JOIN和LEFT JOIN同维表关联，1对1的LEFT JOIN或FULL JOIN主子表关联，1对多的JOIN和LEFT JOIN按维对齐，1对1的FULL JOIN或JOIN，LEFT JOIN较少见第四种维度对齐，稍有特殊，但也并没有超出前三种情况的范围，所以我们说成3+1。
2022-10-26 11:57:37
10779
28
原创 国产CPU执行SPL实现数据库运算的性能实用性测试
国际大环境就不用多说了。对于数据库类的关键业务，全国产技术（国产CPU+国产数据库）和国外主流技术在性能上相比还有不小的差距，经常需要借助分布式技术使用数倍的硬件才能获得类似的效果。国产编程语言SPL的问世，可以方便程序员写出（比SQL）更短小简单且计算量更低的代码（针对同样计算任务），能够对采用SQL的主流数据库形成明显的效率和性能优势。这样，在国产CPU上运行用SPL编写的数据库运算，就可能获得在国外CPU上运行SQL数据库的同样性能，甚至大幅超过。从而使数据库运算类的关键业务实现全国产技术替代。本次测
2022-10-19 10:50:32
10110
10
原创 接口测试这件小事
伴随着对接口测试的认知升级，是从测试工程师到测试架构师完成蜕变的过程，因此，想和大家聊一下“接口测试这件小事”，以及分享一下我和接口测试之间的爱恨纠葛。
2022-10-17 14:11:26
13164
82
原创 KnowStreaming贡献流程
同时，您的提交记录请尽量描述清楚，主要以谓 + 宾进行描述，如：Fix xxx problem/bug。如果该提交和某个ISSUE相关，可以添加ISSUE号作为前缀，如：For #10000, Fix xxx problem/bug。提交了PR之后，需要等待PMC、Commiter 来Review代码，如果有问题需要配合修改重新提交。一般开源项目都会有一个给贡献者提交代码的分支，例如 KnowStreaming的分支是。修改时请保证该分支上的修改仅和issue相关，并尽量细化，做到。的所有分支就获取到了。
2022-10-11 15:27:56
9570
14
原创 SPL工业智能：原料与产品的拟合
此外，工艺知识还提供了基础收率，它是个长期均值，直接用它预测“明天” 的产品产量效果很差，好比用年均气温去预测明天气温，显然无效，所以基础收率不能直接使用，只能作为参考，就像预测“明天”气温可以把年均气温作为参考一样，不能偏离特别远，否则即使拟合结果误差很小也不合适用于预测。同理，实际生产中，收率同气温一样也是渐变的，即今天的收率和明天的收率差别不会很大，可以把今天的收率和基准收率得到的产品产量之差作为计算明天收率的参考，以此作为有边界拟合时的边界，保证结果收率不偏离基础收率太远。
2022-10-10 10:22:32
9921
75
原创 怎么样在应用中实现自助报表功能
应用中怎么实现自助报表功能，最难的地方其实是:怎么找一个功能全面且能集成的工具，这个难题解决后，剩下的具体集成对于工程师来说就不算什么难事了，现在难题也被解决了，站在别人的肩膀上不说看的更高走的更远吧，起码能省很多事了，接下来要做的，就是实际集成一次，亲自验证一下看看到底能不能满足自己的需求了。
2022-09-27 10:02:06
9265
111
原创 图解Kafka消费者客户端分区分配策略
我们先看一下分区策略的类图/*** 返回序列化后的自定义数据} /*** 分区分配的计算逻辑/*** 当组成员从领导者那里收到其分配时调用的回调} /*** 指明使用的再平衡协议* 默认使用RebalanceProtocol.EAGER协议, 另外一个可选项为 RebalanceProtocol.COOPERATIVE} /**} /*** 分配器的名字。
2022-09-22 09:59:23
6479
17
Centos 7环境开发者环境初始化脚本
2018-12-26
ffmpeg for Linux
2018-12-21
MAC 的 ffmpeg
2018-12-21
dubbo官方文档
2018-05-30
SpringMVC+FREEMARK+Redis
2016-10-26
eclipse svn 插件下载
2015-08-21
SpringMVC4.0+MYBATIS3.0
2014-11-23
JAVA实现GAME2048
2014-07-25
java基础 继承和多态实例
2014-07-16
早上早点起床可以学习两个小时
2021-04-29
OAUTH2.0授权登陆怎么保持登陆状态
2016-11-05
TA创建的收藏夹 TA关注的收藏夹
TA关注的人