刘乘九-CSDN博客

原创记一次减少Pandas DataFrame在科学计算中的内存占用

通过指定列类型为category减少Pandas DataFrame内存占用的方法。实测节约83%的内存占用

2023-06-15 00:14:38 491

原创 Spring Boot 下mybatis 转义报错，你竟然还不知道解决，快进来看看一次性解决。

现象就是同事和自己在开发业务需求的时候，有的时候在使用mybatis写sql的时候会莫名其妙的提示SQL错误。由于遇到的次数还真不少，所以在此进行一个记录，以免自己下次再遇到。原因就是mybatis的某些字符在表达的时候需要进行转义（最常见的就是> 大于 < 小于了），因为mybatis的报错基本都比较笼统有的时候在自己去编写sql的时候，往往会怀疑自己的SQL是不是写错了。以下是mybatis的转义字符及转义后的字符串。...

2021-10-24 23:27:33 508

原创 flink学习文档三 exactly-once精准一次实现原理

目的flink相比其他计算引擎而言有一个重要优点就是可以支持精准一次的，相比于其他计算引擎大多只支持最少一次而言是一个重要特性。这里对flinkexactly-once 的使用进行分析，并对其原理进行学习记录。学习框架图exactly-once是什么exactly-once语义指的是每条数据对最终结果的影响只有一次，无论期间硬件或者软件程序出现任何异常使得任务中断，将异常处理恢复flink任务后也不存在重复处理的数据或未处理数据。exactly-once前提..

2021-10-15 00:08:04 747

原创 spring连接mongo失败记录及 orm实践

一、mongo springboot 连接不上的问题1.检查spring-boot-starter-data-mongodb和mongo-java-driver的版本。默认的mongo-java-driver可能因为驱动版本过低造成影响。参考： <dependency> <groupId>org.mongodb</groupId> <artifactId>mongo-java-drive...

2021-08-22 22:57:25 963

原创 flink学习文档二 FlinkKafkaConsumer 的模式探究

目的最近会不定期抽空整理flink的相关知识，整理的逻辑大纲就是下面自己画的学习框架图。如果有大佬发现下面知识框架有问题也欢迎指出。因为FlinkKafkaConsumer 是flink学习框架图

2021-08-01 22:23:34 1255

原创 SpringBoot启动报错(一篇教你如何处理mapper绑定问题) BindingException: Invalid bound statement (not found)

背景接手了一个没有配置mybits-plus的spring boot的项目。需要新建一张数据表，为了节约自己手动配置dao、domain等ORM的时间，直接从其他工程含有mybits-plus对需要新建的数据表生成ORM的相关文件，转移到接手的项目中。运行项目失败，提示信息如下：2021-07-19 18:20:00.577 ERROR 27829 --- [io-11083-exec-6] o.a.c.c.C.[.[.[/].[dispatcherServlet] : Servlet.se

2021-07-21 00:12:47 1180

原创记一次flume OOM异常处理 “lifecycleSupervisor-1-46“

背景：一个flume任务里包含了九种日志的传输任务。使用Taildir模式配合linux的定时任务切换读取目录的软连接。现象：

2021-05-31 15:05:34 399

原创 flink学习文档一（安装、开发、运维简版一站式上手流程）

目的最近使用flink比较频繁，想系统化梳理一遍flink的相关知识，把整体的知识结构都梳理一下。恰好遇到一个flink工程的交接，接手的人对相关的知识不是太感兴趣，需要一份再一步一步如何操作应对平常的需求即可。这边刚好把这份傻瓜文档分享一下，以帮助有需要的人。后续会一步一步将整体的知识结构整理到这个系列里的。flink的安装可以参考我的另一篇安装博文《flink 1.11.2 的安装记录》，目前暂时都记录的是使用flink streaming模式下的任务开发，工程结构可以从flink的git官方上获取

2021-05-21 17:05:48 474 2

原创 clickhouse 超详细常用命令（零基础也能直接上手的指令说明）

主题在clickhouse中有一些常用的基础命令，这里进行记录总结一下。clickhouse的安装可以参照我的另一篇clickhouse安装记录clickhouse概念框架常用命令1.服务启动/停止注：需要按照教程正确安装了服务后启动： service clickhouse-server start停止：service clickhouse-server stop重启：service clickhouse-server restart2.登录...

2021-05-20 15:36:50 11444

原创 mysql数据导入到clickhouse数据长度超长，clickhouse的Int长度

概要mysql的bigint20长度是十进制的，clickhouse的Int32的长度是二进制的。背景因为当前公司的数据量从百万每天陡增到十几亿，所以之前老的数据处理程序承载不下，重新搭建了一套新的大数据架构。在给公司从0到1搭建数据集群的过程中，有一个需求需要定时将一个MySQL的表更新导入到clickhouse中。结果发现唯一ID在导入过程中变成了负数。对于这个字段的定义中：mysql 是bigint20clickhouse 是Int32看上去clickhouse这个字段占用的空.

2021-05-15 18:02:55 1204 2

原创 JAVA使用fastjson解析数据时异常

错误描述Exception in thread "main" com.alibaba.fastjson.JSONException: syntax error, expect {, actual string, pos 40, line 1, column 41"{\"hh\":\"159\",\"test\":\"aa\",59:16}"背景公司的后台服务是基于Springboot+...

2021-04-20 23:15:08 1201

原创 clickhouse安装记录高可用双实例超详细的clickhouse安装看这一篇就够了~

1.安装依赖项yum -y install libicu perl-JSON-XS2.下载clickhou的RPM包各版本系统与包的地址：https://packagecloud.io/Altinity/clickhouse以clickhouse19.16.14.65版本为例：使用wget下载RPM包：wget --content-disposition https://packagecloud.io/Altinity/clickhouse/packages/el/7/cli..

2021-04-11 23:37:34 1389

原创 MySQL 添加where 1= 1 是否会引起索引失效

背景在检查数据库的执行效率的时候，发现了一条查询极慢的查询sql。sql的例子如下：EXPLAIN SELECT * FROM user_point_detail_info WHERE 1=1 AND deleted = FALSE AND app_id = 2010001 AND point > 10 AND add_time BETWEEN "2021-03-12 17:00:00" AND "2021-03-12 17:51:00" ORDER BY user_id DE...

2021-03-15 10:10:41 3840

原创 JAVA内存模型读书笔记

学习内容链接：https://www.cnblogs.com/yanlong300/p/9009687.htmlJAVA内存模型定义CPU有缓存一致性协议及内存屏障。而JAVA是一个跨平台的语言，为了实现一处编码处处执行的功能。JAVA需要设计一个中间层模型来匹配不同操作系统及硬件上的差异。java内存模型（java memory model）: java内存模型指定的是java虚拟内存如何与计算机内存（硬件实体RAM）一起配合。java虚拟机本身就是一个抽象的计算机模型，所以jav..

2021-01-04 18:14:56 73

原创 CPU缓存一致性协议MESI 学习笔记

学习内容链接：https://www.cnblogs.com/yanlong300/p/8986041.html（原文写的非常好，建议看原文。这里仅仅是自己学习后，再梳理一遍增加印象~）为什么有MESI协议？CPU的计算能力与日俱增，然而内存及硬盘的发展速度远远落后于CPU，CPU厂商为了解决这个问题在CPU内增加了少量告诉缓存来匹配CPU的计算速度。随着计算机的硬件架构逐渐走向了多缓存（时间局部性、空间局部性）多核心的结构。为了保证计算中缓存内部数据的一致性，提出了一个MESI协议来解决这个.

2021-01-04 14:58:36 183

原创 maven学习笔记作用及依赖管理

maven有啥用1.jar包难找没有maven之前没有统一的管理工具，想引入一个包得到处搜索下载。2.jar包依赖一般来说一个包很有可能依赖了其他好几个包，我们想使用一个包的时候就得将这个包及其依赖的其他包都下载回来进行管理。3.jar包冲突通常我们一个项目会引用多个包来实现功能，但是我们引用进来的这些包依赖的子包，可能有重复但是版本不同的。这样我们要手动解决冲突还是很繁琐的事情。4.jar包管理 jar包自己放在本地进行使用的话，如果团队来了新成员的话...

2020-11-27 19:30:16 112

原创 flink如何设置以每天零点到第二天零点为区间的window进行计算

环境flink1.11.2JAVAstream APItimewindow背景公司之前的指标是以分钟为单位的滚动窗口进行检查，然后在查询系统里查询的时候，对该天所有的分钟数据进行聚合统计。当前需要在flink中添加以天为单位的Job进行额外指标检查。指标出来之后和发现数据口径不一致，flink中默认是timeWindow按天进行滚动统计的数据是每天八点到第二天八点的数据。导致统计指标的含义对不上，没有参考意义和进行不同数据间的join。解决方案使用window配置..

2020-11-02 18:05:01 2452

原创 flink 1.11.2 的安装记录

背景计划将之前部署好的flink1.10升级到1.11.2。主要流程及踩坑1.从官方下载flink1.11.2的压缩包，选择与业务程序中导入的maven依赖scala版本一致即可（本人选用的是2.11）。flink压缩包官方下载链接2.修改对应的配置文件（yarn模式下只需配置flink-conf.yaml，如果是使用flink自己的资源调度则简单配置masters、workers文件即可）。flink 1.10与1.11.2的配置项基本没有太多差别，配置参考之前的文档...

2020-10-20 18:29:59 1049 1

原创 pyflink sql 方式创建数据源表报错 SQL parse failed. Encountered “time“ at line 2, column 5. Was expecting one

背景：这周在尝试将之前以JAVA开发的flink stream模式脚本，迁移到开发打包更方便的pyflink 的sql 模式脚本。但是在进行逻辑迁移的时候，pyflink报错，具体报错信息如下：py4j.protocol.Py4JJavaError: An error occurred while calling o6.executeSql.: org.apache.flink.table.api.SqlParserException: SQL parse failed. Encountered "

2020-10-15 01:58:06 9564 1

采集啄米记录贴