- 博客(58)
- 收藏
- 关注
RSS订阅原创 MySQL的索引
MySQL索引的使用、索引的分类、InnoDB索引模型、索引维护、最左前缀原则、覆盖索引、回表、索引下推、change buffer、普通索引和唯一索引的选择等等。
2023-07-25 11:38:34
1570
原创 MySQL存储过程和自定义函数
1.1 存储程序1.2 创建存储过程1.3 创建自定义函数1.3.1 示例1.4 自定义函数和存储过程的区别1.5 变量的使用1.6 定义条件和处理程序1.6.1 定义条件1.6.1.1 示例1.6.2 定义处理程序1.6.2.1 示例1.7 光标的使用1.7.1 声明光标1.7.2 打开光标1.7.3 使用光标1.7.4 关闭光标1.8 流程控制的使用1.8.1 IF语句1.8.2 CASE语句1.8.3 LOOP语句1.8.4 LEAVE语句1.8.5 ITERATE语句1.8.6 REPEAT语句。
2023-07-21 09:56:10
378
原创 Apache Flink
Flink部署模式、Flink启动命令、Flink性能优化、Flink DataStream API 、Flink 双流join、Flink的重要概念、Flink Checkpoint 、Flink state等等内容
2023-04-27 16:00:43
1592
原创 计算机网络（二）
物理层考虑的是怎样才能在连接各种计算机的传输媒体上传输数据比特流，而不是指具体的传输媒体。物理层的作用是要尽可能地屏蔽掉传输媒体和通信手段的差异，使物理层上面的数据链路层感觉不到这些差异，这样就可使数据链路层只需要考虑如何完成本层的协议和服务，而不必考虑网络具体的传输媒体和通信手段是什么。用于物理层的协议也常称为物理层规程。 物理层的主要任务是确定与传输媒体的接口有关的一些特性，即： (1) 机械特性 指明接口所用接线器的形状和尺寸，引脚数目和排列，固定和锁定装置，等等。平时常见的各种规格的接插
2023-01-15 20:54:23
1641
原创 计算机网络（一）
网络已经成为信息社会的命脉和发展知识经济的重要基础。网络对社会生活的很多方面以及对社会经济的发展已经产生了不可估量的影响。计算机网络向用户提供的最重要的功能有两个，即：(1) 连通性(connectivity)。就是计算机网络使上网用户之间都可以交换信息。(2) 共享。共享就是指资源共享。资源共享的含义是多方面的。可以是信息共享、软件共享，也可以是硬件共享。网络由若干结点和连接这些结点的链路组成。网络中的结点可以是计算机、集线器、交换机或路由器等。
2023-01-10 19:07:48
902
原创 Apache Doris
Apache Doris数据模型、Bitmap函数、聚合函数、Doris性能优化、Doris使用方式、Doris数据库管理、Doris安装部署、数据导入、物化视图、Rollup等等。
2022-11-18 16:55:43
4319
原创 生产中，磁盘空间不够存储未来几年的数据，怎么使用Hbase呢？
Hbase+ES的存储方案介绍启动数据块编码属性值介绍PREFIX:前缀编码DIFF:差异编码FAST_DIFF:快速差异编码PREFIX_TREE: 前缀树编码该算法的特点把Hive中一行数据在存储的时候生成json存储到一个列中磁盘占用情况查询数据耗时测试介绍 最近的一个项目中，需要使用Hbase+ES的存储方案，把Hive中的数据导入到Hbase和ES中，方便检索。但是在预估未来几年的数据量后， 发现当前的磁盘不够存储未来几年的数据，不过现有的数据存储是没有问题的。这个该怎么实施呢？
2021-07-20 22:22:14
256
2
原创 Hive日期函数使用
Hive日期函数使用yearmonthdayhourminutesecondadd_monthsdate_adddate_subdate_formatdatediffdayofmonthdayofweekweekofyearcurrent_datecurrent_timestampfrom_unixtimeunix_timestampto_unix_timestampto_utc_timestampfrom_utc_timestampnext_daylast_daymonths_betweento_date
2021-07-19 22:40:09
1310
原创 Kafka详细总结
1 消息队列1.1 基本定义1.2 消息传递的两种模式1.2.1 同步模式1.2.2 异步模式1.3 消息传递的应用场景1.3.1 应用解耦1.3.2 限流削峰1.3.3 消息驱动系统1.4 消息队列的两种模式1.4.1 点对点的数据传递1.4.2 订阅发布模式2 CAP理论2.1 一致性(Consistency)2.2 可用性(Availability)2.3 分区容错性(Partition Tolerance)3 Kafka中的CAP4 Kafka的介绍5 Kafka的特点6 Kafka架构。
2021-07-04 22:25:59
799
5
原创 Hbase shell中使用Filter过滤器总结
Hbase shell中使用Filter过滤器总结RowFilterValueFilterSingleColumnValueFilterPrefixFilterColumnPrefixFilterMultipleColumnPrefixFilterPageFilterInclusiveStopFilterFamilyFilterQualifierFilterSingleColumnValueExcludeFilter在hbase shel1中使用过滤器的格式为#可以通过show_filters查询当前版
2021-07-02 22:34:57
5623
8
原创 Hbase的Maven依赖
<!-- Hadoop Client 依赖 --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> </dependency> <!-- HBase Client 依赖 --&g...
2021-06-28 22:26:56
2265
1
原创 数据采集工具Sqoop
Sqoop是一种用于在Hadoop和结构化数据存储(如关系数据库)之间高效传输批量数据的工具。Sqoop官网提供了Sqoop1和Sqoop2，Sqoop1只是一个普通的应用程序，通过给定参数就可以运行该程序。Sqoop2拥有服务端的应用程序，简单的功能变得复杂化，但是更加统一化、规范化。
2021-06-24 00:47:09
1029
1
原创 实时数据流采集工具Flume
Flume是一个实时数据流采集框架，是一种分布式的、高可用的服务，可以有效的收集、聚合和移动大量的日志数据。将数据源的数据变成数据流，将数据采集到目标位置中。本质上就是一个数据迁移的过程。官网文档地址。
2021-06-22 00:55:58
5748
原创 最全Mapreduce保姆级教程(建议收藏，随用随查)
Mapreduce的设计思想、Mapreduce的模板类、Mapreduce的数据类型、Mapreduce的处理流程、Mapreduce的处理流程图、Mapreduce的shuffle、Shuffle的优化、Mapreduce的join、Mapreduce的自定义分区、Mapreduce的自定义输入和输出等等！
2021-06-20 00:24:53
627
原创 手动搭建CDH版本的大数据平台
手动搭建CDH版本的大数据平台基础环境的准备搭建zookeeper集群搭建Hadoop的HA架构集群搭建hbase的HA架构的集群搭建elasticsearch分布式集群 本次搭建是在虚拟机上面进行Linux环境的搭建，版本为5.14.0，提供的虚拟机为5台。配置的主机名分别为v1，v2，v3，v4，v5基础环境的准备配置了每台虚拟机和其他虚拟机的免密登陆，使用到的linux命令为ssh-keygen##用法[root@v1 ~]# ssh-keygenssh-copy-id
2021-06-11 00:55:32
1463
原创 YARN资源管理与任务调度
YARN资源管理与任务调度框架1.1 YARNYARNYARN的架构1.1.1 功能1.1.2 架构1.2 YARNYARNYARN的任务运行流程1.2.1 架构图1.2.2 架构说明1.3 组件介绍1.4 YARNYARNYARN的资源分配配置1.5 YARN的任务调度1.1 YARNYARNYARN的架构1.1.1 功能分布式资源管理与任务调度框架。资源管理：将整个集群的所有机器的CPUCPUCPU和内存进行统一化管理每一台机器运行程序时，使用多少资源，都由YARNYARNYARN进行分配
2021-06-11 00:37:30
301
3
原创 一文搞懂HDFS分布式文件系统
HDFS的介绍、主从节点功能、HDFS架构图、HDFS读写流程、HDFS元数据安全、HDFS客户端管理操作、HDFS的HA架构和联邦机制等等。
2021-06-10 00:49:02
1237
原创 hadoop的编译过程
Hadoop的编译包括JDK的安装部署、maven的安装部署、findbugs的安装、Protobuff的安装、snappy的安装等等
2021-06-08 22:44:51
617
4
原创 一文搞懂存储逻辑
存储逻辑1.1 介绍1.2 存储器分类1.3 寄存器堆1.3.1 特点1.3.2 逻辑结构1.3.3 写数据1.3.4 读数据1.4 寄存器队列1.4.1 介绍1.4.2 特点1.5 寄存器堆栈1.5.1 特点1.5.2 介绍1.6 相关概念1.7 地址译码方法1.7.1 单译码结构1.7.1.1 介绍1.7.1.2 特点1.7.2 双译码结构1.7.2.1 介绍1.7.2.2 特点1.8 存取时间1.9 存储周期1.10 随机读写存储器RAMRAMRAM1.10.1 介绍1.10.2 逻辑结构1.10.3
2021-05-19 23:19:35
2253
1
原创 一文搞懂电子电路
电子电路1.1 分类1.1.1 模拟电子电路1.1.1.1 介绍1.1.1.2 特点1.1.2 数字电子电路1.1.2.1 特点1.1.2.2 数字电路中的相关概念1.1.2.3 门电路1.1.2.3.1 TTL集成门电路1.1.2.3.1.1 特点1.1.2.3.1.2 电压范围1.1.2.3.1.3 介绍1.1.2.3.1.4 反相器1.1.2.3.1.5 开路门1.1.2.3.1.6 三态门1.1.2.3.1.7 线与1.1.2.3.2 CMOS集成门电路1.1.2.3.2.1 特点1.1.2.3.
2021-05-16 19:07:07
1386
2
原创 一文搞懂时序逻辑电路
输出往往反馈到输入端，与输入变量一起决定电路的输出状态。由锁存器或触发器组成，一次能够并行存储n位比特数据的逻辑部件称为寄存器计数器的功能是记忆脉冲的个数，计数器所能记忆脉冲的最大数目称为该计数器的模，用字母M来表示，构成计数器的核心元件是触发器。
2021-05-16 18:03:55
9729
原创 一文搞懂组合逻辑电路
组合逻辑电路1.1 介绍1.2 特点1.3 组合逻辑电路分析步骤1.4 竞争冒险1.4.1 介绍1.4.2 解决方法1.4.3 判断是否竞争冒险的方式1.5 组合逻辑电路设计步骤1.6 任意项/无关项1.7 常用组合逻辑电路的功能与应用1.7.1 数据选择器1.7.2 数据分配器1.7.3 编码器1.7.3.1 介绍1.7.3.2 常用编码器1.7.4 译码器1.7.4.1 介绍1.7.4.2 常用译码器1.7.5 数据比较器1.7.6 加法器1.7.7 奇偶校验器1.1 介绍由各种门电路组合而成且无
2021-05-16 11:12:03
2978
原创 逻辑函数的描述工具介绍
逻辑函数的描述工具布尔代数法布尔代数是按一定逻辑规律进行运算的代数，布尔代数中的变量称为逻辑变量，只有两种取值，0和1 。表示的是两种对立的逻辑状态。逻辑图法逻辑图是用标准化的图形符号来表示逻辑函数运算关系的组合型网络图形，用以表示逻辑函数所实现的功能。波形图法波形图使用逻辑电平的高、低变化来动态的表示逻辑变量值输入、输出变化的图形。它是一种动态图形语言，非常直观。真值表法真值表示一种用表格形式表示逻辑函数的方法，他是有逻辑输入变量n的所有可能取值组合(2n2^n2n种)及其对应的逻辑函数
2021-05-10 00:16:38
1404
原创 计算机系统常用编码介绍
常用编码二进制编码自然二进制码有权码循环二进制码无权码，卡诺图化简可以用到循环二进制码BCD码介绍把十进制数的各个数码用二进制码的形式表现出来，这便是用二进制代码对十进制数进行编码，简称BCD码。BCD码具有二进制码的形式(4位二进制码)，又有十进制数的特点（每四位二进制码是1位十进制码）常用BCD码8421码有权码，8421码也就是自然二进制码余3码在8421码的基础上加上0011码而形成。主要优点是在执行十进制相加时，能正确的产生进位信号。格雷码格雷码是一种循环码，是使任何
2021-05-10 00:08:05
1061
原创 一文搞懂布尔代数基本逻辑运算
基本逻辑运算1.1 与1.1.1 规则1.1.2 布尔代数表达式1.1.3 逻辑与门电路图1.2 或1.2.1 规则1.2.2 布尔代数表达式1.2.3 逻辑或门电路图1.3 非1.3.1 规则1.3.2 布尔代数表达式1.3.3 逻辑非门电路图1.4 与非1.4.1 规则1.4.2 布尔代数表达式1.4.3 逻辑与非门电路图1.5 或非1.5.1 规则1.5.2 布尔代数表达式1.5.3 逻辑或非门电路图1.6 异或1.6.1 规则1.6.2 布尔代数表达式1.6.3 逻辑异或门电路图1.7 同或1.7.
2021-05-09 23:56:31
6228
原创 一文搞懂卡诺图
卡诺图1.1 卡诺图的结构1.2 最小项表达式1.2.1 介绍1.2.2 特点1.3 相邻组合1.3.1 几何相邻1.3.2 逻辑相邻1.4 卡诺图的表示1.5 卡诺图简化1.5.1 规则1.5.2 步骤1.5.3 无关项简化1.1 卡诺图的结构卡诺图可以表示和化简逻辑函数，一个逻辑函数的卡诺图，就是将此函数的最小项表达式中的各最小项填入相应的特定方格图内，这样的方格图就是卡诺图。1.2 最小项表达式1.2.1 介绍一个逻辑函数，如果有n个变量，则有2^n个最小项，最小项为所有所有变量的积，也就是
2021-05-09 23:25:34
14663
原创 布尔代数的基本定律
布尔代数的基本定律1.1 0-1定律1.2 交换律1.3 结合律1.4 分配律1.5 吸收律1.6 重复律1.7 互补律1.8 狄摩根定律1.9 反演律1.1 0-1定律0‾=1\overline{0} = 10=11‾=0\overline{1} = 01=00∙A=00\bullet A = 00∙A=01+A=11 + A = 11+A=11∙A=A1\bullet A = A1∙A=A0+A=A0 + A = A0+A=A1.2 交换律A+B=B+AA + B = B + AA+B
2021-05-05 21:16:04
5004
原创 一文搞懂进制转换以及位运算
@【TOC】进制1进制1.1 进制之间的相互转换1.1.1 二进制转为八进制、十进制、十六进制1.1.1.1 二进制转为八进制根据十进制负数转八进制过程可知，二进制转八进制遵循的规则为取三合一，位数不够左补0,如有疑问，请看十进制负数转八进制详情。1.1.1.2 二进制转为十进制口诀：整数(正整数、负整数)二进制用数值乘以2的幂次依次相加、小数二进制用数值乘以负幂次然后依次相加1.1.1.2.1 整数口诀：位数补齐看首位，首位为0为正，首位为1为负。1.1.1.2.1.1 正整数如下图
2021-04-15 22:49:46
1038
原创 配置jconsole和jvisualvm的远程连接
配置jconsole和jvisualvm的远程连接配置参数-Djava.rmi.server.hostname=ip #远程服务的机器的ip地址，启动jconsole或者jvisualvm客户端的机器可以连上这个机器。-Dcom.sun.management.jmxremote.port=8999 #启动jmx连接的端口。-Dcom.sun.management.jmxremote.rmi.port=8999 #启动jmx连接的端口，这两个端口配置成相同的。-Dcom.sun.managem
2021-02-20 18:37:37
463
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人