- 博客(438)
- 收藏
- 关注
RSS订阅
原创 用途和发布内容等说明
因为个人原因，博客更新时间不定，而且用于个人学习复习，不做其他用途。在空闲时间会把以前写的学习笔记陆续放上来，顺序不定。如果出现问题请联系我改正，知识点理解错误的地方请一定联系我讨论互相学习，如果出现看不懂但知识点没错的地方，请自行理解。谢谢...
2019-09-05 21:35:33
251
4
原创 如何使用oracle数据库的length()、lengthb()、replace()、regexp_substr()函数
【代码】如何使用oracle数据库的length()、lengthb()、replace()、regexp_substr()函数。
2023-09-16 16:40:25
717
原创 ETL与ELT理解
ELT（ Extract-Load-Transform），在ELT架构中，数据的整个加工过程都在目标和源的数据库之间流动，ELT协调相关的数据库系统来执行相关的应用，数据加工过程既可以在源数据库端执行，也可以在目标数据仓库端执行（主要取决于系统的架构设计和数据属性）。在实际场景中这两种模式普遍是共存的。对于数据体量较大而且转换逻辑比较复杂的场景可以采取ELT处理，例如前面提到的数据加密场景。2、加载流程就和ETL不一样了，T和L进行了位置置换，这里是先加载到目标系统，大家也可以理解成是数据入了数仓。
2023-09-16 15:33:39
386
原创 GreenPlum的gpfdist使用与原理流程分析
1、insert 该方式通过 sql 语句，把数据一条一条插入至表中。这种方式，不仅读取数据慢（一条一条读取），且数据需要经过 master 节点后再分发给所有 segment，所以 master 制约着导入性能。2、copy 该方式实现了数据的批量读取，但数据依然需要通过 master 节点，所以 master 制约着导入性能，无法实现并行、高效的数据加载。3、gpfdist 该方式使用 gpfdist 协议，segment 与 数据源直连，数据读取后直接发送给每个 segment。
2023-09-01 18:52:32
1162
原创 MapReduce基础原理、MR与MPP区别
MapReduce（MR）本质上是一种用于数据处理的编程模型；MapReduce用于海量数据的计算HDFS用于海量数据的存储（Hadoop Distributed File System，Hadoop分布式文件系统）。Hadoop MapReduce 是一个编程框架，Hadoop环境中，可运行用各种语言编写的MapReduce程序，用于创建在大型商用硬件集群上处理大量数据的应用程序，类似于JRE环境，可以在这个架构下开发应用程序。MapReduce 程序本质上并行，本质是通过并行计算提升算力。
2023-08-06 01:43:21
1153
原创 三种数据库架构模式
用的是共享存储，做到了数据共享，可通过增加节点来提高并行处理的能力，扩展能力较好，使用Storage Area Network (SAN)，光纤通道连接到多个服务器的磁盘阵列，降低网络消耗，提高数据读取的效率，常用于并发量较高的OLTP应用。，位于不同服务器系统的DM实例同时访问同一个数据库，节点之间通过私有网络进行通信，所有的控制文件、联机日志和数据文件存放在共享的设备上，能够被集群中的所有节点同时访问。，并行处理能力是最差的，一般不考虑大规模的并发需求，架构比较简单，一般的应用需求基本都能满足。
2023-07-24 20:09:06
281
原创 MPP基础原理
最近忙于工作，有一段时间没更新自己的博客了，也就意味着囤积了一波需要梳理总结并记录的知识点，但可以保证的是所有都是零星的知识点，不会涉及工作内容。MPP (Massively Parallel Processing)，即大规模并行处理。
2023-07-15 15:49:09
2144
原创 PostgreSQL清理dead tuples（vacuum和vacuum full）
PostgreSQL的并发控制，采用MVCC（多版本并发控制）进行处理。这种机制有一个缺点：随着时间的推移，数据文件中积累的dead tuples（死数据/死元组）会越来越多。在清理dead tuples时，系统有两种处理方式：vacuum 和 vacuum full。
2023-06-05 00:16:14
1613
原创 阵列卡缓存 RAID Cache
磁盘阵列(Redundant Arrays of Independent Drives，RAID)，有“独立磁盘构成的具有冗余能力的阵列”之意。RAID卡电路板上的一块存储芯片，与硬盘盘片相比，具有极快的存取速度，实际上就是相对低速的硬盘盘片与相对高速的外部设备(例如内存)之间的缓冲器。缓存的大小与速度是直接关系到RAID卡的实际传输速度的重要因素，大缓存能够大幅度地提高数据命中率从而提高RAID卡整体性能。多数RAID卡都配备了一定数量的内存作为高速缓存使用。
2023-06-04 23:25:22
2669
原创 PostgreSQL FDW
pg .11开始，可以用下面语句导入表定义--导入全表 IMPORT FOREIGN SCHEMA foreign_films FROM SERVER film_server INTO films;--只导入部分字段 IMPORT FOREIGN SCHEMA foreign_films LIMIT TO(id , name) FROM SERVER film_server INTO films;
2023-05-30 21:37:03
1568
原创 OLTP与OLAP数据库
没有绑定变量的SQL会对OLTP数据库造成极大的性能影响之外，还有一些因素也会导致数据库的性能下降，比如热块(hotblock)的问题，当一个块被多个用户同时读取的时候，OLTP为了维护数据的一致性，需要使用一种称为Iatch的东西来串行化用户的操作。因为这些区别，在数据库设计的阶段，弄清楚数据库类型是至关重要的，只有在这个前提之下，才能够讨论数据库的具体设计，否则设计必然是盲目的，或者说设计出来的数据库可能造成瘫痪，系统资源严重被使用，系统过负荷运行，或者造成严重的等待事件。
2023-05-20 10:12:08
788
原创 数据全生命周期管理
所谓的数据热度，根据价值密度、访问频次、使用方式、时效性等级，将数据划分为热数据、温数据、冷数据和冰数据。数据热度应随着时间的推移，数据价值会变化，应动态更新数据热度等级，推动数据从产生到销毁数据生命周期管理。
2023-05-20 09:07:42
931
原创 在KylinV10上使用DTS进行mysql8迁移至DM8
1．分析待移植系统，确定移植对象。2．通过数据迁移工具 DTS 完成常规数据库对象及数据的迁移。3．通过人工完成 MSQL 的移植。4．移植完成后对移植的结果进行校验，确保移植的完整性和正确性。5．对应用系统进行移植、测试和优化。
2023-05-01 04:47:27
764
1
原创 在KylinV10安装DM8、卸载DM8
因为近期，业外和几个朋友想搞点有趣的项目玩玩，既然不以盈利为主，就> 主推国产化，所以这篇记录一下，我在KylinV10安装dm8.最近真的很忙，要负责专研一下国产化工具开发的事，还要负责tb级的集群系统异构迁移，私下和朋友还搞点研究性项目随意玩玩，所以写的博客可能有所披露，希望指正。注意dm8试用版只有一年试用期，所以开发版建议下载日期最新的，不然最后初始化实例时，你会发现都快过期了下载。
2023-04-27 09:41:10
1460
原创 使用natapp进行前后端远程联调
近期，和几个朋友业余搞点原创科技项目来玩玩，因为都是线上沟通，和远程开发，前后端联调不在一个局域网内，开发时，前后端相关人员都是居家远程联调，这边采用的简单的解决方案：隧道技术+内网穿透，简单处理了。记录一下话不多说，这边我用的工具是：natapp。会有的朋友可以直接跳过了首先，去官网注册一下，免费的注册完后，这边相关法律规定，需要实名免费购买隧道配置你映射到你本地的端口确定你本地的服务的正常运作的下载客户端到本地找你对应的版本在natapp.exe同级目录下新建config.ini。
2023-04-25 15:06:14
970
2
原创 结合实际谈谈个人对代码优化的感想以及java优化
本来想写一篇结合在实际工作中，自己去优化java代码的文章，用于记录便于复习提升自己的；合理的设计是必须的，但是在时间不允许的情况下，不要过早的去过分优化你的代码，首先保证它正常运行且无严重bug，其次是保证你的开发任务交付，是否满足实际的需求，再然后考虑代码的可读性，最后整体下来，利用个人时间去优化自己的代码，做到对自己负责和对你写的系统代码负责！在软件工程领域，有个词叫做「过早优化」。
2023-04-09 00:43:05
579
原创 mysql性能优化之explain分析执行计划
在实际工作中，如果已经定位到某些具体的sql需要进行explain分析进而优化，可以直接使用explain+sql来分析其执行计划；如果还不能确定是哪些具体的sql语句需要进行explain分析进而优化，那么我们可以首先要定位哪些sql查询慢，性能低，消耗高；使用explain分析执行计划实际上是：模拟优化器执行SQL语句；分析你的查询语句或是结构的性能瓶颈，使用方式explain 需要分析的查询sql。
2023-04-01 18:36:51
676
原创 mysql性能优化之慢查询
想记录一些mysql性能优化，但是因为空闲时间以及相关知识点怕记录的过于片面，不够全面，所以一直耽搁了；下面文章是在自己学习服务器上运行的，与实际工作内容无关；mysql官方有很多关于慢查询的文章，我个人还是首推去官网阅读学习；mysql官网一些相关慢查询日志的文章一般情况下，如果不需要进行调优，建议关闭，不要开启慢查询，因为开启慢日志功能在一定程度上会影响到数据库的性能，在完成 SQL 优化后应当及时关闭这个功能。
2023-04-01 16:39:52
354
原创 关于information_schema.tables查询业务SCHEMA中表数量和表容量不准确问题
查阅mysql官网The INFORMATION_SCHEMA TABLES Table英语翻译大概就是这个意思：那么通过information_schema.tables查询表容量会如何了？与实际值相差甚多；为什么会如此了？
2023-04-01 13:19:48
1735
原创 在KylinV10上离线把tomcat8.5.78平滑升级至9.0.73
Apache Tomcat存在安全漏洞（CVE-2023-28708），致用户代理通过不安全的通道传输会话cookie，攻击者利用此漏洞可实现信息泄露。影响范围：Apache Tomcat 11.0.0-M1 至 11.0.0-M2Apache Tomcat 10.1.0-M1 至 10.1.5Apache Tomcat 9.0.0-M1 至 9.0.71Apache Tomcat 8.5.0 至 8.5.85。
2023-03-24 02:09:23
721
原创 sh脚本文件使用mysqldump备份与恢复，恢复views、function、procedure时踩坑与解决
mysql进行升级，或者数据库扩容，等等具有多种方式，其中有些方式会涉及到数据库备份和恢复；数据库备份有冷备、热备、温备，这篇不记录这些，主要记录实际工作中一次使用mysqldump备份后，数据库升级，然后恢复数据库，并且数据不丢失操作。后续有时间还会再记录在实际工作中实现一次平滑的数据库升级操作。生产环境条件真的很有限，不允许使用第三方工具，还要走很多申请单以及开放白名单等等操作，所以只能采用朴素且有效的方案去实行；自己回家顺手搭的，就是为了总结记录一下KylinV10离线安装mysql8.0.32。
2023-03-22 01:42:32
341
原创 KylinV10离线安装mysql8.0.32修改端口、修改密码、开发连接权限
记录在KylinV10上离线安装最新Mysql8.0.32，以及所遇坑。
2023-03-22 00:51:05
1874
1
原创 在KylinV10上离线安装jenkins实现自动部署
在安装jenkins前需要先安装jdk8。离线安装jenkins虽然简单，但是需要实现自动化部署，那么我们需要先安装jdk、maven、git，如果是war直接启动那么可以不需要tomcat，启动方式看你个人选择。在KylinV10上离线安装jdk、git、maven、tomcat。
2023-03-19 18:08:40
606
原创 重置 Winsock 目录解决电脑应用无法启动问题
前两天，因为部署测试环境，搞了一些无意操作，导致在内网域中我电脑的ip在该内网域内其它ip都能访问到，就只有这台服务器的ip访问不了；开始以为是服务器关机或者它出了什么问题，但是其它同事都能ping通，而且it设备组的告诉我，服务器正常；于是只能试试重启大法了，重启后，ip是能访问了，但是发现很多桌面应用无法使用了，有些应用会影响到工作，这不得不处理啊。抱着侥幸的心态，有一次试了试关机开机大法，还是不行。
2023-03-18 09:26:55
2097
1
原创 在KylinV10上离线安装jdk、git配置github账号、maven、tomcat
cd 到maven3.6.3目录下，并新建m.2。修改conf下的setting.xml配置。mv git的tar包到git目录下。解压git_xxxxx.tar.gz。mv到新建的git文件并改名为git。mv maven的tar包到该目录下。离线安装所以提前下载好所需要包上传。个人习惯改名以及合理放置。解压maven的tar包。新建一个maven目录。
2023-03-17 23:42:43
1796
2
原创 解决KylinV10 解决连不上网问题
在centos7安装银河麒麟高级服务器 V10 ，解决连不上网问题。将 DEVICE=eth0 改为 DEVICE=eth33(根据你)在vi编辑器中，按 i 进入插入模式。HWADDR=该系统的MAC地址。HWADDR=XXXXX 改为。查看ifcfg-eth0。
2023-03-17 00:27:17
9202
原创 基于 VMware 虚拟机安装银河麒麟高级服务器 V10 版本操作系统
公司开始推国产化改造，我也愿意大力支持国产化，银河麒麟就是国产操作系统中的优秀代表，随便整一个，后续在上面搞点东西玩玩。基于 VMware 虚拟机安装银河麒麟高级服务器 V10 版本操作系统，Linux内核。麒麟操作系统市场上目前有中标麒麟、银河麒麟、优麒麟…，一般军用上的大多数都是银河麒麟，民用用中标。中标麒麟：历史可以追溯至1989年中软发布的类UNIX操作系统COSIX；1999年中软发布中软Linux（COSIX Linux）；
2023-03-17 00:04:50
1197
1
原创 mysql中information_schema相关表介绍、COLUMNS表说明
在MySQL中，information_schema 可以理解为信息数据库；在INFORMATION_SCHEMA中，有数个只读表。它们实际上是视图，而不是基本表，因此，你将无法看到与之相关的任何文件。如数据库名，数据库的表，表栏的数据类型与访问权限等等。
2023-03-15 20:08:32
1911
原创 关于window中nginx配置文件路径因/或\访问不到路径问题记录
怎么说了，虽然问题虽小，但因为问的人多了，可能由于大家都没太注意这些细节，所以写成博客记录一下！
2023-03-14 17:22:13
2125
原创 数据库体系结构概念--集中式数据库、分布式数据库
平时我们接触的‘数据库’一般指的是DBMS，数据库管理系统，DBMS是软件如：mysql、oracle、dm等等都是集中式数据库，但它们不能代表整个数据库，只是通过这些软件来管理相应的数据内容；集中式数据库分布式数据库。
2023-03-12 18:04:13
3455
原创 文件管理---索引文件结构、位示图、树形目录结构
15号磁盘块：因为磁盘块从第0号字的第0号位开始，序号和实际位置相差：1 - 0 ，实际位置：16，且一个字占16位，1516，33/16 = 2 余 1，所以在2号字的1号位上；图中有16个字，每个字占16位，且磁盘序号是从0开始的，如果要分配15号、32号磁盘，它们在第几个字的第几位了？
2023-03-12 12:30:08
3839
1
原创 我为什么要写博客，写博客的意义是什么
第二学期，正打算破罐子破摔的我，遇见了高教授教，记得是数据结构课，估计是认错人了吧，估计是随机的吧，他居然任命我为课代表，顿时，有种被人看好不想辜负的感觉，他极力的推荐我们写博客，开始是在自己电脑上，然后到博客园，直到高老说出了他的csdn博客并欢迎我们留言提问，我也追随着来到了csdn。，说真的，我十分喜欢迎接挑战，但是我知道，对我而言，是一种机会，一种学习新东西的机会！这样下去不行，总结了一下，知识和实战缺少，意识到了学习的重要性，看视频课，培训，博客，我把我的时间合理的规划了一下，
2023-03-11 23:18:20
308
3
原创 Kettle体系结构及源码解析
ETL是数据抽取（Extract）、转换（Transform）、装载（Load）的过程。Kettle是一款国外开源的ETL工具，有两种脚本文件transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。Job：一个作业，由不同逻辑功能的entry组件构成，数据从一个entry组件传递到另一个entry组件，并在entry组件中进行相应的处理。Transformation：完成针对数据的基础转换，即一个数据转换过程。
2023-03-10 00:16:51
3075
原创 操作系统---存储管理
操作系统的抖动，又叫颠簸。颠簸是不作处理的计算机活动，通常是因为内存或其他资源耗尽或有限而无法完成所要执行的操作。当上述情况发生时，程序就会通过操作系统发出请求，操作系统就试图从其他程序中拿来所需的资源。计算页内地址、页号、百帧号（物理块号）
2023-03-05 16:32:27
2002
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人