- 博客(277)
- 收藏
- 关注
RSS订阅原创 Hadoop3的高可用搭建
Hadoop集群作为当今大数据技术的基础数据底座非常重要，尽管部署过程非常复杂，步骤特别多，不过本文尽可能对每一步都做到细致入微，目的是让初学者手把手的照着做，也能正确部署好Hadoop平台，为后续的大数据技术学习，解决一入门就遇到这个高门槛。NameNode高可用[datanode-1、datanode-2]，Journal集群[datanode-1、datanode-2、datanode-3]，ZKFC服务[datanode-1、datanode-2]全部正常启动。
2023-06-21 11:35:30
1204
原创 修改C盘某文件夹权限
修改文件夹的权限：在文件夹的“安全”选项卡中，尝试添加当前用户或管理员用户的权限，例如写入、修改、完全控制等权限。使用管理员权限运行文件资源管理器：在打开文件资源管理器时，右键单击该程序图标，然后选择“以管理员身份运行”选项，再尝试修改文件夹的属性。检查文件夹是否被其他程序占用：如果文件夹正在被其他程序使用，可能会导致修改无效。使用命令行修改文件夹权限：在使用命令行时，需要以管理员身份运行命令提示符。表示递归地修改子文件夹和文件。是要修改的文件夹的路径，表示授予“修改”权限，
2023-06-14 15:40:06
2088
原创 Centos7安装下载的mysql8+
rpm -e mariadb-libs-5.5.56-2.el7.x86_64 --nodeps 命令装卸 mariadb。mariadb 这个是 Linux 系统自带的数据库系统，跟 MySQL 冲突，所以一般先卸载这个没用的数据库。注意，命令中的 mysql-8.0.11-xxxxxx 需要替换成自己下载下来的版本号为准，小白新手注意。注意，MySQL 的安装需要有准确的顺序，上图解压出来的红框的大部分都需要安装，所以安装顺序很重要。# 以此安装其他相关组件，注意上图红框的全部组件都安装，顺序不要错。
2023-06-02 10:50:12
870
原创 最全的mysql编码集问题排查
用navicate导入一个json文件数据的时候，发现中文有一些是乱码的，查了很多资料，发现mysql、navicate编码集都没问题，包括导入流程，那是什么原因呢？想着难道是电脑的编码集影响了？于是调整以后，好了。
2023-05-30 20:23:58
279
原创 mysql8+忘记密码的详细解决方法
到此这篇关于mysql8.0忘记密码的详细解决方法的文章就介绍到这了,更多相关mysql8.0 忘记密码解决内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
2023-05-30 14:25:00
1439
转载 CSDN 的Markdown使用
撤销：Ctrl/Command + Z重做：Ctrl/Command + Y加粗：Ctrl/Command + B斜体：Ctrl/Command + I标题：Ctrl/Command + Shift + H无序列表：Ctrl/Command + Shift + U有序列表：Ctrl/Command + Shift + O检查列表：Ctrl/Command + Shift + C插入代码：Ctrl/Command + Shift + K插入链接：Ctrl/Command + Shift +
2023-05-26 13:52:59
81
转载 Spring Cloud Alibaba整合Sentinel
从前面的学习了解到sentinel是springcloud alibaba微服务生态下的一个重要的流量治理组件，在微服务架构中占据着非常重要的地位，本篇将详细介绍下springcloud alibaba中如何整合sentinel，以及结合sentinel控制台聊聊其深入的使用。文章来源站点https://www.yii666.com/System.out.println("准备下单");return "add 接口被流控了";然后重新启动工程，再次快速刷接口时将会看到下面的效果；
2023-05-26 11:57:35
1153
1
原创 文档管理系统的对比
Gitbook，这个也是度年推介的，安装倒是方便，一些小问题也可以处理，但是我们再看的时候，根本不适合企业的文档管理，只适合他的名字，书的展示，我们可以把一些内容，类似于书本的展示成一个网站，不适合普通企业做文档管理，度娘也是不清不楚的瞎推荐。seafile，这个是个文件系统，感觉还是比较适合只来做文件、文档类的管理，而且他对比NextCloud，大家也可以去度娘上看，我们公司有装过这个，用手机下载对应的APP，可以查看文档等，作为目前来说的文档服务器，我觉得还行。度娘查看对比不同的服务，
2023-05-25 15:31:10
893
原创 gitbook在centos上安装
GitBook 会查找 SUMMARY.md 文件中描述的目录和文件，如果没有则会将其创建。到自己的安装目录，就是环境里配置的安装目录执行。README.md 就是说明文档，而 SUMMARY.md 其实就是书的章节目录。由于我是centos7，需要找的目录和链接中提供的macOS目录不太一样，5)gitbook初始化gitbook init。初始化创建README.md和SUMMARY.md目录文件。Web浏览器去访问4000端口。2)到指定目录解压。
2023-05-25 12:03:37
722
原创 LogicalDOC安装
安装7.x的版本的时候，页面新建文件夹，如果不支持中文，总是乱码，调试了很多，查了很多，发现他需要下载单独中文支持，而且还支持的不是特别好，索性用8，搭配jdk11,测试几个后，目前只有7版本的可以在centos7上安装，8的显示没有权限访问或者连不上数据库等问题，7的没有中文，需要下载中文包。网址：https://sourceforge.net/projects/logicaldoc/files/distribution/进入/logicaldoc/tomcat/conf目录中。
2023-05-25 09:02:39
895
原创 什么是Reactive服务架构
在java web开发领域，区别于传统的的同步服务架构（底层实现基于同步阻塞IO模型），异步服务这个“新词”（bushi）在不断被提及和重视，不少公司的研发部门也开始在尝试对自己的业务系统进行异步化改造。为了实现和简化异步服务的编程难度，新的编程模式被创造出来，reactive promgraming(中文被翻译成 响应式编程模式)，对应的开源实现也有不少，RxJava 、ProjectReactor。基于这些Reactive框架实现的异步服务被称作Reactive 服务。
2023-05-23 17:45:21
581
转载 事件驱动架构
事件驱动的微服务架构是一种现代架构模式，它将微服务架构和事件驱动架构结合在一起，提供了异步通信、完全解耦和灵活性、可靠性和可扩展性等优势。使用事件驱动的微服务架构，可以轻松创建对任何系统事件做出反应的服务，并创建包括一些手动操作的半自动管道。随着实时事件数据和云服务使用的需求增加，许多现代应用程序，如Netflix和Lyft，已经转向了事件驱动的微服务方法。微服务架构将应用程序进程分组为单独的服务，使用轻量级协议进行交互，提供了改进的模块化和更好的应用程序可维护性和弹性。使用事件驱动的微服务。
2023-05-23 17:34:54
1211
原创 @EnableFeignClients的由来
在应用中，当我们要使用feign客户端时，使用注解启用feign客户端；注解告诉框架扫描所有使用注解定义的feign客户端。它又通过注解@Import导入了类feign客户端注册器)。当我们使用注解时，相当于启用了feign客户端定义的扫描和注册机制，从而可以发现开发人员通过注解定义的feign客户端，并最终作为bean定义注册到容器中。而通过@Autowired自动装配注解，这些feign客户端会以动态代理的形式被注入到使用方。该feign客户端包含了对每个接口方法的处理器,接口缺省方法对应。
2023-05-09 20:11:17
880
转载 深入理解RESTful
REST全称是Representational State Transfer，中文意思是表述（编者注：通常译为表征）性状态转移。它首次出现在2000年Roy Fielding的博士论文中，Roy Fielding是HTTP规范的主要编写者之一。他在论文中提到："我这篇文章的写作目的，就是想在符合架构原理的前提下，理解和评估以网络为基础的应用软件的架构设计，得到一个功能强、性能好、适宜通信的架构。REST指的是一组架构约束条件和原则。
2023-05-09 19:43:33
229
转载 微服务之Nacos、Eureka
服务注册和发现基本概念服务注册：将某个或者某些服务的信息（模块的ip和端口）注册到一个公用的组件上。服务发现：新注册的模块信息能够被其他调用者发现，无论是服务的新增还是服务的剔除都可以知晓。1.2 web1.0数据请求模型框架在传统的项目框架中，没有服务的注册和发现组件，因为当时的服务架构比较简单，都是单体应用服务，这里不存在，服务的注册和发现因为这是一个单体的服务，足够应对当时的网络用户需求，但是所着科技的进步和社会的发展，这种单体的应用架构不足以支持业务的发展。
2023-05-09 12:00:39
615
原创 Flink之TaskManager内存解析
一个正在运行的Flink任务，发现过程中一次checkpoint（下文简称ck）操作失败，如下图所示：checkpoint操作失败ck失败大致分为两种情况，ck decline和ck expire:（1）ck decline发生ck decline情况时，我们可以通过查看JobManager.log或TaskManager.log查明具体原因。其中有一种特殊情况为ck cancel，当前 Flink 中如果较小的ck还没有对齐的情况下，收到了更大的ck，则会把较小的ck给取消掉。（2）ck expire如果
2023-04-26 20:59:35
911
原创 M1 安装CentOS 8安装完成后无法联网怎么办?
安装完成 VMware Fusion Tech Preview 可以打开偏好设置选择网络,解锁后 添加一个自定义的 vmnet3 然后 按照下面的图进行设置, 注意 子网IP 可以不填 会自动生成,下图是我已经生成后的,你生成应该是不一样的地址终端进入到 cd Library/Preferences/VMware\ Fusion这时候 自动生成了这些,可以看到 networking 和 vmnet3生成的网段是 172.16.225.0 开始的,所以后续设置虚拟机 也要是这个 范围的ip。
2022-11-19 16:37:24
1692
转载 领域驱动架构DDD（Domain-Driven Design）
DDD会让你首先考虑业务语言，而不是数据。领域模型并不完成业务，每个domain object都是完成属于自己应有的行为（single responsibility），就如同人跑这个动作，person.run是一个与业务无关的行为，但这个时候manger或者service在调用 some person.run的时候可能完成的100米比赛这个业务，也可能是完成跑去送外卖这个业务。领域模型对应的是业务实体，在程序中主要表现为类、聚合根和值对象，它更加关注业务语义的显性化表达，而不是数据的存储和数据之间的关系。.
2022-08-25 20:23:51
410
转载 SpringBoot + Redis 解决海量重复提交问题
本篇博客介绍了使用springboot和拦截器、redis来优雅的实现接口幂等，对于幂等在实际的开发过程中是十分重要的，因为一个接口可能会被无数的客户端调用，如何保证其不影响后台的业务处理，如何保证其只影响数据一次是非常重要的，它可以防止产生脏数据或者乱数据，也可以减少并发量，实乃十分有益的一件事。2、token机制，每次接口请求前先获取一个token，然后再下次请求的时候在请求的header体中加上这个token，后台进行验证，如果验证通过删除token，下次请求再次判断token。
2022-08-25 11:04:44
300
原创 大数据中的小文件问题
文件储存在硬盘上，硬盘的最小存储单位叫做"扇区"（Sector）。每个扇区储存512字节（相当于0.5KB）。 操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个"块"（block）。这种由多个扇区组成的"块"，是文件存取的最小单位。"块"的大小，最常见的是4KB，即连续八个 sector组成一个 block。文件数据都储存在"块"中，那么很显然，我们还必须找到一个地方储存文件的元信息，比如文件的创建者、文件的创建日期、文件的大小等等。...
2022-07-26 10:59:49
1007
原创 常用SQL总结
1.时间函数当前日期select current_date();2022-06-26当前日期-加select date_add(current_date(),1);2022-06-27当前日期-减select date_sub(current_date(),1);2022-06-25指定日期-加select date_add('2022-06-06',1);2022-06-07当前日期-自定义格式select date_format(current_date(),'yyyyMMdd');20220626当前
2022-07-01 16:45:59
689
转载 SparkSQL的Unresolved Logical Plan
我们知道SparkSQL最终会把API和SQL语句转换成Spark Core的RDD代码来执行。理解Spark Catalyst工作流程是非常有必要的.本文主要分享SparkSQL执行流程中的生成Unresolved Logical Plan背后的原理,希望能帮助大家更好地了解Spark Catalyst的整体执行流程.1、通过ANTLR对SQL进行语法词法解析,生成抽象语法树2、将抽象的语法树解析成未解析的逻辑执行计划,也叫未绑定的逻辑执行计划3、对有效节点进行数据类型绑定,根据Catalog对字段进行解
2022-06-22 15:15:14
583
转载 Java中if-else优化
本文主要起因是，一次在微博上和朋友关于嵌套好几层的if-else语句的代码重构的讨论（微博原文），在微博上大家有各式各样的问题和想法。按道理来说这些都是编程的基本功，似乎不太值得写一篇文章，不过我觉得很多东西可以从一个简单的东西出发，到达本质，所以，我觉得有必要在这里写一篇的文章。不一定全对，只希望得到更多的讨论，因为有了更深入的讨论才能进步。文章有点长，我在文章最后会给出相关的思考和总结陈词，你可以跳到结尾。所谓箭头型代码，基本上来说就是下面这个图片所示的情况。那么，这样“箭头型”的代码有
2022-05-06 19:51:54
2128
转载 编程的智慧
编程的智慧编程是一种创造性的工作，是一门艺术。精通任何一门艺术，都需要很多的练习和领悟，所以这里提出的“智慧”，并不是号称一天瘦十斤的减肥药，它并不能代替你自己的勤奋。然而由于软件行业喜欢标新立异，喜欢把简单的事情搞复杂，我希望这些文字能给迷惑中的人们指出一些正确的方向，让他们少走一些弯路，基本做到一分耕耘一分收获。反复推敲代码有些人喜欢炫耀自己写了多少多少万行的代码，仿佛代码的数量是衡量编程水平的标准。然而，如果你总是匆匆写出代码，却从来不回头去推敲，修改和提炼，其实是不可能提高编程水平的。你
2022-05-06 19:49:49
357
1
转载 Flink1.15发布更新
Apache Flink 核心概念之一是流 (无界数据) 批 (有界数据) 一体。流批一体极大的降低了流批融合作业的开发复杂度。在过去的几个版本中，Flink 流批一体逐渐成熟，Flink 1.15 版本中流批一体更加完善，后面我们也将继续推动这一方向的进展。目前大数据处理的一个趋势是越来越多的业务和场景采用低代码的方式进行数据分析，而 Flink SQL则是这种低代码方式数据分析的典型代表。越来越多的用户开始采用 Flink SQL 来实现他们的业务，这也是 Flink 用户和生态快速增长的重要原因之一。
2022-05-06 14:43:55
3407
转载 实时数仓之 Kappa 架构与 Lambda 架构
数仓2021 年 1月份，给大家重点分享一下离线数仓与实时数仓的内容。今天，我们先了解一下数据仓库架构的演变过程，本文主要从五个方面进行介绍 数据仓库概念 离线大数据架构 Lambda 架构 Kappa 架构 Lambda 架构与 Kappa 架构的对比 1 数据仓库概念数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合
2022-04-08 12:42:52
314
转载 大数据命令大全
大数据命令大全技术如同手中的水有了生命似的，汇聚在了一起。为了方便大家学习与工作查询资料。现生成大数据命令文档供大家参考。本总结只列举常用的命令，比较多的命令操作。比如linux，kafka命令就比较多，hdfs操作也多。但是对于HBase. . . . .这类框架命令比较少，就不再本篇展示。望周知。其中内容包含以下，具体命令会一一介绍。Linux（vi/vim）一般模式语法 功能描述 yy 复制光标当前一行 y数字y 复制一段（从第几行到第几行） p
2022-04-08 12:27:16
479
转载 一种避免递归查询所有子部门的树数据表设计与实现
01、问题来了 02、查出所有子孙部门 03、查询子孙部门总数 04、判断是否叶子节点 05、要不试试这个方法？ 06、查出所有子孙部门 07、查询子孙部门总数 08、判断是否叶子节点 09、其他基本操作 10、新增部门 11、删除部门 12、查询直接子部门 13、查询祖链路径 14、树形数据展示（JS示例） ...
2022-04-08 10:57:56
665
转载 苹果手机微信消息备份
最近发现手机聊天记录太多了，想删掉又担心有些重要的事情忘记，所以就找了一个备份流程，大家一起共享，如何导出iOS版微信的聊天记录？首先根据问题，我们需要明确一点：导出的是苹果手机的微信聊天记录。苹果手机搭载的是iOS系统，与安卓手机的Android系统不同的是iOS无法获取用户最高权限，众所周知，安卓手机只要在root之后就可以获取用户最高权限，对手机进行操作。不过导出iOS微信聊天记录，掌握方法和正确工具便可以轻松解决了。方法一：微信功能备份聊天记录登录PC端微信，打开手机微信同步
2022-03-04 13:53:14
7993
原创 type:ETL_QUALITY_UNSATISFIED； msg:quality not good enough to cancel
1.Doris倒入数据异常，如果在日志里看不出来，需要查看具体的情况。2.可以通过执行相应的sql去查看对应的报错信息，在客户端会提示我们查看异常详情的地址。3.通过访问详情会提示我们数据出错的原因。大致可以分为以下几种：1.数据字段类型不匹配；2.字段类型长度不够，需要增加一下；3.Doris需要提前创建表，可能是表没有创建；4.数据相应的分区字段为null，无法确认是保存到哪个分区；...
2022-02-23 10:16:11
3232
转载 Flink- CDC2.X源码分享
8月份 FlinkCDC 发布2.0.0版本，相较于1.0版本，在全量读取阶段支持分布式读取、支持checkpoint，且在全量 + 增量读取的过程在不锁表的情况下保障数据一致性。 详细介绍参考 Flink CDC 2.0 正式发布，详解核心改进。Flink CDC2.0 数据读取逻辑并不复杂，复杂的是 FLIP-27: Refactor Source Interface 的设计及对Debezium Api的不了解。本文重点对 Flink CDC 的处理逻辑进行介绍， FLIP-27 的设计及 Debe
2022-01-12 15:10:11
1766
原创 Flink-CDC 1.X 源码分享
1.FlinkCDC介绍1.1定义：CDC 是变更数据捕获 (Change Data Capture) 技术的缩写，它可以将源数据库 (Source) 的增量变动记录，同步到一个或多个数据目的 (Sink)。在同步过程中，还可以对数据进行一定的处理，例如分组 (GROUP BY)、多表的关联 (JOIN) 等。简单来说就是对于数据库的变更进行一个探测，因为数据库的更改对于客户端来说是没有感知的，你需要开启线程去查询，才知道数据有没有更新。主流的CDC机制有以下两种基于查询CDC，如果是.
2022-01-12 15:09:37
1530
原创 Access denied； you need (at least one of) the RELOAD privilege(s) for this operation Error code: 122
Flink在使用cdc读取mysql数据库的时候，如果是刚开始使用的默认的mysql，那么有如下几个操作需要检查：异常1：Change the MySQL configuration to use a binlog_format=ROW and restart the connector.1.查看mysql的service方式：1.进入mysql查看服务方式：show variables like "binlog_format%";2.如果不是row，需要修改：vim /etc/m.
2022-01-12 13:03:21
2645
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人