- 博客(49)
- 资源 (3)
- 收藏
- 关注
RSS订阅
1原创 Flink系列之运行架构
Flink 运行时的组件作业管理器（JobManager） • 控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager 所控制执行。 • JobManager 会先接收到要执行的应用程序，这个应用程序会包括：作业图 （JobGraph）、逻辑数据流图（logical dataflow graph）和打包了所有的类、 库和其它资源的JAR包。 • JobManager 会把JobGraph转换成一个物理层面的数据流图，这个图被叫做 “执行图”（Execu
2021-08-12 13:37:33
140
原创 Spark系列一之系统架构
目录端口号Spark 运行架构核心组件DriverExecutorMaster & WorkerApplicationMaster核心概念Executor 与 Core并行度（Parallelism）有向无环图（DAG）提交流程Yarn Client 模式Yarn Cluster 模式Spark 核心编程RDD执行原理端口号➢ Spark 查看当前 Spark-shell 运行任务情况端口号：4040（计算） ➢ S.
2021-08-05 14:45:01
285
原创 Hadoop系列之YARN
目录Yarn 调度器和调度算法先进先出调度器（FIFO）容量调度器（Capacity Scheduler）公平调度器（Fair Scheduler） Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式 的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。Yarn 基础架构 YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Containe..
2021-08-03 18:07:37
216
原创 Hadoop系列之HDFS
目录HDFS 优缺点HDFS 组成架构HDFS 文件块大小HDFS 写数据流程HDFS 读数据流程NameNode 和 SecondaryNameNodeNN 和 2NN 工作机制Fsimage 和 Edits 解析DataNode 工作机制数据完整性掉线时限参数设置HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目 录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功...
2021-08-03 15:22:40
120
原创 Haoop系列之入门
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop 优势（4 高） 1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元 素或存储出现故障，也不会导致数据的丢失。2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。 3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。4）高容错性：能够自动将失败的任务重新分配。Hadoop 组成计算，资源调度，数据存储，辅助工具
2021-08-03 14:04:33
119
原创 Netty系列（四）之Netty 编解码器和粘包拆包
基本说明1) netty 的组件设计：Netty 的主要组件有 Channel、EventLoop、ChannelFuture、ChannelHandler、ChannelPipe 等。2) ChannelHandler 充当了处理入站和出站数据的应用程序逻辑的容器。例如，实现 ChannelInboundHandler 接口（或ChannelInboundHandlerAdapter），你就可以接收入站事件和数据，这些数据会被业务逻辑处理。当要给客户端发 送 响 应 时 ， 也 可 Channel
2021-08-03 13:38:32
96
原创 Netty系列（三）之Netty模型
目录Netty 模型工作原理示意图 1-简单版工作原理示意图 2-进阶版工作原理示意图3-详细版Netty 模型工作原理示意图 1-简单版Netty 主要基于主从 Reactors 多线程模型（如图）做了一定的改进，其中主从 Reactor 多线程模型有多个 Reactor1) BossGroup 线程维护 Selector , 只关注 Accecpt2) 当接收到 Accept 事件，获取到对应的 SocketChannel, 封装成 NIOScoketCha..
2021-07-31 15:43:19
152
原创 Netty系列（二）之线程模型
目录原生 NIO 存在的问题线程模型基本介绍传统阻塞 I/O 服务模型工作原理图Reactor 模式Reactor 模式分类：单 Reactor 单线程单 Reactor 多线程主从 Reactor 多线程原生 NIO 存在的问题1) NIO 的类库和 API 繁杂2) 需要具备其他的额外技能：要熟悉 Java 多线程编程，因为 NIO 编程涉及到 Reactor 模式3) 开发工作量和难度都非常大4) JDK NIO 的 Bug：例如臭名昭著..
2021-07-31 15:14:24
119
原创 Netty系列（一）
I/O 模型Java 共支持 3 种网络编程模型/IO 模式：BIO、NIO、AIOBIO:同步并阻塞一个客户端一个线程NIO:同步非阻塞一个线程对应多个客户端Java NIO 基本介绍3) NIO 有三大核心部分：Channel(通道)，Buffer(缓冲区), Selector(选择器)4) NIO 是 面向缓冲区 ，或者面向 块 编程的。数据读取到一个它稍后处理的缓冲区，需要时可在缓冲区中前后移动，这就增加了处理过程中的灵活性，使用它可以提供非阻塞式的高伸缩性.
2021-07-31 14:33:21
104
原创 在vscode里面使用java+scala项目
我有毒,用了一周idea，实在是太难用了，总是不知道报什么错（请注意最好是使用官方正版的），主要是需要花时间研究，所以我还是先用回来vscode了，需要注意的几个点。按照网上的教程生成一个快速的maven项目,安装了依赖后，Ctrl+shift+P可以调出命令生成maven项目没有iml,使用命令生成iml文件mvn idea:module新建一个文件scalamvn idea:modulemvn idea:mmvn imvn idea:modumledea:moduleodu.
2021-03-05 17:48:40
2732
原创 Vscode远程调试java程序
起因是我在windows下面打的包，发送到linux系统，怎么都报错。对比过文件大小排除文件丢失，用wget的方式下载文件，我个人还是觉得是传输过程中破坏了文件格式的，但最后还是不行，没办法了，只能直接在linux上面创建java包来运行了，要不然一直不知道为什么。首先在vscode里下载Remote Development，下载就可以了。跟平时一样新建项目就可以了。但是需要注意的一点。需要配置相应的环境插件地址需要重新下载引用，这里关于java和maven可以...
2021-03-05 17:39:22
796
原创 navicat 连接MySQL 连接出现 Authentication plugin ‘caching_sha2_password‘ cannot be loaded
今天在使用navicat连接docker启动的mysql时报错Authentication plugin caching_sha2_password cannot be loaded，一开始还以为是docker的原因，后来找了资料才发现是mysql加密的原因，真是笑掉大牙。 出现这个原因是mysql8 之前的版本中加密规则是mysql_native_password,而在mysql8之后,加密规则是caching_sha2_password, 解决问题方法有两种,一种是升级navicat驱动...
2020-08-13 10:59:39
418
原创 IdentityServer4中关于Client Credentials的简单实现
官方配图Client Credentials 但其实Client不需要考虑用户，因此此处也不需要考虑测试用户的代码官方案例，最好的参考资料永远在官方https://github.com/IdentityServer/IdentityServer41.配置授权服务器 在Identity Server中配置Clinet和资源信息 public static IEnumerable<Client> Clients => ...
2020-07-21 10:20:33
391
原创 Identity Server4学习笔记
学习参考资料博文https://www.cnblogs.com/cgzl/p/9221488.html https://www.yuque.com/yuejiangliu/dotnet/solenovex-identityserver4视频请参考杨旭老师在b站的IdentityServer4的教学视频。 笔记之前先吐槽一下自己。虽然登录简书等各种软件的时候会提示是否QQ登录等第三方软件是否登录，但我在看视频以及博文笔记教程的时候完全没考虑这个，因为平常都是一个前端一...
2020-07-21 09:45:32
212
原创 记录一下目前使用的一种双token的实现方式
1.背景 后端使用的是.net core 加jwt的形式。然后为了不过期使用了双token的模式。 认证方式是Bearer 头文件里必须加Authorization，目前还没弄懂怎么改变这个头文件。2.实现方式 因为用的.net core自带的认证方式，不是自己定义的拦截器，所以每次认证都是需要传Authorization。 第一步：登录的时候传token和refreshToken到前端。 第二步：token过...
2020-07-10 18:16:09
1382
原创 java之用三元组实现稀疏矩阵
之前写过js的算法实现，但是也只是看了教程，自己没有去手动实现，所以算法的水平还是很低。现在重新开始好好写一下这段时间学习算法的代码实现。算法来源是b站的BV1E4411H73v.因为教学是java实现的，所以跟着老师用java的算法实现，虽然工作中用的是c#，就当做新学一门语言吧。稀疏矩阵 在矩阵中，若数值为0的元素数目远远多于非0元素的数目，并且非0元素分布没有规律时，则称该矩阵为稀疏矩阵；与之相反，若非0元素数目占大多数时，则称该矩阵为稠密矩阵。定义非零元素的总数比...
2020-06-08 19:08:47
1284
原创 RabbmitMq初步了解和创造连接
就算笔记写的再差，也要自己写， public void BindReceiveMqMsg(ICallbackFunction function, string routingKey, string EXCHANGE_NAME = null, string exchange_type = null) { try { //创建与指定端点的连接。 connection = Rbt.
2020-06-06 17:11:39
322
原创 Rabbitmq的四种交换类型
关于rabbitmq中的类型交换 今天才刚开始接触rabbit，记录一下自己写的代码exchange有4中类型：直接交换中心：（Direct exchange）扇形交换中心：（Fanout exchange）主题交换中心：（Topic exchange）首部交换中心：（Headers exchange） 第一种直接交换中心 直接交换中心是一个带路由功能的exchange，一个队列会和一个exchange绑定，除此之外再绑定一个routing_Key，...
2020-06-05 20:01:40
391
原创 C#关于带命名空间的xml解析
本意是想获取所有的xml标签的，结果为了单个标签的获取查了挺久xml文档<?xml version="1.0" encoding="UTF-8" standalone="yes"?><DecImportResponse xmlns="http://www.chinaport.gov.cn/dec"> <ResponseCode>1</ResponseCode> <ErrorMessage>hhh</ErrorMessage
2020-06-05 11:36:38
846
原创 .net core没有接口的服务注入
.net core中依赖注入的三种生命周期 要实现没有接口的依赖注入，首先当然是要了解依赖注入是什么了。网上资料还是很多的，这里不详细写了，具体写一下没有写接口，但又想实现依赖注入，怎么的具体实现。 首先要知道生命周期.net core提供了三种生命周期，大部分默认情况下基本上是第二种。 public enum ScopeEnum { // 整个应用程序生命周期中只有1个实例 Singleton, //...
2020-06-04 20:35:53
1085
原创 .net core中System.Text.Json的时间类型格式数据处理
Newtonsoft.Json的时间序列化处理很简单，直接在ConfigureServices里配置中间件就可以//设置时间格式options.SerializerSettings.DateFormatString = "yyyy-MM-dd";但是System.Text.Json官方没有给直接处理的方式，参考了网上的写法自己写了一个时间处理的类，主要是网上的那篇文章太难找了，所以自己记录一下。第一步，配置中间件类 .AddJsonOptions(options =>
2020-06-04 19:04:26
2647
原创 js基本实现功能统计，方便以后直接拿来ctrl+c,ctrlv
1.实现创造a标签完成点击下载功能。 const elink = document.createElement('a'); // name为后台返给前端的文件名，后缀名必须加，后台有返回后缀就不用管，不然下载在本地不好打开。 elink.download = '表格数据' + '.json'; elink.style.display = 'none'; co...
2019-11-28 10:09:18
373
原创 svg基本知识
写这篇文章的缘由是因为做dashboard的项目，图形是svg的项目,参考的项目使用div写的，然后为了改样式一直在套样式，结果套不出来，也是醉了，整理了一下svg的基本格式，从w3c上整理的，详细的列子参考https://www.w3school.com.cn/svg/svg_rect.asp目录svg形状矩形 圆形 椭圆 线 多边形 折线 标签SVG ...
2019-11-19 20:01:08
481
原创 node问题解决记录
1.无法加载文件 C:\Users\reyna.chen\AppData\Roaming\npm\ng.ps1，因为在此系统上禁止运行脚本 1.打开Windos PowerShell 2.set-ExecutionPolicy RemoteSigned 3.最后通过 get-ExecutionPolicy 查看当前的状态2.rxjs版本错误ERR...
2019-11-01 16:52:10
380
原创 webpack.config.js文件配置
const path=require('path');module.export={ extry:path.join(__dirname,'./src/main.js'),// 打包哪个文件 output:{// 输出文件相关配置 path:path.join(__dirname,'./dist'),// 指定打包好的文件，输出到哪个目录中去 filena...
2019-10-19 05:52:45
114
原创 vue.js基础笔记
为了学习webpack找的视频教材，没想到把vue.js学了，还没感觉到跟angular的很多差别，可能是因为我还没深入到源码吧。1.安装方式 引入vue.js有两种方式，一种直接使用<script>引入，另一种在webpack的环境下，使用es6的引入模块进行引入。import Vue from 'vue';关于包的查找规则：1.找项目根目录...
2019-10-19 05:10:06
112
原创 linux我用到的最最基础的笔记
工作中用linux很少，平时都是windows开发的，导致我对linux一点都不了解。后来公司要开发域名系统，要查whois资料，找的linux系统了里的一个程序，在这个过程中记录了一些笔记，等以后系统学了linux，再把笔记补充好。1.几个基础的操作命令1.查看目录与文件：ls ls -la2.查看文件内容：cat3.显示当前目录：pwd4.创建空文件：touc...
2019-09-30 15:20:27
115
翻译 webpack简单概述翻译
官方网站：https://webpack.js.org/concepts/概要 webpack的核心是用于现代javascript应用程序的静态模型绑定器。当webpack处理你的应用时，webpack会在内部构建一个依赖图，这个图会映射你的项目所需要的每个模块，以及会生成一个或更多的包。 自从4.0.0的版本发布后，webpack不要求配置文件来绑定你的项目了...
2019-07-14 14:22:48
241
原创 ng-zorro-ant中关于angular实现的面包屑源码解读
想要分析ng-zorro-ant的面包屑源码,首先要先了解ng-content1.ng-zorro-ant的官网https://ng.ant.design/version/0.7.x/components/breadcrumb/zh1.ng-content 这部分大家可以搜索一下ng-content，有更好的博主做了总结，在这里我只简单的介绍一下它的用途。 此用法可以接...
2019-07-13 20:19:42
864
原创 js的排序算法
1.用数组实现排序function ArrayList(){ var array=[]; }2.冒泡排序 从第一个开始，进行两两排序，如果后面的小于前面的，进行交换。 ArrayList.prototype.swap=function(m,n){ var temp=this.array[m] this.array[m]=this....
2019-07-13 18:14:31
134
原创 C#中的一些基本方式总结
目录1.委托delegate---c#中的将方法作为参数传递2.堆和栈3.override重写4.new关键字，如果子类声明了和父类同样的方法，但用new声明了,会隐藏掉父类的方法。5this和base6.sealed类7.泛型方法8.泛型类型约束9特性10.开启线程11.socket服务端12 设计原则1.委托delegate---c#中......
2019-07-13 17:15:55
409
原创 js:Set集合的实现
1.set集合的定义 集合成员是无序的，是不重复的一组成员。 开发中可用于去除重复数据 set集合和map不一样。这里只实现了set集合的方法。 map是用哈希结构的定义来实现的，本质上也是对数组和链的结合。 方法就不介绍了，集合的定义数学都是学过的。2.封装对象 此处用对象的方式...
2019-06-25 18:32:26
4260
原创 计算机网络:传输层TCP和应用层HTTP
前言 这两天在复习计算机网络的相关知识，看到tcp的时候才反应过来，我到底弄混了多少概念啊。1.七层模型 图片来源于百度 七层模型是国际标准化组织(ISO)提出的，也有五层，四层，不过都是在七层的基础上变化的，我们还是看七层的。2.层级协议网络层：IP协议、ICMP协议、ARP协议、RARP协议和BOOTP协议传输层...
2019-06-24 20:18:56
1653
原创 angular2自定义管道省略字符
要求是中文的时候显示10个字符，英文的时候显示20个字符，不知道怎么具体实现,就想到了管道下面是实现方法1.自定义实现一个管道功能，继承了方法，还处在看api的状态,具体怎么实现的还没弄清楚2.transform参数的方法首先声明管道,继承方法transform，如图所示，除了第一个是传过来的具体参数，其余都是自己随意定的参数。import { Pipe, PipeTr...
2019-06-15 18:22:16
614
原创 js单向链表的基本实现
单向链表 1.单向链表的封装 单链表跟双向链表一样,js里的引用类型有点不太懂，此处的this.head不知道是看做指针还是头结点来使用。 我在这里是把this.head复制了一个节点数据，同时把this.head的看做了指针指向了第一个新节点（不这样想看不下去了），按我的想法插入第一个节点的时候是 this.head.next=newNode.先记...
2019-06-13 18:43:59
994
原创 sqlserver关于查询,存储等方法记录
暂时先做个记录，以后再将各个部分完善起来目录1.sqlserver中一种查父节点id的方法。2.sqlserver合并多条数据3.第一条语句是等同于in的方法,主要是因为在C#中用@countryCode传输值得时候，将'hk','pk'的数值当做了字符串来处理，4.排序中为null的5.查询数据库中的所有索引6.创建游标7.查全部的存储和视图过程8.创建一个存...
2019-06-13 15:39:22
537
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人