chixushuchu的博客

原创 Streaming Systems

About Streaming

原创 二叉树的所有路径

二叉树 遍历 所有路径

原创 二叉树 广度遍历 深度遍历 前序 中序 后序

二叉树

原创 正则表达式

1 近期出现sql使用过程通过正则替换转换数组等操作 特此记录一下正则的学习使用git上一个表较好的学习地址learn-regex/README-cn.md at master · ziishaned/learn-regex · GitHub听了一个b站视频【公开课】正则表达式入门_哔哩哔哩_bilibili边学边用吧...

转载 ClickHouse vs StarRocks

clickhouse starrocks

转载 Clickhouse VS StarRocks

实时数仓 clickhouse starRocks

原创 mac m1 brew install elasticsearch

Installing Elasticsearch 6.8.15 on Apple-M1 Macbook issues - Stack Overflowhttps://github.com/Homebrew/discussions/discussions/925#discussioncomment-943622官网Install Kibana on macOS with Homebrew | Kibana Guide [7.15] | Elastichttps://www.elastic.co/gu

原创 Scala 官网基础1

有道云链接在有道云写的 到这里全乱了https://note.youdao.com/ynoteshare1/index.html?id=acf94e8ed202685f06a31f721029d05a&type=note1 _使用2 官网1 在线练习2 官网说明3 基础1 表达式2 不可变变量 val3 可变变量 var4 代码块 Blocks5 函数 Functions6 方法 Methods1 方法名 2 参数列表 3 返回值类型 4 ..

原创 Scala 基础环境搭建

1 下载及配置1 下载目录官网上面有一个下载所有版本的链接https://www.scala-lang.org/download/all.html这里因为spark官网3.0依赖scala 为2.12所以下载了scala 2.12.*版本的2 配置环境变量3 命令行看一下scala看一下版本号2 idea创建项目1 创建一个 简单maven项目2 下载scala的plugin3 在项目上点击 Add Frame Sup...

转载 5种分布式事务解决方案

转载分布式事务

原创 java 基础知识回顾 jvm 内存管理 垃圾回收 类文件结构 内存模型

之前有转发过两篇关于jvm的文章其一jvm内存结构调优其二

原创 分布式基础知识 Zookeeper以及ZAB协议

原创 分布式 之2协议 2pc与3pc 引出paxos算法

2pc 强一致性缺点明显

原创 分布式架构知识点整理之一 分布式问题 以及事务ACID

原创 深入理解kafka基础知识回顾5 日志存储 以及日志清理 还有磁盘存储

日志目录 日志索引 日志清理

原创 深入理解kafka基础知识回顾4 主题与分区

主题的创建主题的查看分区的增加主题的删除分区的管理？

原创 kafka基础知识回顾之3消费者

原创 Kafka基础知识回顾之二 kafka生产者

生产者概要必填topickeyvalue序列化方式

原创 Kafka基础知识回顾之一 kafka基础概念

1 kafka基础名词概念好久不看 很多知识点都忘记了整理下之前的总结 kafka是什么 kafka基础构建 producer consumer broker topic partition offset replica isr hw leo ar ...

原创 github 突然就443了 Failed to connect to github.com port 443: Timed out

1 问题Failed to connect to github.com port 443: Timed out2 试了下方案git config --global --unset http.proxy

原创 二叉树的算法

基础概念full binary treecomplete binary tree 完全二叉树 每一层都紧凑靠左排列perfect binary tree 满二叉树 每一层都是满的 像一个三角形

原创 IDEA maven项目频繁更改jdk版本

1 在pom.xml添加properties文件<!--jdk版本指定 避免每次jdk版本被替换--> <properties> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.target> </properties>2.

原创 RabbitMQ简介 生产者消费者 消息通信 运行管理

原创 深入学习 Kubernetes Service

1 Service定义2 Service基本用法3 Headless Service4 集群外部访问Pod或Service5 DNS服务搭建和配置指南6 Ingress:HTTP7层路由机制

原创 整理一下Eclipse中安装PlantUml流程

PlantUML的使用依赖于另外一个插件，所以需要下载两个插件1 eclipse中下载PlantUMLhelp->install new software地址http://hallvard.github.io/plantuml/然后一路next finish2 下载Graphviz地址百度云链接: https://pan.baidu.com/s/1EP5IQyvu8HNCf-dsLTL_Mg 提取码: 7821如果安装出现2503参考另外一篇博客.

原创 windows 安装msi 出现报错 2503 无权限 使用cmd模式安装

如图所示的安装文件安装目录在D:\soft\plugins1 以管理员身份执行cmd命令2 执行命令msiexec /package "D:\soft\plugins\graphviz-2.38.msi"

原创 Kubernetes 深入理解Pod 上

1 Pod定义2 Pod用法3静态Pod4 Pod容器共享5 Pod配置管理6 Pod生命周期和重启策略7 Pod调度8 Init container 初始化容器9 Pod升级和回滚10 Pod扩缩容11 使用statefulset搭建MongoDB集群

原创 Kubernetes 网络模型

网络模型

原创 linux 内核 组成 内核空间 用户空间 页表

内核组成 简介 内核的任务 应用程序角度看 内核可以被视为增强计算机如内核寻址硬盘时，一系列操作都是内核完成，与程序不相干。从多程序并发运行角度看 可以将内核视为资源管理程序共享资源 包括CPU时间、磁盘空间、网络连接等内核视为库 提供一组面向系统的命令 实现策略 微内核 最基本的功能直接由中央内核实现， 宏内核 内核组成 部分 内核空间 核心内核 调用设备驱动程序 ..

原创 Spark 性能调优

主要总结自Spark编程指南一间接调节二直接调节

原创 spark 程序配置日志级别 通过log4j

spark 如何配置日志打印级别 Log4j.properties文件1、spark自身的打印级别首先明白如何设置spark本身的日志级别Edit yourconf/log4j.propertiesfile and change the following line:log4j.rootCategory=INFO, consoletolog4j.rootCateg...

原创 Kafka Streams 一些问题总结 以及消费者一些问题汇总

1、streams api 的疑惑1、释疑 kafka streams api和普通 consumer producer区别https://stackoverflow.com/questions/44014975/kafka-consumer-api-vs-streams-api2、kafka streams foreach操作如何进行数据库读写3、kafka streams...

原创 Spark 性能调优 从配置 以及代码层面 综合调优

前言调优之前调优大致方向1 Indirect Performance Enhancements 间接1 Design Choices1 Scala Versus Java Versus Python Versus R2 DataFrame Versus SQL versus Datasets versus RDDS2 Object Serialization in...

原创 Spark本地调试遇到的 CheckPoint 序列化问题和org.apache.hadoop.nativeio.NativeIO$windows.createFilewithMode0

第一个问题Dstream checkpointing has been enabled but the Dstreams with their functions are not serializable原因是创建JSSC的函数 使用到 set参数，不能使用原生的 map.keyset因为不支持序列化 通过spark消费kafka 并且元数据通过checkpoint保存...

原创 Spark DataFrame VS DataSet 如何创建DataFrame DataFrame 详解

一 概念预览1、对应关系2、DataFrames and Datasets3、Schemas定义：4、Structured Spark Types1、DataFrame Vs DataSet2、Columns3、Rows4、Spark Types5、Structured Api Execution预览1、逻辑计划 Logical Plannin...

原创 java8中的Optional使用

1、如何处理null1、对null进行检查，，2、null带来的问题3、其他语言如何处理null2、引入Optional并不是所有地方都要加Optional<>3、Optional 方法1、如何创建Optional 对象1、Empty Optional2、not-null from a value3、null2、通过map 获得和转换O...

原创 java8 Streams 流处理 中间api 结果api

StreamsWhat is Stream？在我看来 java的流处理 的两个过程其实和spark处理的 transform 以及 action算子是异曲同工之妙 都是懒加载，中间处理算子都只不过是转换算子，只有实际调用具体action算子之后才会触发整个streams pipline的计算过程流处理特点 遍历过程只能进行一次 使用内部迭代而无需借...

原创 java8 Lambda表达式使用 以及变量的使用限制 方法引用

笔记地址lambda使用摘要1、lambdas in a nutshell1、简而言之2、lambda 表达式组成 参数 箭头 方法体3、lambda案例2、where and how to use lambdas1、Functional Interfaces2、Function descriptor3、the execute-around patt...

原创 java 8 Functions Stream

1、Functions in java特性总结2、Streams流处理两种方式1、顺序处理 sequential processing2、并行处理 parallel processing3、Default methods and java modules1、Functions in java方法和lambdas 作为一阶公民特性总结method ref...

原创 Java8 modern java in action 面向函数编程 流处理 拯救java 拯救自己

待续，不知道为什么用满大人作为封面：。。。java8大变化写在前面的话，java为什么要变化写在前面的话，java8 之所以发生变化，一是外部原因，我们称之为气候的变化：计算机硬件的改变，从单核cpu到多核cpu变化。二是内部竞争，因为伴随大数据时代到来，起来很多新兴语言，诸如scala,这些语言能更好的适应大数据开发，所以java也必须拥抱变化。从另外一种意义上来说，java 8的变...