- 博客(25)
- 收藏
- 关注
RSS订阅转载 Scala Option
Scala 使用 Option、Some、None，避免使用 Null避免 null 使用大多数语言都有一个特殊的关键字或者对象来表示一个对象引用的是"无"，在 Java，它是 null。在 Java 里，null 是一个关键字，不是一个对象，所以对它调用任何方法都是非法的。但是这对语言设计者来说是一件令人疑惑的选择。为什么要在程序员希望返回一个对象的时候返回一个关键字呢？OptionSomeNoneScala 的 Option类型为了让所有东西都是对象的目标更加一致，也为了遵循函数式编
2021-10-01 22:15:49
132
原创 Scala函数
scala常用函数列举函数传名调用(Call-by-Name) 指定函数参数名函数 - 可变参数 递归函数默认参数值 高阶函数内嵌函数 匿名函数偏应用函数 函数柯里化(Function Currying)/** * Scala 中的方法跟 Java 的类似，方法是组成类的一部分。 * * Scala 中的函数则是一个完整的对象，Scala 中的函数其实就是继承了 Trait 的类的对象。 * * Scala 中使用 val 语句可以定义函数，def 语句定义方法。 */
2021-10-01 17:57:35
120
原创 SparkSql Join基本流程(hash join,broadcast join,shuffle hash join ,sort merge join)
Join表信息和sql表A : table_A，字段a1,a2,No表B : table_B，字段b1,b2,Noselect a1,a2,b1,b2 from table_A t_A join table_B t_B on t_A.No=t_B.No ;总体流程流程的设计step1 : 遍历table_A 表的所有记录，以过滤条件中的字段No的值进行分组，每个No值对于的A组数据，遍历出来，待用step2 : 遍历table_B 表的所有记录，同A的处理方式拿出A组数据去匹配B组数据
2021-09-25 23:43:28
1349
原创 负载均衡：基于keepalived的LVS的搭建
负载均衡：基于keepalived的LVS的搭建一、负载均衡本次的负载均衡的设计结构LVS配置RS中的服务：LVS服务配置node01:设置验证负载均衡是否OK实验截图结论：手动配置负载均衡功能OK二、LVS的高可用方案：基于keepalived安装keepalived清理上面手动的配置node01:查看配置手册生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowc
2021-05-23 23:04:37
210
原创 Java 问题定位系列 JVM、进程、堆栈日志分析
最近线上环境会偶发一些问题（壳工具调用 hive 的beeline执行sql，beeline连接hiveServer过程中，会有访问zookeeper的操作，正常从调用beeline到连接hiveserver成功，耗时1s左右，现在耗时11分钟到25分钟不等，严重影响业务进度），需要定位分析，出于保密原因不能显示原图，放上学习的一些资料和笔记，忘大佬们指教找到故障进程在哪里找到机器的进程（什么应用，在那台机器上，进程号如何找到）由于存在多个hive beeline客户端节点，业务层的壳工具调用beel
2020-12-21 23:53:41
448
原创 JVM系列-GC日志分析-堆空间大小分布
最近接触生产环境的spark任务，有很多GC问题，需要调优，平时没用过，抽空系统的学习下，特此记录，忘指教触发GC的代码public class HelloGC { public static void main(String[] args) { System.out.println("HelloGC!"); List list = new LinkedList(); try{ for(;;) {
2020-12-09 23:06:32
284
原创 设计模式-strategy
策略模式模式一主方法只写要比较的参与者和Sort这件事情public class Main { public static void main(String[] args) { Sorter sorter = new Sorter(); Dog[] dogs = {new Dog(1),new Dog(2),new Dog(3)}; Cat[] cats = {new Cat(1,10),new Cat(12,20),new Cat(3,5)};
2020-11-29 22:38:03
60
原创 计算机网络知识——TCP
计算机网络-内核网络模型七层OSI模型四层TCP/IP模型简化的结构三次握手，四次挥手本地客户端与百度www.baidu.com如何交互？创建socket,客户端使用网络协议发送请求，在接受服务端数据用 netstat -natp 监控网络连接情况网卡信息route -n如何验证？结论：网络模型七层OSI模型略 https://www.cnblogs.com/fanBlog/p/12395825.html四层TCP/IP模型摘自https://blog.csdn.net/be_happy_mr
2020-10-19 00:59:25
760
原创 RPC学习记录
最近工作在定位yarn的一些服务问题，涉及rpc服务，对此知识盲点不清楚，看了些资料，记录一下笔记，欢迎网友指出问题，谢谢RPCRPC 运作方式一、简化版的rpcpojoclient接口接口实现server二、反射+代理的rpcpojoclientStub 客户端的代理接口接口实现server三、拓展（未完待续）RPC 通信协议RPC 序列化协议RPC 运作方式一、简化版的rpcpojoimport java.io.Serializable;public class Product imple
2020-10-11 18:54:52
111
转载 Zookeeper如何解决脑裂问题
转自 https://www.yuque.com/renyong-jmovm/kb/zp60xy什么是脑裂脑裂(split-brain)就是“大脑分裂”，也就是本来一个“大脑”被拆分了两个或多个“大脑”，我们都知道，如果一个人有多个大脑，并且相互独立的话，那么会导致人体“手舞足蹈”，“不听使唤”。脑裂通常会出现在集群环境中，比如ElasticSearch、Zookeeper集群，而这些集群环境有一个统一的特点，就是它们有一个大脑，比如ElasticSearch集群中有Master节点，Zookeepe
2020-08-21 00:15:22
478
转载 Zookeeper请求处理原理分析
转自 https://www.yuque.com/renyong-jmovm/kb/zp60xyZookeeper是可以存储数据的，所以我们可以把它理解一个数据库，实际上它的底层原理本身也和数据库是类似的。数据库的原理我们知道，数据库是用来存储数据的，只是数据可以存储在内存中或磁盘中。而Zookeeper实际是结合了这两种的，Zookeeper中的数据即会存储在磁盘中以达到持久化的目的，也会同步到内存中以到达快速访问的目的。事实上，用过Zookeeper的同学应该知道，Zookeeper中有两种类型
2020-08-21 00:11:38
276
转载 Zookeeper快速领导者选举原理
Zookeeper快速领导者选举原理转自 ： https://www.yuque.com/renyong-jmovm/kb/fukd3b本文略长，更适合在电脑端观看，可以收藏或直接关注微信公众号：1点25人类选举的基本原理正常情况下，选举是一定要投票的。我们应该都经历过投票，在投票时我们可能会将票投给和我们关系比较好的人，如果你和几个候选人都比较熟，这种情况下你会将选票投给你认为能力比较强的人，如果你和几个候选人都不熟，并且你自己也是候选人的话，这时你应该会认为你是这些候选人里面最厉害的那个人，大
2020-08-21 00:06:51
245
原创 并发编程-线程池
摘自网友在https://www.runoob.com/java/java-multithreading.html中的笔记，方便系统全面的理解线程池。如果其中有错误的地方，还望多多指教，共同进步。线程池1、是什么线程池，其实就是一个容纳多个线程的容器，其中的线程可以反复使用，省去了频繁创建线程对象的操作，无需反复创建线程而消耗过多资源。2、为什么那么，我们为什么需要用到线程池呢？每次用的时候手动创建不行吗？在java中，如果每个请求到达就创建一个新线程，开销是相当大的。在实际使用中，创建和销毁线
2020-07-16 23:41:40
173
原创 SpringBoot_入门（二）-日志类型与选择
日志框架分类和选择常见日志框架抽象层 JCL，SLF4j，jboss-logging实现层 Log4j,JUL(java.util.logging),Log4j2,Logbackspring默认日志框架JCLSpringBoot选用SLF4j（抽象层）和logback（实现层）...
2019-07-10 23:46:18
221
原创 SpringBoot 入门（一）SpringBoot的搭建与配置
引言搭建一个J2EE web项目,一系列步骤创建应用jar maven配置xml代码，开发代码打包 部署测试spring意识到这些很繁琐，有共同性，直接一站式，整体解决，简化快速地开发应用。http://www.chilangedu.com/course/1489582623.html#0SpringBoot是企业级开发的整体整合解决方案，特别用于快速构建微服务应用，旨在...
2019-07-08 23:32:31
308
原创 工具类 Json
jsonConfig.setExcludes用法/** * 联系人实体 */public class LinkMan { private Integer id; // 编号 private Customer customer; // 所属客户 private String linkName; // 姓名 private String sex; // 性别 private Stri...
2019-07-07 10:27:48
107
转载 mybatis mysql 中文乱码问题
在spring+mybatis开发中 遇到插入中文字符数据变成问号的问题1、一般第一步可能会去看spring项目中的web.xml是否设置了字符过滤器但是一看代码已经拷贝过来了啊 ┭┮﹏┭┮2、那会不会是tomcat中没有设置字符的问题？于是打开server.xml空欢喜 还是设置过了啊 ┭┮﹏┭┮3、对了还有个地方可能出问题 那就是数...
2019-07-06 23:57:14
1608
原创 mybatis mapper.xml中的返回类型报错
个人小问题（如不信心，不了解等造成），可能不具备参考意义，仅仅是记录而已resultMap是针对自定义集合的，resultType是针对java基本数据类型的resultMap是针对自定义集合的，resultType是针对java基本数据类型的2019-07-04 23:04:31,134 [http-bio-8080-exec-5] DEBUG [org.springframework.we...
2019-07-05 23:06:55
812
原创 Hive sql操作笔记
建表参考官网https://cwiki.apache.org/confluence/display/Hive/AdminManual+ConfigurationCreate Table----------------------------- start-------------------------CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT...
2019-07-05 22:24:56
356
原创 Hive 环境搭建
Hive搭建模式远程服务器模式版本说明：hadoop2.6.5解释远程？谁1远程谁2？谁1是metastore,谁2是Mysql Server。用于非Java客户端访问元数据库Mysql：在hive服务器端启动MetaStoreServer，hive client客户端利用Thrift协议通过MetaStoreServer访问元数据库,模型示意图如下：我这里以node01作为元数据，...
2019-01-13 17:22:00
409
原创 linux之MySQL安装
安装mysql安装指令#yum install -y mysql-server成功后启动mysql[root@node04 ~]# service mysqld start测试mysql是否成功Please report any problems with the /usr/bin/mysqlbug script! ...
2019-01-13 15:34:12
136
原创 Hadoop环境搭建之windows环境下的hadoop配置
Hadoop环境搭建之windows环境下的hadoop配置所用文件hadoop-2.6.5.tar.gzeclipse marshadoop-eclipse-plugin-2.6.0.jar https://www.xpgod.com/soft/44745.htmlwindows10 64位编译hadoop 2.6.5 bin文件 https://download.csdn.net/d...
2018-12-23 22:39:08
404
原创 Linux笔记
cut 垂直切割列,然后显示-d 自定义分隔符,后面紧跟着分隔符的参数-f2,3 显示第二列，第三列-s 不显示没有分隔符的行cut -d' ' -f2,3 -s test.txtsort：排序文件的行,默认字典序n：按数值排序r：倒序t：自定义分隔符k：选择排序列u：合并相同行f：忽略大小写 sort -t' ' -k2 -n -r sort.t...
2018-12-18 23:06:44
95
原创 Linux 正则表达式
Linux 正则表达式What查找目标字符的一种规则，主要通过匹配和重复的组合方式来查找How1.通配符匹配单个字符的情况2.正则表达式中匹配操作符重复操作符3.DemoWhat查找目标字符的一种规则，主要通过匹配和重复的组合方式来查找全新的界面设计在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；增加了 图片拖拽 功能，你可以将本地的图片直接...
2018-12-16 21:40:41
202
原创 Spark数据本地化常用级别
Spark中数据的本地化常用方式分为5种1、PROCESS_LOCAL : 进程本地化，指task计算的数据在本进程（Executor）中2、NODE_LOCAL：节点本地化，指task计算的数据在本节点（node）的磁盘上，当task在本进程中一直没有执行（如果Driver分发task 3s后没有执行，且重复5次后），此时Driver就把这个没有执行的task发送到本节点的其他execu...
2018-04-07 20:22:55
1639
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人