鸡蛋壳1.7-CSDN博客

原创 Spark学习笔记（二）RDD

1.Spark对数据对核心抽象RDDRDD：不可变对分布式对象集合，被分为多个分区，运行在不同节点上创建方式：读取外部数据集；driver程序中分发driver程序的对象集合（如list和set）2.RDD支持的操作：转化操作和行动操作转化操作：将一个RDD转化成新的RDD行动操作：对RDD计算出一个结果，并返回到driver程序，或存储到外部存储系统（如hdfs等）区别：转化操作惰性计算RDD，而行动操作时才会真正计算，数据规模大，节省了很多存储空间程序上区别：转化操作返回的是RDD，而行

2020-12-16 09:50:08 177

原创 Spark学习笔记（一）基础概念

1.SparkSpark是一个用于实现快速而通用的集群计算平台Spark使用内存进行计算，只读取一次，大量的迭代工作放入内存，所以Spark内存开销大，速率也快计算模型：MapReduce（速度快）2.MapReduce（key-value）MapReduce 主要包含三个功能：map、group by、reducemap:对读取的文件进行逐个扫描，并获取我们所需要的数据group by：根据一定的规则进行排序reduce：数据的聚合、合并等处理3.RDD（开发中的主体）弹性分布式数据集

2020-12-15 10:58:52 109

原创 BigDecimal口味成长快乐

为什么用BigDecimal在日常练习中，float和double基本上都能满足我们对于小数的需求，但是在实际业务诉求中，为了避免精度丢失（少10W个一分钱课不得了）使用BigDecimal。包括浮点数的运算，也很容易造成精度丢失。构造BigDecimal对象BigDecimal对象的构造有3种方式new BigDecimal(Double d);new BigDecimal(Integ...

2019-06-04 14:16:05 104

原创用MockMvc对接口进行测试

为什么使用Mockmvc？（业务角度）在基于springboot开发接口的过程中，测试时必不可少的，起初我们开发人员常用的测试工具是：postman、Swagger在我们公司一般使用的是Swagger测试，通过构造param参数，请求头传参等，请求目标接口获取返回的content，一般都是肉眼去查看之后确认接口是否调通。从我们leader的角度来讲，这并不能成为一个测试通过的标志，使用Moc...

2019-05-13 20:03:04 2416

原创 git bad config line 1 in file 问题

出现这个问题的原因 9成9是因为加密系统在搬迁之后导致解密不完全对于这些config文件不能够完全的解密虽然notepad++能够完美的展示但实际读取的时候还是有问题，以防以后再出现这种问题就记上一笔问题很明显就是针对的config文件定位到出现问题的文件，将其删除使用git bash here 输入命令git init这基本上能解决了然而我的问题加密系统带来的个人的config...

2019-05-06 16:29:32 4795 3

原创 Lombok简单了解

昨天在看了了解了一波@Slf4j注解之后发现了这个projectlombok依赖包含了很多东西 sfl4j只是其中的一个lombok还有非常多的注解@Setter@Getter@Data@Log(这是一个泛型注解，具体有很多种形式)@AllArgsConstructor@NoArgsConstructor@EqualsAndHashCode@NonNull@Cleanup@T...

2019-05-06 11:58:39 188

原创 @Slf4j注解

@Slf4j最初在看到这个注解的时候是在一个Controller类中看到的@Slf4j@RestController@RequestMapping("/api/pc")publiuc class XXController{}@RestController和@RequestMapping是SpringBoot中比较常见注解用于声明这是一个Controller以及请求的基础路径那么在看...

2019-05-05 18:27:22 32786 1

鸡蛋壳1.7的博客