- 博客(30)
- 收藏
- 关注
RSS订阅原创 解决错误Fatal error compiling: 无效的目标发行版: 1.8
mvn install 报标题错误，两步排查：idea file - settingmaven - runner检查jdk版本是否为1.82.确认pom文件配置<plugin> <!-- 指定maven
2021-08-24 17:29:50
1715
原创 spark对比hadoop的优势
hadoop本身的计算模型决定了hadoop上所有的工作都要转化成map、shuffer和Reduce等核心阶段，由于每次计算都要从磁盘读或者写数据，同时整个计算模型都需要网络传输，这就导致了越来越不能忍受的延迟性，同时在前一个任务未完成之前，后面的任务都要等待，这直接导致其无力支持交互式应用。spark具备的优势：快速基于spark内存的计算速度比Hadoop MapReduce快100倍以上，基于磁盘的计算速度也快10倍以上。原因是spark有一个 dag有向无环图执行引擎，支持循环数据流和内存
2021-08-13 15:46:12
3407
原创 aerospike 无法连接问题
原因1：aerospike挂掉了或者没启动成功，可以检查下进程ps aux|grep aerospike原因2：客户端和服务端 的网络不通，可以在客户端ping一下服务端原因3：请求连接数占满导致无法连接，可以查看一下ps -ef |grep asd //获取进程号netstat -pan |grep 进程号...
2021-07-13 09:58:41
287
原创 redis 工作用到的
最近项目用到redis，整理下用到的内容：1.Redis赋值用到的两种方式：Jedis jedis = new Jedis(host, port);String version= jedis.set(key,value);// 批量赋值用pipeline，一次网络连接多次操作Pipeline pipeline = jedis.pipelined();Pipeline.set(key,value)2.Redis持久化策略https://www.jianshu.com/p/1d9ab6bc083
2020-10-20 17:09:35
75
原创 百度 大数据开发 面经附录答案
自我介绍聊一下最近的项目，项目过程中遇到哪些问题，是怎样解决的Linkedhashmap和hashmap的区别LinkedHashMap是继承于HashMap，是基于HashMap和双向链表来实现的；HashMap无序，LinkedHashMap有序，可分为插入顺序和访问顺序两种，可基于访问顺序实现缓存说一下java虚拟机垃圾回收机制对象回收算法包括引用计数法和可达性分析算法。引用计数法简单高效，唯一缺点是当两个对象互相引用时无法被回收。可达性分析算法是通过一系列gc root的对象作为起点，.
2020-09-09 16:39:18
704
原创 个人感悟1
人要有自制力现在对你有致命吸引力的东西，过了这个年龄段之后，你再想想可能一点兴趣都没有了。如果没有自制力，你会浪费足量的时间。没有足量的时间做应该做的事，也许你就会被同龄人超越变得不再优秀，当你踏入社会之后就会负重前行。人最好在当前年龄段做该做的事，甚至提前做好该做的事，才会有最大化收益。...
2020-06-22 14:29:40
101
原创 hashmap常见面试题
HashMap 和 Hashtable 的区别以及 HashMap 的 底层实现这个是问的频率比较多的线程是否安全： HashMap 是非线程安全的，HashTable 是线程安全的；HashTable 内部的方法基本都经过 synchronized 修饰。（如果你要保证线程安全的话就使用 ConcurrentHashMap 吧！）；效率： 因为线程安全的问题，HashMap 要...
2020-04-27 13:49:21
154
原创 Kafka高并发实现
Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。在读和写的过程中主要用到三个技术：1.页缓存技术linux操作系统本身有一层缓存，叫做 Page Cache，是在内存里的缓存，我们也可以称之为 OS Cache，意思就是操作系统自己管理的缓存。Kafka在写入磁盘文件的时候，可以直接写...
2020-04-26 11:20:49
1348
原创 coalesce 与 repartition的用法与区别
它们两个都是RDD的分区进行重新划分，repartition只是coalesce接口中shuffle为true的简易实现先看coalesce： /** * Return a new RDD that is reduced into `numPartitions` partitions. * * This results in a narrow dependency, e.g....
2020-04-24 11:55:12
476
原创 scala定时器
每间隔一秒输出一次import java.util.{Timer, TimerTask}timer.schedule(new TimerTask { override def run(): Unit = { System.out.println("hello") } },1000,1000)
2020-04-15 16:25:28
1205
原创 git下载安装，关联gitlab，以及常用命令
1.git下载地址非官方地址：添加链接描述官方地址：https://pc.qq.com/detail/13/detail_22693.html2.生成keygit bash：ssh-keygen -t rsa -C “[email protected]” ，直接Enter就行，然后会提示输入密码(可输可不输)说明：命令中的email，就是gitlab中的账号，需要保持一致...
2020-02-15 02:06:10
321
原创 hdfs 格式化
格式化命令hdfs namenode -format为什么要格式化？NameNode主要被用来管理整个分布式文件系统的命名空间(实际上就是目录和文件)的元数据信息，同时为了保证数据的可靠性，还加入了操作日志，所以，NameNode会持久化这些数据(保存到本地的文件系统中)。对于第一次使用HDFS，在启动NameNode时，需要先执行-format命令，然后才能正常启动NameNode节点的...
2020-01-16 16:39:33
920
原创 webpack将js打包后，js方法无法被html调用
直接定义function method（）打包后会找不到方法要将其定义为window.method=function（），method是你的方法名。
2019-11-22 12:17:13
2131
原创 mapPartitionsWithIndex RDD的高级算子
对RDD中的每个分区（带有下标）进行操作，下标用index来表示通过这个算子可以获取分区号 def mapPartitionsWithIndex[U](f: (Int, Iterator[T]) ⇒ Iterator[U]) f: (Int, Iterator[T]) ⇒ Iterator[U] 解释： 定义一个函数，对分区进行处理 f 接收两个参数，第一个参数 代表分区号。第二个代表...
2019-11-14 11:31:18
191
原创 Webpack简单打包流程 亲测好用
npm init`const path = require('path') let config = { // webpack会根据mode进行对Js打包，development压缩，production下面自动压缩，亲测没有问题 mode: 'production', entry: { main: [ // path.join(__dir...
2019-11-08 14:53:31
81
原创 scala 元组
scala 中的tuple ： 是不同类型值的集合scala> val t1 = Tuple3("Tom","Lily",1) t1: (String, String, Int) = (Tom,Lily,1)Tuple3 代表 Tuple中有三个元素遍历分为两步：1、使用 productIterator 生成一个迭代器2、遍历t1.productIterator.foreac...
2019-10-17 14:41:13
136
原创 scala定义可变函数参数
scala可变参数，类似于java中的可变参数，即 参数数量不固定。scala> def sum(args:Int*)= { | var result = 0 | for(s<-args) result +=s | result | } sum: (args: Int*)Int scala> sum(1,2,3,4) ...
2019-10-17 14:13:05
521
原创 java request请求多线程缓存
客户端request请求设置缓存可以提高效率 File httpCacheDirectory = null; try { httpCacheDirectory =File.createTempFile("okhttpCache",""); httpCacheDirectory.delete...
2019-10-15 10:22:16
382
原创 压缩多个文件夹
File sourceFile = new File(file); File[] files = sourceFile.listFiles(); for (int i = 0; i < files.length; i++) { /* 递归 */ String abb = files[i].getName();...
2019-10-08 09:02:52
115
原创 解决Failed to instantiate SLF4J LoggerFactory Reported exception
spark直接启动如果报错Failed to instantiate SLF4J LoggerFactoryReported exception:java.lang.NoClassDefFoundError: org/apache/log4j/Level at org.slf4j.LoggerFactory.bind(LoggerFactory.java:143) at org.slf4...
2019-09-16 17:01:44
2182
原创 maven生成java doc
项目目录下执行mvn javadoc:javadoc需在pom中加配置 <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-javadoc-plugin</artifactId> ...
2019-08-16 08:34:33
152
原创 RDD 宽依赖与窄依赖
RDD依赖关系与stage划分Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。窄依赖与宽依赖针对不同的转换函数，RDD之间的依赖关系分为窄依赖（narrow dependency）和宽依赖（wide dependency，也成shuffle dependency）。1.1 窄依赖窄依赖是指1个父RDD分区...
2019-08-14 18:39:02
1761
原创 maven 本地打包编译
有时候jar包通过maven下载不下来，可以先获取jar包，本地编译 mvn install:install-file -Dfile=C:\bob\lane_topology\scala\target\lane_topology_v1_scala_2.11-1.3.0.jar -DgroupId=com.here.hdlm.protobuf.schema -DartifactId=lane_t...
2019-07-30 19:42:51
1761
原创 maven 打jar包保留注释
mvn package需要在pom中添加以下依赖，jar包中才会保留注释 <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-source-plugin&l...
2019-07-16 16:19:45
5872
2
转载 tar 命令 个人收藏用
把常用的tar解压命令总结下，当作备忘：tar-c: 建立压缩档案-x：解压-t：查看内容-r：向压缩归档文件末尾追加文件-u：更新原压缩包中的文件这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。-z：有gzip属性的-j：有bz2属性的-Z：有compress属性的-v：显示所有过程-O：将文...
2019-07-11 15:48:24
70
原创 protobuf与json、字符串之间的互转
测试程序public static void main(String[] args) throws IOException { // PersonProtos.Person是protobuf生成的java类 PersonProtos.Person.Builder personBuilder = PersonProtos.Person.newBuilder(); // 定义一个相同结...
2019-06-27 09:01:02
2602
2
原创 ZipInputStream使用案例
public static byte[] unZip(byte[] data) throws IOException { byte[] b = null; try { ByteArrayInputStream bis = new ByteArrayInputStream(data); ZipInputStream zip = new ZipInput...
2019-06-23 10:44:06
589
原创 抽象类应用场景学习
1.程序中中的公用常量和公用方法，可以写在抽象类中，方便调用；2.对象的共有特征可以写为抽象类，以简洁开发；例如圆和矩形都要求面积，所以可以定义一个形状的抽象类，里面定义一个求面积的抽象方法或者实例方法。抽象类往往用来表征我们在对问题领域进行分析、设计中得出的抽象概念，是对一系列看上去不同，但是本质上相同的具体概念的抽象。抽象类符合设计模式中的开闭原则（OCP原则）；...
2019-01-01 14:18:07
967
原创 java基础复习（常量、变量）
常量字符串常量和字符常量的区别：单引号为字符常量，例‘a’，双引号为字符串常量，例“abc”。定义常量两种常见方式：接口、使用static final修饰。变量本质上是内存中的一小块区域，使用变量名来访问这块区域。因此变量需先声明，然后进行赋值使用。例 int i=100; float =12.3f;根据作用域可以分为局部变量（内部 变量）和成员变量（外部变量、类变量），成员变量作用于...
2018-11-24 08:30:41
184
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人