• 等级
  • 89827 访问
  • 176 原创
  • 144 转发
  • 22347 排名
  • 10 评论
  • 33 获赞

lambda

Optional<Long>time=deviceSearchResp.getBindCardInfoDoList().stream().map(bindCardInfoDo->LocalDateTime.parse(bindCardInfoDo.getCreatedAt(),FULL_FORMATTER).at...

2019-04-24 14:38:14

hbase预分区(可删除)

1.什么是预分区HBase表在刚刚被创建时,只有1个分区(region),当一个region过大(达到hbase.hregion.max.filesize属性中定义的阈值,默认10GB)时,表将会进行split,分裂为2个分区。表在进行split的时候,会耗费大量的资源,频繁的分区对HBase的性能有巨大的影响。HBase提供了预分区功能,即用户可以在创建表的时候对表按照一定的规则分区。2...

2019-03-04 15:16:58

guava基本工具(可删除)

一使用和避免null1.OptionalGuava用Optional表示可能为null的T类型引用。一个Optional实例可能包含非null的引用(我们称之为引用存在),也可能什么也不包括(称之为引用缺失)。它从不说包含的是null值,而是用存在或缺失来表示。但Optional从不会包含null值引用。使用Optional除了赋予null语义,增加了可读性,最大的优点在于它是一种傻瓜式的...

2019-02-21 18:24:38

【大数据】SparkSQL

一前言1.hive把sql转化为mapreduce缺点:底层是mapreduce,效率不高,后来做了改进,可以跑在tez,spark,mapreduce上面2.sharkhive跑在spark上面shark缺点:hivehql解析,逻辑执行计划生成依赖于hive的,仅仅把物理执行从mr改成spark。而且spark是基于线程的,所以会有线程安全问题。shark终止以后,产生了两...

2019-02-19 00:02:52

【尚学堂】Spark笔记(实时增删)

spark比mapreduce快100倍,即使降级到硬盘,也要快10倍。因为spark有高级DAG执行引擎,它支持循环数据流和基于内存的计算。它会把有向无环图进行切割。提供了超过80个算子操作,常用的也就20多个。它可以访问各种各样的数据源,比如hdfs,hbase等等。什么是spark开源的集群计算系统。sparkSQL和hive差不多sparkstreaming和storm...

2019-02-18 23:30:38

Void类(可以删除)

通过Void源码可知,Void不可以继承和实例化Void类是一个不可实例化的占位符类,如果方法返回值是Void类型,那么该方法只能返回null类型。publicfinalclassVoid{/***The{@codeClass}objectrepresentingthepseudo-typecorrespondingto*the...

2019-02-15 14:25:01

JAVA abstract-document

首先我们来看UML图什么时候使用abstract-document1.在运行中添加新的属性2.3.松耦合系统在分析代码前先看一些语法

2019-02-15 14:24:01

【大数据】Spark DAG

一什么是DAGDAG(DirectedAcyclicGraph)有向无环图。二sparkDAGspark中rdd经过若干次transform操作,由于transform操作是lazy的,因此,当rdd进行action操作时,rdd间的转换关系也会被提交上去,得到rdd内部的依赖关系,进而根据依赖,划分出不同的stage。DAG是有向无环图,一般用来描述任务之间的先后关系,spark中...

2019-02-14 14:19:58

【JAVA】JAVA回调

一般我们A调用B,可以有三种方式1.同步2.异步3.回调我们这里讲讲回调假设我们这里老师和学生,老师需要等学生回答完问题,那么就可以这样子:老师实现接口:publicinterfaceCallback{voidcallBack(intanswer);}老师:publicclassTeacherimplementsCallback{...

2019-02-12 22:47:58

Hive优化

一fetchtask开启fetchtask如果没有函数和排序就不会触发mapreduce把hive.fetch.task.conversion设置成more二本地模式大多数的HadoopJob是需要Hadoop提供的完整的可扩展性来处理大数据集的。不过,有时Hive的输入数据量是非常小的。在这种情况下,为查询触发执行任务时消耗可能会比实际job的执行时间要多的多。对于大多数这种情...

2019-02-12 17:31:00

ES

开源搜索引擎,采用JAVA编写,提供restfulapi,支持横向扩展和PB级搜索。场景:海量搜索,每天有海量日志,比如几百TB,可以用ES站内搜索引擎数据仓库,可以存储PB级别的结构化和非结构化数据ES版本1.x.2x5.x尽量选择最新的安装:json结构head插件安装,可以提供web界面ES集群安装索引:含有相同属性的文档集合,相当于sql中的一个数据库类型:...

2019-02-11 23:25:09

【大数据】hadoop之HDFS(可删除)

hadoop的功能和优势1.开源2.分布式存储3.分布式计算核心hdfs分布式文件系统mapreduce并行处理框架可以PB级数据处理。优势1.高扩展2.低成本3.成熟的生态圈hadoop生态系统和版本比如hive,降低hadoop门槛。hbase放弃事务特性。实时的。hdfs:block:所有文件切分成相同大小的块(默认64MB)namenode:存放文件...

2019-02-04 10:02:26

【大数据】Storm

课程目标:hbase存储模式hbase数据表解析hbase存储设计hbase数据存取解析一存储模式行式存储和列式存储以行位单位,底层每一行存储在一起。以列为单位,第一列存储完之后存第二列。行式存储:行式存储维护大量索引,随机读效率高。最大的特点对事务支持好。列式存储将每一列数据聚合在一起,利用列的相似性原理,便于压缩。查找不同列可以使用并行查询行式存储:表与表之间关联,且...

2019-01-28 23:11:22

JVM

6.1字节码是构成平台无关性的基石  java虚拟机不和包括java在内的任何语言绑定,它只与class文件这种特定的二进制文件锁关联.6.3class类文件的结构任何class文件都对应着唯一一个类或接口的定义信息,但是类或接口并不一定定义在文件里(也可以通过类加载器直接生成)Class文件是一组以8位字节为基础单位的二进制流,中间没有任何分隔符每个class文件头4个字节成为魔数,...

2019-01-25 19:15:25

List排序

publicstaticvoidmain(String[]args){List<Integer>numbers=newArrayList<>();numbers.add(0);numbers.add(3);numbers.add(2);numbers.add(1);System.out.pri...

2019-01-25 10:28:16

慕课网hive笔记(可删除)

hive是基于hadoop的HDFS之上的数据仓库,本质就是一个数据库数据仓库:hive不可更新。数据仓库要有数据源。ETL抽取,转换,装载hive中的数据其实就是hdfs中的文件。hive的元数据hive将元数据放在数据库中,默认值derby,我们一般改成mysql。hql的执行过程解析器:词法分析编译器:生成HQL的执行计划优化器:生成最佳执行计划web控制台只能查...

2019-01-24 23:45:17

【JAVA8】map操作

1.putIfAbsent//如果这个key不存在,就put进去importjava.util.HashMap;importjava.util.Map;/***@authorbincai,bincai@mobvoi.com*@dateOct08,2018*/publicclassRun{publicstaticvoidmain(St...

2019-01-24 17:13:52

java8教程

一接口的默认方法1.为什么要有默认方法以前创建了一个接口,并且已经被大量的类实现。如果需要再扩充这个接口的功能加新的方法,就会导致所有已经实现的子类需要重写这个方法。如果在接口中使用默认方法就不会有这个问题。2.需要采用default关键字interfaceFormula{doublecalculate(inta);defaultdoublesqrt...

2019-01-24 11:01:57

【Linux】服务管理

1系统运行级别1.1系统运行级别1.2查看和修改系统运行级别查看 runlevel修改 initX2服务管理

2019-01-21 11:52:07

【Linux】网络管理

一网络基础1TCP/IP四层模型应用层传输层网际互联层网络接口层我们知道OSI7层模型,但是它只是一个原型,实际是TCP/IP四层模型大致和OSI7层模型对应关系如下:ARP:把IP翻译成网卡地址,局域网里我们传递数据靠MAC地址而不是IP。交换机连接网卡的物理地址会记录到交换机里。跨网段或者公网就需要IP地址。arp-a可以查看与机器有联系的机器。2I...

2019-01-20 11:45:14

菜丸子

关注
  • 互联网·电子商务
  • 中国 北京 海淀区
奖章
  • 专栏达人
  • 持之以恒
  • 勤写标兵Lv1