8 Yaphets丶混世大魔王

尚未进行身份认证

暂无相关描述

等级
博文 60
排名 6w+

springboot全局日期格式化

springboot全局日期格式化有两种方式springboot全局日期格式化有两种方式方式一是配置参数参数配置的方式就是在json序列化的时候,当字段为日期类型的时候的format类型,就相当于在所有日期字段上加了一个注解@JsonFormat(shape=JsonFormat.Shape.STRING,pat...

2019-06-06 10:44:43

spark读取hive

spark读取hive是最简单的,构造一个sparksession对象,直接执行SQL就得读取,然后直接insert就能写入。因为spark客户端配置了你的hive数据库的信息,所以能够直接读取hive数据库。spark=SparkSession.builder().appName("JavaSparkSQLb...

2019-02-26 10:55:37

spark操作MySQL

spark读取MySQL就是通过最简单的jdbc实现读取和写入的,操作起来十分方便。但是在实际的项目当中,如果你有频繁的操作MySQL的话,建议最好加上连接池,不然速度会很慢。这里只是spark链接MySQL的入门,没有加上连接池的代码,后续会更新。MysqlAdapter类如下:packagecom.test.mysql;importorg.apache.commons...

2019-02-26 10:33:59

Spark中转换jsonString数据为Dataset

Spark中想把读取到的JsonString类型数据转化为DataSet只需要通过一步就行SparkSessionspark=SparkSession.builder().getOrCreate();JavaRDD<String>stringJavaRDD=json类型的string;Dataset<Row>row=spark.sqlContext...

2019-02-18 20:41:30

SparkStream保存offset信息到zookeeper实现可重复启动

这里我们解释如何配置SparkStreaming以从Kafka接收数据。有两种方法-使用Receivers和Kafka的高级API的旧方法,以及不使用Receiver的新方法(在Spark1.3中引入)。它们具有不同的编程模型,性能特征和语义保证,因此请继续阅读以获取更多详细信息。从当前版本的Spark开始,这两种方法都被认为是稳定的API。方法1:Receiver-basedApp...

2019-02-18 18:27:31

Hive字符串常用函数

Hive内部提供了很多操作字符串的相关函数,本文将对其中部分常用的函数进行介绍。下表为Hive内置的字符串函数,具体的用法可以参见本文的下半部分。返回类型 函数名 描述 int ascii(stringstr) 返回str第一个字符串的数值 string base64(binarybin) 将二进制参数转换为base64字符串 strin...

2019-01-12 14:39:03

Spark读取HDFS或者AFS等文件系统文件

            Spark读取HDFS或者AFS等文件系统文件Spark读取文件有很多方法,我这里主要介绍一下读取非结构化的文件的两种方式,针对多文件读取,单文件读取也是一样的。方案一:spark的textFile方法,也是最简单的方案,支持通配符,简单好用StringafsFilePath="afs://afs.yun.com/app/file/*...

2018-12-30 23:49:21

Spark的Dataframe(Dataset)转Json

            Spark的Dataframe(Dataset)转Json字符串 Spark的Dataframe(Dataset)转Json,网上很多都说的太麻烦了,让你先转换成collect,然后按照不同的filed字段去转义。完全不用那么麻烦原理就是先把Dataset<row>就是Dataframe对象(带schema的数据类型)转换成...

2018-12-29 20:35:46

spark程序依赖guava冲突报错

在练习spark读取本地文件的过程中,遇到了这样的问题:Exceptioninthread"main"java.lang.IllegalAccessError:triedtoaccessmethodcom.google.common.base.Stopwatch.<init>()Vfromclassorg.apache.hadoop.mapred.Fil...

2018-12-17 20:07:45

Docker后台进程参数-------更改Docker运行根目录的方法

Docker后台进程参数-------更改Docker运行根目录的方法参数 介绍 --api-enable-cors=false 远程API调用。 -b,--bridge="" 桥接一个系统上的网桥设备到Docker容器里,当使用none可以停用容器里的网络 --bip="" 使用CIDR地址来设定网络桥的IP。此参数和-b不能一起使用...

2018-12-06 15:39:22

Calendar和GregorianCalendar日历类

Calendar和GregorianCalendar日历类Calendar类是一个抽象类,它为特定瞬间与一组诸如YEAR、MONTH、DAY_OF_MONTH、HOUR等日历字段之间的转换提供了一些方法,并为操作日历字段(例如获得下星期的日期)提供了一些方法。瞬间可用毫秒值来表示,它是距历元(即格林威治标准时间1970年1月1日的00:00:00.000,格里高利历)的...

2018-10-16 15:26:00

Spark运行架构

1、 Spark运行架构1.1 术语定义lApplication:SparkApplication的概念和HadoopMapReduce中的类似,指的是用户编写的Spark应用程序,包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码;lDriver:Spark中的Driver即运行上述Application的main()函数并且创建SparkCon...

2018-10-09 19:20:20

锁的等级:方法锁、对象锁、类锁

锁的等级:方法锁、对象锁、类锁。对象锁(方法锁)是用来控制实例方法之间的同步,类锁是用来控制静态方法(或静态变量互斥体)之间的同步//类锁:形式1publicstaticsynchronizedvoidMethod1()//类锁:形式2publicvoidMethod2(){   synchronized(Test.class)   {  ...

2018-09-12 13:18:38

java 生产者消费者模式

生产者消费者模式。publicclassProduct{ publicintproduct=0;      publicfinalstaticintMAX=999;      publicfinalstaticintMIN=0;      publicsynchronizedvoidproduce(){   ...

2018-09-12 13:18:30

ThreadLocal的设计理念与作用

ThreadLocal的设计理念与作用。在JDK的早期版本中,提供了一种解决多线程并发问题的方案:java.lang.ThreadLocal类.ThreadLocal类在维护变量时,实际使用了当前线程(Thread)中的一个叫做ThreadLocalMap的独立副本,每个线程可以独立修改属于自己的副本而不会互相影响,从而隔离了线程和线程,避免了线程访问实例变量发生冲突的问题.Thread...

2018-09-12 13:18:22

ThreadPool用法与优势

ThreadPool用法与优势。(1).引言合理利用线程池能够带来三个好处。第一:降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造成的消耗。第二:提高响应速度。当任务到达时,任务可以不需要等到线程创建就能立即执行。第三:提高线程的可管理性。线程是稀缺资源,如果无限制的创建,不仅会消耗系统资源,还会降低系统的稳定性,使用线程池可以进行统一的分配,调优和监控。但是要做到合理的利用线...

2018-09-12 13:18:13

Concurrent包里的其他东西:ArrayBlockingQueue、CountDownLatch等等

Concurrent包里的其他东西:ArrayBlockingQueue、CountDownLatch等等。java.util.concurrent包分成了三个部分,分别是java.util.concurrent、java.util.concurrent.atomic和java.util.concurrent.lock。内容涵盖了并发集合类、线程池机制、同步互斥机制、线程安全的变量更新工具类、...

2018-09-12 13:18:06

spring-data-redis increment方法

spring-data-redisincrement方法主要是实现整数类型的自增的,可以通过该函数自己封装incr和decr方法。但是在使用如下方法获取自增的值得时候会报错ValueOperations<String,Object>valueOper=redisTemplate.opsForValue();valueOper.increment(key,1);O...

2018-09-12 13:17:57

Spring的注入方式--构造方法--解决需要在构造方法里面去初始化全局变量

构造方法注入publicclassUserServiceimplementsIUserService{privateIUserDaouserDao;publicUserService(IUserDaouserDao){this.userDao=userDao;}}先看一段代码,下面的代码能运行成功吗?@...

2018-09-12 13:17:42

wait()和sleep()的区别

wait()和sleep()的区别。①这两个方法来自不同的类分别是,sleep来自Thread类,和wait来自Object类。sleep是Thread的静态类方法,谁调用的谁去睡觉,即使在a线程里调用b的sleep方法,实际上还是a去睡觉,要让b线程睡觉要在b的代码中调用sleep。②锁:最主要是sleep方法没有释放锁,而wait方法释放了锁,使得其他线程可以使用同步控制块或...

2018-09-11 19:14:55
奖章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周上午根据用户上周的博文发布情况由系统自动颁发。