8 Yaphets丶混世大魔王

尚未进行身份认证

暂无相关描述

等级
TA的排名 6w+

Kafka原理详解

简介kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。kafka对外使用topic的概念,生产者往topic里写消息,消费者从读消息。为了做到水平扩展,一个topic实际是由多个partition组成的,遇到瓶颈时,可以通过增加partition的数量来进行横...

2019-09-09 15:15:10

Hive配置属性

Hive配置属性原文路径:https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties#ConfigurationProperties-HiveConfigurationPropertiesHive配置属性 查询和DDL执行 SerDes和I/O. 串行解串器 I/O ...

2019-09-05 14:50:30

Spark2.3.2 Configuration 参数配置

SPARKConfiguration参数配置表,有能力的请直接看原文http://spark.apache.org/docs/2.3.2/configuration.htmlSparkStreaming名称 默认 含义 spark.streaming.backpressure.enabled false 启用或禁用SparkStreaming的内部背...

2019-09-04 16:24:59

java获取资源文件(Java中获取资源文件的url)

java开发中,常见的resource文件有:.xml,.properties,.txt文件等,后台开发中经常用到读取资源文件,处理业务逻辑,然后返回结果。获取资源文件的方法说明getResource()返回:URLgetResourceAsStream()返回的是inputstream,需要定义一个InputStream接收...

2019-07-08 20:22:21

springboot全局日期格式化

springboot全局日期格式化有两种方式springboot全局日期格式化有两种方式方式一是配置参数参数配置的方式就是在json序列化的时候,当字段为日期类型的时候的format类型,就相当于在所有日期字段上加了一个注解@JsonFormat(shape=JsonFormat.Shape.STRING,pat...

2019-06-06 10:44:43

spark读取hive

spark读取hive是最简单的,构造一个sparksession对象,直接执行SQL就得读取,然后直接insert就能写入。因为spark客户端配置了你的hive数据库的信息,所以能够直接读取hive数据库。spark=SparkSession.builder().appName("JavaSparkSQLb...

2019-02-26 10:55:37

spark操作MySQL

spark读取MySQL就是通过最简单的jdbc实现读取和写入的,操作起来十分方便。但是在实际的项目当中,如果你有频繁的操作MySQL的话,建议最好加上连接池,不然速度会很慢。这里只是spark链接MySQL的入门,没有加上连接池的代码,后续会更新。MysqlAdapter类如下:packagecom.test.mysql;importorg.apache.commons...

2019-02-26 10:33:59

Spark中转换jsonString数据为Dataset

Spark中想把读取到的JsonString类型数据转化为DataSet只需要通过一步就行SparkSessionspark=SparkSession.builder().getOrCreate();JavaRDD<String>stringJavaRDD=json类型的string;Dataset<Row>row=spark.sqlContext...

2019-02-18 20:41:30

Streaming 读取Kafka 实现断点续读功能

Streaming读取Kafka实现断点续读功能老版本的kafka比较麻烦,streaming提供的只有checkpoint方法实现断点续读功能,但是当修改程序之后就没法平滑部署。因为checkpoint存储的是整个streaming启动类的序列化文件,当文件改动之后没法反序列化了。所以需要更好的方法来实现读取Kafka实现断点续读功能。本文主要讲解的就是通过zookeeper保...

2019-02-18 18:27:31

Hive字符串常用函数

Hive内部提供了很多操作字符串的相关函数,本文将对其中部分常用的函数进行介绍。下表为Hive内置的字符串函数,具体的用法可以参见本文的下半部分。返回类型 函数名 描述 int ascii(stringstr) 返回str第一个字符串的数值 string base64(binarybin) 将二进制参数转换为base64字符串 strin...

2019-01-12 14:39:03

Spark读取HDFS或者AFS等文件系统文件

            Spark读取HDFS或者AFS等文件系统文件Spark读取文件有很多方法,我这里主要介绍一下读取非结构化的文件的两种方式,针对多文件读取,单文件读取也是一样的。方案一:spark的textFile方法,也是最简单的方案,支持通配符,简单好用StringafsFilePath="afs://afs.yun.com/app/file/*...

2018-12-30 23:49:21

Spark的Dataframe(Dataset)转Json

            Spark的Dataframe(Dataset)转Json字符串 Spark的Dataframe(Dataset)转Json,网上很多都说的太麻烦了,让你先转换成collect,然后按照不同的filed字段去转义。完全不用那么麻烦原理就是先把Dataset<row>就是Dataframe对象(带schema的数据类型)转换成...

2018-12-29 20:35:46

spark程序依赖guava冲突报错

在练习spark读取本地文件的过程中,遇到了这样的问题:Exceptioninthread"main"java.lang.IllegalAccessError:triedtoaccessmethodcom.google.common.base.Stopwatch.<init>()Vfromclassorg.apache.hadoop.mapred.Fil...

2018-12-17 20:07:45

Docker后台进程参数-------更改Docker运行根目录的方法

Docker后台进程参数-------更改Docker运行根目录的方法参数 介绍 --api-enable-cors=false 远程API调用。 -b,--bridge="" 桥接一个系统上的网桥设备到Docker容器里,当使用none可以停用容器里的网络 --bip="" 使用CIDR地址来设定网络桥的IP。此参数和-b不能一起使用...

2018-12-06 15:39:22

Calendar和GregorianCalendar日历类

Calendar和GregorianCalendar日历类Calendar类是一个抽象类,它为特定瞬间与一组诸如YEAR、MONTH、DAY_OF_MONTH、HOUR等日历字段之间的转换提供了一些方法,并为操作日历字段(例如获得下星期的日期)提供了一些方法。瞬间可用毫秒值来表示,它是距历元(即格林威治标准时间1970年1月1日的00:00:00.000,格里高利历)的...

2018-10-16 15:26:00

Spark运行架构

1、 Spark运行架构1.1 术语定义lApplication:SparkApplication的概念和HadoopMapReduce中的类似,指的是用户编写的Spark应用程序,包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码;lDriver:Spark中的Driver即运行上述Application的main()函数并且创建SparkCon...

2018-10-09 19:20:20

锁的等级:方法锁、对象锁、类锁

锁的等级:方法锁、对象锁、类锁。对象锁(方法锁)是用来控制实例方法之间的同步,类锁是用来控制静态方法(或静态变量互斥体)之间的同步//类锁:形式1publicstaticsynchronizedvoidMethod1()//类锁:形式2publicvoidMethod2(){   synchronized(Test.class)   {  ...

2018-09-12 13:18:38

java 生产者消费者模式

生产者消费者模式。publicclassProduct{ publicintproduct=0;      publicfinalstaticintMAX=999;      publicfinalstaticintMIN=0;      publicsynchronizedvoidproduce(){   ...

2018-09-12 13:18:30

ThreadLocal的设计理念与作用

ThreadLocal的设计理念与作用。在JDK的早期版本中,提供了一种解决多线程并发问题的方案:java.lang.ThreadLocal类.ThreadLocal类在维护变量时,实际使用了当前线程(Thread)中的一个叫做ThreadLocalMap的独立副本,每个线程可以独立修改属于自己的副本而不会互相影响,从而隔离了线程和线程,避免了线程访问实例变量发生冲突的问题.Thread...

2018-09-12 13:18:22

ThreadPool用法与优势

ThreadPool用法与优势。(1).引言合理利用线程池能够带来三个好处。第一:降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造成的消耗。第二:提高响应速度。当任务到达时,任务可以不需要等到线程创建就能立即执行。第三:提高线程的可管理性。线程是稀缺资源,如果无限制的创建,不仅会消耗系统资源,还会降低系统的稳定性,使用线程池可以进行统一的分配,调优和监控。但是要做到合理的利用线...

2018-09-12 13:18:13

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。