4 不清不慎

尚未进行身份认证

我要认证

热爱编程,热爱生活。

等级
TA的排名 9k+

ElasticSearch使用Java API进行索引文档的操作

ElasticSearch版本:7.6.2首先构建maven项目,导入依赖:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0

2020-07-03 00:03:09

美团,滴滴,蘑菇街Java大数据面经分享

大概在三月份开始面了几家互联网公司,主要方向是java后端和大数据开发,最近整理学习资料,所以分享一下美团,滴滴,蘑菇街等公司的面经。美团一面聊你最熟悉的项目和技术。项目中为什么要使用spark。spark怎么划分stage,宽窄依赖,聊源码spark提交一个作业的执行流程(单机模式)spark driver节点,worker以及master节点遇到故障如何解决。spark ...

2019-07-21 22:53:29

以太坊智能合约编译,部署以及打包调用【Mac系统】

本文主要讲解如何进行智能合约的编译,部署以及打包,首先,读者需要会编写智能合约,了解solidity语言以及以太币。我这里环境是Mac系统,linux系统命令也是类似。1.安装geth客户端以及操作brew tap ethereum/ethereumbrew install ethereum默认安装目录:/usr/local/Cellar/ethereum/版本在安装成功之后进入...

2020-05-07 22:26:31

truffle init问题解决

首先Truffle是针对基于以太坊的Solidity语言的一套开发框架。在Mac OS执行truffle init报错:Starting unbox...=================✔ Preparing to download box✖ DownloadingUnbox failed!✖ DownloadingUnbox failed!RequestError: Err...

2020-04-30 20:09:39

SpringCloud Hystrix断路器实战

SpringCloud Hystrix实现断路器,线程隔离等一系列服务保护功能,它是基于Netflix开源框架Hystrix实现的,该框架的目标是用于通过控制远程系统,服务和第三方节点,从而对延迟和故障提供更强大的容错能力。它具备服务降低,熔断,线程和信号隔离,请求缓存,请求合并以及服务监控等强大功能。该篇文章主要介绍主要快速使用Hystrix断路器。首先我们来看一下系统架构:其中:H...

2020-03-29 16:27:55

Luasql mysql安装错误解决

首先需要安装LuaRocks:wget http://luarocks.org/releases/luarocks-2.2.1.tar.gztar zxpf luarocks-2.2.1.tar.gzcd luarocks-2.2.1./configure; sudo make bootstrapsudo luarocks install luasocket接着安装luasql-my...

2020-03-07 21:03:56

【JVM实战】GC回收器详解

在Java虚拟机中,GC回收器不仅仅只有一种,在哪一块内存区域以及场景使用什么垃圾回收器,对于我们编写的程序的性能都有着至关重要的影响,因为,如果我们熟悉每一个GC回收器的运行机制就可以给我们的程序的性能带来很大的提升,本篇文章中,我们来探究一下每一种GC回收器的结构原理。首先,在JVM中,总共有以下几种GC回收器:新生代串行回收器老年代串行回收器新生代ParNew回收器新生代Para...

2019-08-11 12:58:02

Flink启动报错could not be determined automatically

今天发布Flink应用,报如下错误:The return type of function 'main(RyeCollectorLauncher.java:77)' could not be determined automatically, due to type erasure. You can give type information hints by using the returns...

2019-07-29 20:02:02

【JVM实战】如何防止OOM内存溢出?

Java开发者们最为头疼的问题就是线上常常会抛出OOM异常,有人说,这肯定是内存不够用了啊,扩大内存容量不就可以了嘛,但是内存是需要代价的,不能无限的扩展,虽然JVM为我们管理内存,保证了内存的合理回收,但是如果我们对它的底层了解的够透彻,编写出更加健壮的程序,就可以降低成本,充分利用资源,减少线上故障带来的损失。在学习如何防止OOM之前,我们首先要知道什么情况下会发生OOM?1.堆溢出堆是...

2019-07-27 19:06:13

Flink Kafka connector详解

在Flink中提供了特殊的Connectors从kafka中读写数据,它基于Kafka Consumer API以及Producer API封装了自己的一套API来连接kafka,即可读取kafka中的数据流,也可以对接数据流到kafka中,基于kafka的partition机制,实现了并行化数据切片。下面让我们来看看它的主要API以及使用。Flink kafka consumer使用kafk...

2019-07-20 22:29:17

Hive权威指南学习笔记

原文链接:Hive权威指南学习笔记

2019-07-20 14:33:20

Docker Dockerfile详解

在前面的一篇文章中,我们介绍了如何构建镜像,其中使用Dockerfile文件是最为常用的一种方式,在本篇文章中我们将详细介绍Dockerfile构建镜像的过程以及其命令参数等等。首先我们来看看Dockerfile构建镜像的过程:从基础镜像运行一个容器执行一条指令对容器做出修改执行类似docker commit的操作,提交一个新的镜像层再基于刚提交的镜像运行一个容器执行Dockerfi...

2019-07-07 22:46:10

Docker镜像创建,拉取以及推送

本篇文章主要讲述如何创建镜像,拉取镜像以及推送镜像到自己的仓库中。创建镜像创建镜像有两种方式:docker commit 构建容器docker build 使用Dockerfile文件来构建docker commit方式来构建容器命令格式如下:例如使用下面命令就可以构建一个镜像:#构建一个镜像docker commit -a 'ljcan' -m 'nginx' commi...

2019-07-07 13:00:34

实现LRU Cache(java版)

LRU算法,也叫最近最少使用算法,我们可以使用该算法来实现cache机制,简单地说就是缓存一定量的数据,当超过设定阀值的时候就把一些过期的数据删除掉,本篇文章我们来看看如何实现LRU Cache,下面我们使用两种方式来实现。基于LinkedHashMap在java的集合类中有LinkedHashMap类,当参数accessOrder为true的时候,就会按照访问顺序排序,最后访问的放在最前面,...

2019-07-07 09:57:36

Linux系统常用压测工具和性能分析工具

本篇文章介绍几款linux系统性能压测以及分析工具,在实际开发环境中,我们会经常使用到它们对我们的系统进行性能分析。当我们需要判断linux系统的性能时,常常会观察几个常用的指标:平均负载、CPU使用率,IO负载等等。那么当我们需要查看系统平均负载的时候可以使用uptime命令来查看,它代表系统1分钟内、5分钟内、15分钟内的平均负载:[root@izuf64g0bbe3dug64wpdck...

2019-06-29 14:53:03

Spark源码剖析之数据通信模块解析

Spark是一个分布式计算框架,当 我们提交一个任务,会划分为多个子任务分发到集群的各个节点进行计算,这里思考一个问题,Spark是如何进行消息的传递,如何将任务分发到各个节点,并且如何将计算结果汇总起来的呢?实际上,Spark内部使用Akka进行消息的传递,心跳报告等,使用Netty提供RPC服务进行数据的上传与下载功能。这点与Flink类似。块管理器BlockManager是Spark存储...

2019-06-17 10:24:43

Spark源码解读之Shuffle计算引擎剖析

Shuffle是Spark计算引擎的关键所在,是必须经历的一个阶段,在前面的文章中,我们剖析了Shuffle的原理以及Map阶段结果的输出与Reduce阶段结果如何读取。该篇文章是对前面两篇文章【Spark源码解读之Shuffle原理剖析与源码分析】【Spark存储机制源码剖析】细节的深入探究。了解Shuffle原理的读者都知道,整个Shuffle过程被划分为map和reduce阶段,在S...

2019-06-16 20:08:21

Flink Savepoint简单介绍

一、什么是savepoint?savepoint是通过checkpoint机制为streaming job创建的一致性快照,比如数据源offset,状态等。需要我们手动去触发,因此,需要和checkpoint进行区分。checkpoint主要用于自动故障恢复,由Flink自动创建、拥有和发布,不需要用户去交互,当作业呗cancel的时候,checkpoint会被删除,除非设置了External...

2019-06-10 17:00:02

浅谈Kafka选举机制

Kafka是一个高性能,高容错,多副本,可复制的分布式消息系统。在整个系统中,涉及到多处选举机制,被不少人搞混,这里总结一下,本篇文章大概会从三个方面来讲解。控制器(Broker)选主分区多副本选主消费者选主控制器(Broker)选举所谓控制器就是一个Borker,在一个kafka集群中,有多个broker节点,但是它们之间需要选举出一个leader,其他的broker充当follo...

2019-06-09 00:10:46

Spark容错机制剖析

在一个分布式系统中,非常重要的一点就是容错性,Spark也不例外,当它机器发生故障的时候,可以很轻松的应对。本篇容错机制的剖析主要针对Standalone模式进行分析。阅读本篇文章之前,你可以查看之前的【Spark源码解读之Master剖析】以及【Spark源码解读之Worker剖析】的文章,该篇是基于之前文章的补充。在一个Spark集群中,有各种角色,Executor、Worker、Mast...

2019-06-06 09:43:34

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。