12 xiao_jun_0820

尚未进行身份认证

要自己每天都开心,不要烦恼 忘掉压力,天天好心情

等级
TA的排名 635

Elasticsearch Suggester详解

转https://elasticsearch.cn/article/142现代的搜索引擎,一般会具备"SuggestAsYouType"功能,即在用户输入搜索的过程中,进行自动补全或者纠错。通过协助用户输入更精准的关键词,提高后续全文搜索阶段文档匹配的程度。例如在Google上输入部分关键词,甚至输入拼写错误的关键词时,它依然能够提示出用户想要输入的内容:...

2019-07-02 09:39:11

使用Apache commons-maths3-3.6.1.jar包进行简单的数据统计分析(java)

packagecom;importorg.apache.commons.lang.math.Range;importorg.apache.commons.lang3.StringUtils;importorg.apache.commons.math3.stat.StatUtils;importorg.apache.commons.math3.stat.descriptive....

2019-02-14 18:10:49

hive jdbc中通过HiveStatement.getQueryLog无法拉取到执行日志的问题分析与解决

问题描述公司内部查询服务将hive从1.1升级到2.3.3版本之后,通过HiveStatement.getQueryLog无法拉取到执行日志了,原来是可以拉取到类似控制台执行hive时候那样的日志,包括queryid,mapreduce个数等等信息。问题排查首先将测试环境的hiveserver2开启debug模式,远程debug端口默认是8000,这里我改成了8101,因为8000被其...

2018-11-20 19:15:38

自己动手实现一个简单的ORM框架

这里写自定义目录标题一个最简单的ORM总结下来就两部分:解析自定义注解,生成元数据信息生成一个动态代理最后,我们测试一下功能一个最简单的ORM总结下来就两部分:*根据entity上的自定义注解生成mapping元数据信息*生成mapper接口的动态代理,根据具体的方法,动态生成sql并执行sql,然后通过反射的方式映射到具体的实体对象上去解析自定义注解,生成元数据信息首先我们先定义...

2018-11-19 16:38:47

Exception Handling in Spark Data Frames

http://anishc.me/spark/exception-handling-spark-data-frames/ ExceptionHandlinginSparkDataFrames 7minutereadGeneralExceptionHandlingHandlingexceptionsinimperativeprogrammingine...

2018-11-01 14:34:57

通过spring提供的DeferredResult实现长轮询服务端推送消息

  DeferredResult字面意思就是推迟结果,是在servlet3.0以后引入了异步请求之后,spring封装了一下提供了相应的支持,也是一个很老的特性了。DeferredResult可以允许容器线程快速释放以便可以接受更多的请求提升吞吐量,让真正的业务逻辑在其他的工作线程中去完成。最近再看apollo配置中心的实现原理,apollo的发布配置推送变更消息就是用Deferred...

2018-10-07 11:28:59

springcloud 和apollo配置中心一起使用时踩到的一个坑

场景描述:今天收到线上一个服务的instancederegistered的告警邮件,在springbootadmin上确实那个instance不在线了。于是去服务器上jps看了一下,进程正常的,但是/health端点信息显示eureka为down。查看error.log,并没有错误日志,查看warn.log,发现里面有些许的警告日志如下:[2018-09-20T19:12:24.159...

2018-09-23 18:06:39

阿里重磅开源在线分析诊断工具Arthas(阿尔萨斯)

github地址:ArthasEnglishversiongoes here.Arthas 是Alibaba开源的Java诊断工具,深受开发者喜爱。当你遇到以下类似问题而束手无策时,Arthas可以帮助你解决:这个类从哪个jar包加载的?为什么会报各种类相关的Exception? 我改的代码为什么没有执行到?难道是我没commit?分支搞错了? 遇到问题无法...

2018-09-19 16:57:23

源码角度理解dubbo是如何创建一个具体的Protocol类的

首先基于dubbo的扩展机制,Protocol生成起始自适应的代理类Protocol$Adaptive(在com.alibaba.dubbo.common.extension.ExtensionLoader#createAdaptiveExtensionClass方法中生成的类字符串并编译成字节码加载的):packagecom.alibaba.dubbo.rpc;importcom.a...

2018-08-31 16:24:00

Spring Cloud中,Eureka常见问题总结

转自http://www.itmuch.com/spring-cloud-sum-eureka/SpringCloud中,Eureka常见问题总结。指定Eureka的Environment   1   eureka.environment:指定环境 参考文档:https://github.com/Netflix/eur...

2018-08-24 17:12:58

Spring Cloud Netflix Eureka - The Hidden Manual

https://blog.asarkar.org/technical/netflix-eureka/SpringCloudNetflixEureka-TheHiddenManual 10minutereadIntroductionIn2015-2016,weredesignedamonolithicapplicationintoMicroservi...

2018-08-24 15:56:14

dubbo中关于@reference注解无法配置MethodConfig的解决方法

本文针对目前为止最新的dubbo版本2.6.2中存在的问题,ReferenceConfig中有一个List<MethodConfig>methods属性,但是@Reference注解里面并没有可以配置这个属性的地方(听dubbo的committer说下个版本会修复),以前写过一篇设置timeout属性的文章,可以通过parameters曲线救国,但是有些属性是不管用的,比如本次要说的...

2018-08-06 13:51:01

最新的dubbo 2.6.2版本中@Service注解的parameters配置BUG和解决方案

在描述这个BUG之前,我想先说一个需求场景,假设我们有一个DemoService接口:publicinterfaceDemoService{StringsayHello(Stringname);StringsayHello2(Stringname);}我们想单独设置这两个方法的超时时间,该如何设置呢?当然我们可以在consumer端通过@Refer...

2018-07-26 15:07:09

通过一个springcloud stream kafka metrics的BUG的解决来了解kafka binder的初始化流程。

首先,从官方文档上摘录了两段文档说明:34.MetricsEmitterSpringCloudStreamprovidesamodulecalledspring-cloud-stream-metricsthatcanbeusedtoemitanyavailablemetricfromSpringBootmetricsendpointtoaname...

2018-05-04 16:15:49

从源码中理解spring cloud kafka stream 是如何分配kafka的partitions给不同的instance的

首先,kafka的topic是由多个partitions物理分隔的。假设topic:testIn,有8个partitions其次,我们编写的springcloudkafkastream程序,打成jar包后,可以部署多个不同的实例instances,假设部署了3个instance。那么这3个instance是怎么分配这8个partitions的呢?在spring.cloud.stream.ka...

2018-05-02 15:09:31

干货:流计算框架 Flink 与 Storm 的性能对比

https://cloud.tencent.com/developer/article/1007474本文主要介绍当前业界广泛使用的两个分布式实时计算框架flink与storm的性能对比,希望对你有所帮助。1.背景ApacheFlink和ApacheStorm是当前业界广泛使用的两个分布式实时计算框架。其中 ApacheStorm(以下简称“Storm”)在美团点评实时计算业务中已有...

2018-04-05 11:38:58

flink中对于window和watermark的一些理解

首先window的时间范围是一个自然时间范围,比如你定义了一个TumblingEventTimeWindows.of(Time.seconds(3))窗口,那么会生成类似如下的窗口(左闭右开):[2018-03-0303:30:00,2018-03-0303:30:03)[2018-03-0303:30:03,2018-03-0303:30:06)...[2018-03-0303:30:...

2018-04-02 11:43:30

Spring Cloud中Hystrix 线程隔离导致ThreadLocal数据丢失

http://www.spring4all.com/article/948在SpringCloud中我们用Hystrix来实现断路器,Zuul中默认是用信号量(Hystrix默认是线程)来进行隔离的,我们可以通过配置使用线程方式隔离。在使用线程隔离的时候,有个问题是必须要解决的,那就是在某些业务场景下通过ThreadLocal来在线程里传递数据,用信号量是没问题的,从请求进来,但后续的流程都是通...

2018-03-27 09:26:53

kafka-streams faq

https://docs.confluent.io/current/streams/faq.htmlFAQAttentionWearelookingforfeedbackonAPIs,operators,documentation,andreallyanythingthatwillmaketheenduserexperiencebetter.Feelfre...

2018-03-25 22:06:11

基于JAVA的模块化开发框架JarsLink

阿里妹导读:JarsLink是一个基于JAVA的模块化开发框架,它提供在运行时动态加载模块(JAR包)、卸载模块和模块间调用的API,它能够帮助你进行模块化开发,也能帮助你的系统在运行时动态添加新功能,减少编译、打包和部署带来的发布耗时,同时它也是阿里巴巴的开源项目之一,目前在蚂蚁金服微贷事业群各团队广泛使用。开源地址:https://github.com/alibaba/jarslink需求背景...

2018-03-22 16:54:08

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!