9 迷路剑客

尚未进行身份认证

天下熙熙皆为利来,天下攘攘皆为利往。

等级
TA的排名 1w+

浅析背压(Back Pressure)机制及其在 Spark & Flink中的实现

转载声明本文大量内容系转载自以下文章,有删改,并参考其他文档资料加入了一些内容:浅析背压(Back Pressure)机制及其在 Spark & Flink中的实现作者:丰巢数据团队出处: Flink转载仅为方便学习查看,一切权利属于原作者,本人只是做了整理和排版,如果带来不便请联系我删除。摘要Back Pressure是流处理系统中,非常经典而常见的问题,它是让流系统能...

2019-12-04 23:59:10

解决、定位性能问题以及性能优化

转载声明本文大量内容系转载自以下文章,有删改,并参考其他文档资料加入了一些内容:90%的人会遇到性能问题,如何用1行代码快速定位?作者:齐光出处:THU数据派转载仅为方便学习查看,一切权利属于原作者,本人只是做了整理和排版,如果带来不便请联系我删除。摘要性能问题和Bug不同,后者的分析和解决思路更清晰,很多时候从应用日志(文中的应用指分布式服务下的单个节点)即可直接找到问题根源,...

2019-12-04 12:26:52

Guava-RateLimiter

转载声明本文大量内容系转载自以下文章,有删改,并参考其他文档资料加入了一些内容:使用Guava RateLimiter限流以及源码解析作者:人在码途转载仅为方便学习查看,一切权利属于原作者,本人只是做了整理和排版,如果带来不便请联系我删除。1 前言在开发高并发系统时有三把利器用来保护系统:缓存、降级和限流缓存缓存的目的是提升系统访问速度和增大系统处理容量。降级降级是当服务...

2019-11-21 13:44:53

Postman-好文推荐

Postman-好文推荐理论四种常见的 POST 提交数据方式postman中 form-data、x-www-form-urlencoded、raw、binary的区别使用Postman使用详解

2019-11-19 15:52:25

Elasticsearch-RestHighLevelClient的使用

Elasticsearch-RestHighLevelClient的使用1 概述RestHighLevelClient设计在之前的Rest Client(现在称为Java Low Level REST Client)之上,主要为了替换之前的TransportClient。相较于TransportClient,RestHighLevelClient最优之处在于可以兼容当前版本及以后版本的ES ...

2019-11-07 14:29:04

Mac-Safari不能访问某些网页,重启后又恢复问题的解决

Mac-Safari不能访问某些网页,重启后又恢复问题的解决问题描述我自己是在使用Safari访问blog.csdn.net的时候经常会发生进度条不动,下方内容页面无内容显示也不报错,用不变化的状态,每次都需要重启safari就好了。但是同样的地址,复制到Chrome里就能正常访问。解决清理csdn的缓存即可解决该问题。点击左上Safari菜单,选择偏好设置点击隐私->管理网...

2019-11-06 14:43:22

Elasticsearch学习-Rollover Index

Elasticsearch学习-Rollover Index背景最早项目中没有Index滚动功能,随着数据增多Index变得巨大后效率急剧降低。后来加了逻辑,每个月滚动一次Index。但是这样还是不能应对每个Index差异化的数据增加速度。再后来就加了滚动判断逻辑,数据量或数据行数达到阈值就滚动到下一个Index,而且我们去掉了影响性能的TTL机制,而是采用按配置来删以天为基础单位、及滚动...

2019-11-05 13:24:45

Jackson线程安全问题

Jackson线程安全问题参考文章How do I correctly reuse Jackson ObjectMapper?How correctly and thread safe reuse Jackson ObjectReader?Should I declare Jackson’s ObjectMapper as a static field?Why are static v...

2019-11-05 12:12:05

Java学习-Java到底是值传递还是引用传递?

Java学习-Java到底是值传递还是引用传递?转载声明本文大量内容系转载自以下文章,有删改,并参考其他文档资料加入了一些内容:Java 到底是值传递还是引用传递?作者:Hollis转载仅为方便学习查看,一切权利属于原作者,本人只是做了整理和排版,如果带来不便请联系我删除。1 常见错误认识错误理解一值传递和引用传递,区分的条件是传递的内容,如果是个值,就是值传递。如果是个引...

2019-10-30 17:26:49

Hive学习3-UDF

Hive学习3-UDF1 UDF1.1 概述可参考:HivePluginsHive中有三种UDF: UDF(最常使用的)、UDAF(即用户定义聚集函数,user-defined aggregate function)以及UDTF(用户定义表生成函数,user-defined table-generating function)。它们所接受的输入和产生的输出的数据行的数量不同。Hiv...

2019-10-29 13:40:52

Hive学习2-HiveQL

Hive学习2-HiveQL系列文章目录Hive学习1-概念Hive学习2-HiveQLHive学习3-UDF摘要请参考Hive-LanguageManualHive基于标准SQL还实现了不少扩展,所以称为HiveQL,是一种SQL方言。本文介绍DDL DML DQL。1 DDL1.1 概述可参考Hive LanguageManual DDLHive DDL包括以下:...

2019-10-29 13:25:31

区块链,屌丝逆袭的最后机会

区块链,屌丝逆袭的最后机会转载声明本文大量内容系转载自以下文章,有删改,并参考其他文档资料加入了一些内容:区块链,屌丝逆袭的最后机会作者:小管转载仅为方便学习查看,一切权利属于原作者,本人只是做了整理和排版,如果带来不便请联系我删除。摘要区块链,屌丝逆袭的最后机会!!! 区块链,2019年的高频词。 在网络上已经热门了很久。 尤其是在西方国家, 缔造了一个又一个财富神话, 一个又...

2019-10-29 11:18:07

区块链-好文推荐

区块链-好文推荐区块链基本概念“区块链”到底是什么?一幅漫画让你秒懂!有哪些投资机会?昨天晚上被新闻刷屏了的区块链,它到底是个啥以下转自经济日报【科普:关于区块链,你知道多少?】转自人民日报#人话版区块链知识点#区块链与投资冷眼看区块链涨停潮:还有投资机会?谁在滥竽充数?...

2019-10-29 10:03:54

软件测试-好文推荐

测试-好文推荐1 基础理论2 性能测试系统吞吐量(TPS)、用户并发量、性能测试概念和公式关于性能测试中“并发”的解释

2019-10-28 23:24:32

Flink学习5-使用rowtime且分窗,Connector读取Kafka写入MySQL例子

Flink系列5-使用rowtime且分窗,Connector读取Kafka写入MySQL例子系列文章目录Flink系列1-基础概念Flink系列2-安装和启动Flink系列3-API介绍Flink系列4-流式SQLFlink系列5-使用rowtime且分窗,Connector读取Kafka写入MySQL例子摘要本文本来应该写在Flink学习3-API介绍的Connector章...

2019-10-25 18:08:13

Flink学习5-常见问题

Flink学习5-常见问题1 启动报错ClassCastException: cannot assign instance使用bin/flink run -m yarn-cluster ...方式提交flink作业时,报错如下:Caused by: java.lang.ClassCastException: cannot assign instance of org.apache.comm...

2019-10-24 10:50:35

Can't connect to SOCKS proxy:Connection refused

启动含有连接数据库的java-web程序时报错如下:com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failureCan't connect to SOCKS proxy:Connection refused经查,是因为开了代理导致,关闭后即可恢复正常。...

2019-10-21 17:00:57

学习经验-学习方法论

学习经验-学习方法论转载声明本文系转载自以下两篇文章:学习从来不是一件简单地事情作者: 网易-范欣欣转载仅为方便学习查看,一切权利属于原作者,本人只是做了整理和排版,如果带来不便请联系我删除。摘要之所以忽然提笔,是因为这段时间正好在业余时间系统地学习Spark,整个学习思路让我想起了大学期间学习《模拟电子电路》这门课的一些方法,个人觉得可以作为一个学习模板来和大家一起交流分享(本...

2019-09-29 11:09:00

Flink学习4-流式SQL

Flink学习4-流式SQL摘要最近需要做流式数仓,所以调研就要Flink流式SQL。初期选定袋鼠云做的flinkStreamSQL。本文会记录一下重要的文章。1 flinkStreamSQL1.1 flinkStreamSQL解决的问题原生FlinkSQL没有实现对数据来源、数据目的地的SQL化,必须要写代码。这个就很坑了,一般来说,SQL面向数据分析人员,如果要写代码无疑提高了门槛...

2019-09-20 11:03:45

Java-SPI

Java-SPI1 基本概念1.1 SPI是什么?SPI,即Service Provider Interface,是JDK内置的一种服务发现机制,是一套用来被第三方实现或者扩展的API,它可以用来启用框架扩展或替换组件。1.2 SPI本质JAVA SPI = 基于接口的编程+策略模式+配置文件的动态加载机制SPI思想其实和Callback差不多,Callback的思想是调用API时添加...

2019-09-19 17:15:28

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 新人勋章
    新人勋章
    用户发布第一条Blink获赞超过3个即可获得
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。