3 小坦克007

尚未进行身份认证

java大数据开发、web软件开发与应用、地理信息系统(GIS方向)开发。 1大数据

等级
博文 181
排名 3w+

flume在win10环境上的使用(入门:监控网络端口)

flume在windows10环境上的使用一、场景问题描述【主题】使用flume监听网络的socket端口的消息变化,将flume的监控结果打印到控制台二、解决flume在windows10上运行的问题:1.windowsPowerShell需要使用管理员权限【这个可能不是必须的,只是我在测试的过程使用过而已】https://jingyan.baidu.com/article/09e...

2019-06-14 13:48:18

常见bigdata面试问题总结

JS云:1.说一下hbase的读写流程,借助于zookeeper实现2.hdfs的读写流程3.flink的原理流程,整个提交执行的流程是什么样的,其中的task和DAG图构建过程,并做了哪些优化?4.kafka数据多副本备份过程节点挂了,怎么保证可靠性。挂了的节点上对应的leader和follower怎么响应;5.kafka中的优化有哪些6.大数据的集群参与的优化有哪些?比如数据倾斜...

2019-06-06 15:54:54

flink运行过程中常见错误总结

错误1.flink常见错误flink错误提示:missingparametertypeError:(24,15)referencetoStreamExecutionEnvironmentisambiguous;itisimportedtwiceinthesamescopebyimportorg.apache.flink.streaming.api.scal...

2019-05-10 09:29:02

排序算法之:归并排序

排序算法之:归并排序归并排序的思想:归并的思想是分治法的思想,首先对已知数组自上而下递归地分割程序两份,直达最后不能再分为止,然后对已有的子数组(两个部分)比较大小后自下而上合并为一个数组,然后将合并的数组拷贝到原来的数组即可;空间复杂度为:O(n),是因为合并的过程中需要一个辅助的数组;时间复杂度为:O(nlogn),是一种稳定的排序算法;packagesuanfa.mysort;...

2019-04-23 13:26:07

十余年BAT架构经验倾囊相授

原文地址:https://www.toutiao.com/a6677190794085925389/十余年BAT架构经验倾囊相授推荐阅读1、拜托!面试请不要再问我SpringCloud底层原理!2、微服务注册中心如何承载大型系统的千万级访问?3、「性能优化之道」每秒上万并发下的SpringCloud参数优化实战4、「“剁手党”狂欢的背后」微服务架构如何保障99.99%的高可用?5、兄弟,用...

2019-04-22 15:10:44

Java中 synchronized到底锁住的是什么?

Java中synchronized到底锁住的是什么?使用环境:多线程java程序中。作用:在多线程的环境下,控制synchronized代码段不被多个线程同时执行。synchronized既可以加在一段代码上,也可以加在方法上。使用:synchronized锁住的是括号里的对象,而不是代码。对于非static的synchronized方法,锁的就是对象本身也就是this。通过以下三个案例...

2019-04-20 17:59:18

多线程死锁问题 +案例

多线程死锁问题:一、什么是死锁和原因?死锁的四个条件:(互斥、不可剥夺、请求持有、循环等待)最根本原因是:线程在获得一个锁L1的情况下再去申请另外一个锁L2,也就是锁L1想要包含了锁L2,也就是说在获得了锁L1,并且没有释放锁L1的情况下,又去申请获得锁L2,这个是产生死锁的最根本原因**。另一个原因是**默认的锁申请操作是阻塞的。二、手写一个java多线程的死锁案例?案例1:锁定类变量...

2019-04-03 16:37:02

大数据疑问总结

1.Storm与Flink怎样写出符合并发的程序?静态与动态,不变缓存的尽量加载一次;2.封装与模块化思想?类与方法?示例,一次编写,到处运行(过滤港口和锚地代码);3.对象序列化?storm与flink中的区别,各个-组件之间的序列化问题;【各个算子是否需要序列化,怎样避免序列化】4.内存中怎样减少FullGC,对象复用;5.Flink中初始化几次,开启并发的情况呢,放在A:prepa...

2019-04-01 17:34:46

Could not initialize keyed state backend--Flink恢复失败

Flink从checkpoint中恢复时候出现如下错误CouldnotinitializekeyedstatebackendMap(5/5)Timestamp:2019-03-26,13:41:53Location:hd6:41889java.lang.IllegalStateException:Couldnotinitializekeyedstatebac...

2019-03-26 14:43:56

Flink常见的关键技术与特性详解

转载:http://bigdata.51cto.com/art/201702/531036.htmFlink常见的关键技术与特性详解Flink项目是大数据处理领域最近冉冉升起的一颗新星,其不同于其他大数据项目的诸多特性吸引了越来越多的人关注Flink项目。本文将深入分析Flink一些关键的技术与特性,希望能够帮助读者对Fli...

2019-03-26 00:22:50

为什么有人的人生跟开了挂一样?

转载知乎:《为什么有人的人生跟开了挂一样》知乎超10000赞文章!为什么有人的人生跟开了挂一样?Aug.25灼见(微信号:penetratingview)作者丨另维来源丨另维和Yellow01活到这个年纪,最该自己做决定的事都被爸妈决定了发小离婚了,27岁。我们陪他撸串喝酒。他衬衫不合身,大肚便便,头皮屑若隐若现,已经有了油腻中年的征兆。不仔细看,真看不出他是个五官精致,瘦下...

2019-03-25 00:17:37

postgresql数据库表的备份与还原

postgresql数据库表的备份与还原备份pg_dump-Upostgres-tshipping_shiptype_to_country-f./shipping_shiptype_to_country.sqlfutures_data恢复psql-Upostgres-dfutures_data_online-f./shipping_shiptype_to_co...

2019-03-22 11:29:54

Flink检查点失败问题-汇总

flink从检查点中恢复的问题从检查点恢复的时候,命令./flinkrun-shdfs://192.xxx.xxx.xx:port/data1/flink/checkpoint1-ccom.mymain.MyTestMain报出以下错误:java.util.concurrent.CompletionException:org.apache.flink.util.FlinkExc...

2019-03-21 23:49:41

flink检查点checkpoint失败问题总结-2

检查点checkpoint失败问题总结(2):问题描述:检查点刚开始是可以的做checkpoint的,后期越来越不能够做checkpoint的情况总结:一.反压问题1.什么是反压(如下图1所示)?图2-1部分算子反压表现(webui)2.flink中反压机制是干什么的?​flink中的反压机制是flink中由于个别算子接收receive数据的速度远大于处理完成数据的速度...

2019-03-21 15:08:53

算法:不同税率计算的个税问题

算法:不同税率计算的个税问题1.一直银行利率,低于1000元,不用交税,超过的部分按照如下规则缴费.例如1750元工资需要缴纳个人所得税是:taxes=1000*0%+500*1%+250*2%;或者若为2750元工资时候,taxes=1000*0%+500*1%+500*2%+500*3%+250*3%;输入:工资额输出:需要缴...

2019-03-09 00:29:25

Flink日志输出查看方式

在网上查看flink日志查看方式,竟然查询不到,因此写下这篇文章,给有此困惑的小盆友们,也给自己做个总结!前情提要:我是通过flinkwebui提交的flink任务的,因此通过flinkui查看自身控制台打印输出的。第一步:打开flink的Dashboard看到TaskManager的控制面板之后,点击右侧的具体job所在的taskManager主机进入如下界面,点迹Stdou...

2019-03-08 10:28:52

flink-on-yarn解读

相关参考资料:https://blog.csdn.net/wangweislk/article/details/79081769【好文欣赏】在安装和flink相关包的机器上执行如下命令(此处已经配置好flink环境变量):1.使用yarn-session启动相应的容器资源,初始化一个flink集群HADOOP_HOME=/hadoop/hadoop-2.7.2/HADOOP_C...

2019-03-04 15:57:06

超找最新的n个记录

超找最新的n个记录问题描述:/**表示一个用户行为,包含type,timestamp,info信息*/interfaceAction{publicStringgetType();publiclonggetTimestamp();publicStringgetInfo();}/**表示一个用户的行为历史*/interfaceActionHi...

2019-02-21 17:31:28

求一个二叉树中两个节点的最近公共父节点

对树的考察在于使用递归方法(使用递归的方式)packagesuanfa;/**求一个二叉树中两个节点的最近公共父节点*/publicclassLowestCommonAncestor{ publicstaticvoidmain(String[]args){ //TODOAuto-generatedmethodstub// TreeNoderoot...

2019-02-19 23:53:59

在循环左移后的有序且不重复的数组中搜索目标值x

二分查找java代码实现:packagesuanfa;publicclassSearch{ publicstaticvoidmain(String[]args){ int[]arr={1,2,3,4,5,6}; intkey=6; intindex=binarySearch(arr,0,arr....

2019-02-18 00:15:46
奖章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周上午根据用户上周的博文发布情况由系统自动颁发。