flume在windows10环境上的使用一、场景问题描述【主题】使用flume监听网络的socket端口的消息变化，将flume的监控结果打印到控制台二、解决flume在windows10上运行的问题：1.windowsPowerShell需要使用管理员权限【这个可能不是必须的，只是我在测试的过程使用过而已】https://jingyan.baidu.com/article/09e...

JS云:1.说一下hbase的读写流程，借助于zookeeper实现2.hdfs的读写流程3.flink的原理流程，整个提交执行的流程是什么样的，其中的task和DAG图构建过程，并做了哪些优化？4.kafka数据多副本备份过程节点挂了，怎么保证可靠性。挂了的节点上对应的leader和follower怎么响应；5.kafka中的优化有哪些6.大数据的集群参与的优化有哪些？比如数据倾斜...

错误1.flink常见错误flink错误提示：missingparametertypeError:(24,15)referencetoStreamExecutionEnvironmentisambiguous;itisimportedtwiceinthesamescopebyimportorg.apache.flink.streaming.api.scal...

排序算法之：归并排序归并排序的思想：归并的思想是分治法的思想，首先对已知数组自上而下递归地分割程序两份，直达最后不能再分为止，然后对已有的子数组(两个部分)比较大小后自下而上合并为一个数组，然后将合并的数组拷贝到原来的数组即可；空间复杂度为：O(n)，是因为合并的过程中需要一个辅助的数组；时间复杂度为：O(nlogn)，是一种稳定的排序算法；packagesuanfa.mysort;...

原文地址：https://www.toutiao.com/a6677190794085925389/十余年BAT架构经验倾囊相授推荐阅读1、拜托！面试请不要再问我SpringCloud底层原理！2、微服务注册中心如何承载大型系统的千万级访问？3、「性能优化之道」每秒上万并发下的SpringCloud参数优化实战4、「“剁手党”狂欢的背后」微服务架构如何保障99.99%的高可用？5、兄弟，用...

Java中synchronized到底锁住的是什么？使用环境：多线程java程序中。作用：在多线程的环境下，控制synchronized代码段不被多个线程同时执行。synchronized既可以加在一段代码上，也可以加在方法上。使用：synchronized锁住的是括号里的对象，而不是代码。对于非static的synchronized方法，锁的就是对象本身也就是this。通过以下三个案例...

多线程死锁问题：一、什么是死锁和原因？死锁的四个条件：（互斥、不可剥夺、请求持有、循环等待）最根本原因是：线程在获得一个锁L1的情况下再去申请另外一个锁L2，也就是锁L1想要包含了锁L2，也就是说在获得了锁L1，并且没有释放锁L1的情况下，又去申请获得锁L2，这个是产生死锁的最根本原因**。另一个原因是**默认的锁申请操作是阻塞的。二、手写一个java多线程的死锁案例？案例1：锁定类变量...

1.Storm与Flink怎样写出符合并发的程序？静态与动态，不变缓存的尽量加载一次；2.封装与模块化思想？类与方法？示例，一次编写，到处运行（过滤港口和锚地代码）；3.对象序列化？storm与flink中的区别，各个-组件之间的序列化问题；【各个算子是否需要序列化，怎样避免序列化】4.内存中怎样减少FullGC,对象复用；5.Flink中初始化几次，开启并发的情况呢，放在A:prepa...

Flink从checkpoint中恢复时候出现如下错误CouldnotinitializekeyedstatebackendMap(5/5)Timestamp:2019-03-26,13:41:53Location:hd6:41889java.lang.IllegalStateException:Couldnotinitializekeyedstatebac...

转载：http://bigdata.51cto.com/art/201702/531036.htmFlink常见的关键技术与特性详解Flink项目是大数据处理领域最近冉冉升起的一颗新星，其不同于其他大数据项目的诸多特性吸引了越来越多的人关注Flink项目。本文将深入分析Flink一些关键的技术与特性，希望能够帮助读者对Fli...

转载知乎：《为什么有人的人生跟开了挂一样》知乎超10000赞文章！为什么有人的人生跟开了挂一样？Aug.25灼见（微信号：penetratingview)作者丨另维来源丨另维和Yellow01活到这个年纪，最该自己做决定的事都被爸妈决定了发小离婚了，27岁。我们陪他撸串喝酒。他衬衫不合身，大肚便便，头皮屑若隐若现，已经有了油腻中年的征兆。不仔细看，真看不出他是个五官精致，瘦下...

postgresql数据库表的备份与还原备份pg_dump-Upostgres-tshipping_shiptype_to_country-f./shipping_shiptype_to_country.sqlfutures_data恢复psql-Upostgres-dfutures_data_online-f./shipping_shiptype_to_co...

flink从检查点中恢复的问题从检查点恢复的时候，命令./flinkrun-shdfs://192.xxx.xxx.xx:port/data1/flink/checkpoint1-ccom.mymain.MyTestMain报出以下错误：java.util.concurrent.CompletionException:org.apache.flink.util.FlinkExc...

检查点checkpoint失败问题总结(2)：问题描述：检查点刚开始是可以的做checkpoint的，后期越来越不能够做checkpoint的情况总结：一.反压问题1.什么是反压(如下图1所示)？图2-1部分算子反压表现（webui）2.flink中反压机制是干什么的？​flink中的反压机制是flink中由于个别算子接收receive数据的速度远大于处理完成数据的速度...

算法：不同税率计算的个税问题1.一直银行利率，低于1000元，不用交税，超过的部分按照如下规则缴费.例如1750元工资需要缴纳个人所得税是：taxes=1000*0%+500*1%+250*2%；或者若为2750元工资时候，taxes=1000*0%+500*1%+500*2%+500*3%+250*3%；输入：工资额输出：需要缴...

在网上查看flink日志查看方式，竟然查询不到，因此写下这篇文章，给有此困惑的小盆友们，也给自己做个总结！前情提要：我是通过flinkwebui提交的flink任务的，因此通过flinkui查看自身控制台打印输出的。第一步：打开flink的Dashboard看到TaskManager的控制面板之后，点击右侧的具体job所在的taskManager主机进入如下界面，点迹Stdou...

相关参考资料：https://blog.csdn.net/wangweislk/article/details/79081769【好文欣赏】在安装和flink相关包的机器上执行如下命令(此处已经配置好flink环境变量)：1.使用yarn-session启动相应的容器资源，初始化一个flink集群HADOOP_HOME=/hadoop/hadoop-2.7.2/HADOOP_C...

超找最新的n个记录问题描述：/**表示一个用户行为，包含type，timestamp，info信息*/interfaceAction{publicStringgetType();publiclonggetTimestamp();publicStringgetInfo();}/**表示一个用户的行为历史*/interfaceActionHi...

对树的考察在于使用递归方法（使用递归的方式）packagesuanfa;/**求一个二叉树中两个节点的最近公共父节点*/publicclassLowestCommonAncestor{ publicstaticvoidmain(String[]args){ //TODOAuto-generatedmethodstub// TreeNoderoot...

二分查找java代码实现：packagesuanfa;publicclassSearch{ publicstaticvoidmain(String[]args){ int[]arr={1,2,3,4,5,6}; intkey=6; intindex=binarySearch(arr,0,arr....