qq_20146211的博客

原创 分布式系统 时间同步问题

在重新启动hadoop之后，发现hbase在查询数据的时候，无法查询，究其原因是因为在查询数据是，是通过各个子节点来查询的。但由于各个子节点时间不同步问题，所以会造成查询报异常由此，需要进行时间同步，同步的是时间点以Master服务器为标准，Slave节点首先要查看时间服务是否启动以下操作都在Slave机器上操作Service ntpdate status如果已启动则设置关闭:se...

原创 SparkStream实践 ,Partition打印length时的误区

val stream = KafkaUtils.createDirectStream[String, String](ssc, PreferConsistent, Subscribe[String, String](topic, kafkaParam))stream.foreachRDD(rdd => { rdd.foreachPartition(partitionOfRecords...

原创 JAVA动态代理 内存溢出的 原因

本人在开发一个项目过程中，由于后期并发量的问题，发生内存溢出情况，定位问题在于SpringAOP配置，引发的至今，查找了众多资料来探讨一下为什么会引发内存溢出首先动态代理市面上存在两种类型，一种是基于JDK的动态代理此代理 不会引了内存溢出。另一种是基于cglib的动态代码，此代理在设置用户缓存为true时不会产生内存溢出，设置为false时，是会引发内存溢出的来看图...

原创 垃圾收集器

前言：垃圾收集方法，一有标记清除法和复制算法两种标记清除法，对待回收的对象进行一次性标记一起回收，缺点是会留下琳琳散散的碎片复制算法:对堆内存分两块，第一块用于生成实例，当他内存快用完的时候，另一块复制粘贴第一块内存中还活着的对象。最后把第一块清空。克服了第一块碎片问题，但复制粘贴带来了额外的开销标记整理法：一般用于老年代的算法，标记与标记清除法一样，把活下来的整理到一块，然后剩余的都...

原创 MAVEN 实践 探讨====一个真实的故事

1、新建Nexus私人服务器。这个不多说了，网上很多2、配置本地maven setting.xml 这个网上也很多，不过这里也花了一点时间。来说说经历吧1）、若需要从私人服务器上下载文件可以配置。在<profiles></profiles>下面，添加<profile><id>nexus</id><reposito...

原创 SPARK RDD倒底是一个什么东西

原创 HADOOP 日志聚集和ResourceManager日志

Application在yarn上跑时  会分成ResourceMangager日志和 NodeManger(Container)日志在yarn上跑，在启动yarn或者hadoop后不要删除日志文件，否则日志无法写入日志文件在没有设置日志聚集的时候ResourceManger日志在Master机子上，文件为yarn-{User}-resourcemanager-Master.log在sl...

转载 android studio Instant Run 问题

有的真机在android studio 编译运行apk的时候会出现Error while executing: am startservice com.hikchina.police/com.android.tools.fd.runtime.InstantRunServiceStarting service: Intent { act=android.intent.action.MAIN

转载 NIO流程思考---理解流程

NIO是极其重要的东西，值得去深入理解