- 博客(22)
- 资源 (7)
- 收藏
- 关注
RSS订阅
原创 社区发现理解
最近一段时间工作上使用到了社区发现，虽然只是小小一部分。但是呢，工作量还是不小的，在网上找了很多的资料，也做了很多的研究性工作，看了非常多的paper，也做了一点小改进。那么来开始总结一下社区划分究竟怎么做，目前有哪些主流的做法以及他们的原理是什么。图，这里不是指图片的图喔。而是一个名字叫图的数据结构类型，由点和边构成。在我们的世界中怎么理解它呢？比如我们定义了北京，上海，广州为点，那么北京上海广...
2018-07-02 09:58:21
8951
原创 Guava学习计划-Semaphore—RateLimiter-漏桶算法-令牌桶算法
java中对于生产者消费者模型，或者小米手机营销 1分钟卖多少台手机等都存在限流的思想在里面。关于限流 目前存在两大类，从线程个数（jdk1.5 Semaphore）和RateLimiter速率(guava)Semaphore：从线程个数限流RateLimiter：从速率限流 目前常见的算法是漏桶算法和令牌算法令牌桶算法。相比漏桶算法而言区别在于，令牌桶是会去匀速的生成令牌，拿到令牌
2018-01-21 01:24:06
6524
1
原创 liunx 修改服务器时间的两种方式
在从事大数据时候，集群时间不一致会导致不少问题。eg:心跳异常，进程通信异常等让集群之间等时间保持一致显得十分重要。以下主要以两种方式第一种方式：手动方式去修改时间。1.将系统时间设定成下午5点55分55秒的命令命令 ： "date -s 17:55:55"#date -s “12:12:23 2006-10-10″ //这样可以设置全部时间2. 将当前时间和日
2017-12-13 21:59:09
29548
原创 搭建Nexus Repository 3.6.0-02和配置apache-maven-3.5.2和本地的local Repository以及项目的pom.xml(IDEA 打包等)
本文主要目的: 为了让Maven管理项目的所有依赖包,Release和Snapshot .本文涉及如下三点：1.windows 下搭建Nexus Repository 3.6.0-02(linux下思路一样)2.配置apache-maven-3.5.2中的settings和本地的local Repository3.配置项目的pom.xml (介绍maven的插件,IDEA 打包[依赖包和项目包]等)希望对大家有所帮助！！
2017-11-14 17:01:17
3182
原创 hadoop2.7.2本地调试MR IDEA本地调试mapreduce
1.hadoop官网上下载hadoop2.7.2.tar.gz 并且配置成环境变量开始之前必须配置本地的hadoop环境HADOOP_HOME=H:\source\hadoop\hadoop-2.7.2PATH中增加 %HADOOP_HOME%\bin配置完成后，通过cmd 执行hadoop 如果能够成功证明环境配置完成。2.下载windows-hadoop-bin的压缩包(windows下运...
2017-11-04 18:31:09
1972
原创 VMware下的Linux扩展磁盘空间 （CentOS6.5为例-扩展系统盘）
1.首先通过vmware的方式增加系统盘2.采用 df -h 和fdisk -l 观察实际容量和可用的容量 【试验中从25G-->40G 】 图二和图三之差差不多15G图一 是系统的实际使用容量图二 是通过vmware增加空间后的容量图三 是未通过vmware增加空间前的容量。3.对新增加的磁盘空间进行分区 格式化等【由于前面是sda1 sda2】 则进下来是...
2018-12-20 23:24:13
1530
原创 JVM 内存泄露
内存泄漏是指无用对象（不再使用的对象）持续占有内存或无用对象的内存得不到及时释放，从而造成内存空间的浪费称为内存泄漏。 长生命周期的对象持有短生命周期对象的引用就很可能发生内存泄漏，尽管短生命周期对象已经不再需要，但是因为长生命周期持有它的引用而导致不能被回收，这就是Java中内存泄漏的发生场景。发生内存泄漏的原因以及处理方式：1、静态集合类引起内存泄漏 像HashMap、Ve...
2018-08-29 15:53:25
689
原创 Library sources not found for scala-library in Intellij
intellij idea查看scala sdk的源代码2016年7月31日作者：robin暂无评论下载源代码点击这个链接：http://www.scala-lang.org/download/all.html；选择需要的版本点击打开；在新打开的网页下方找到源代码下载项：在intellij idea设置指向源代码在intellij中打开File –> Project Structure，快捷...
2018-04-10 22:42:40
3104
1
原创 Java 9 入门--模块化
模块化 模块化是java 9最大的一个特性，它使得代码组织上更安全，因为它可以指定哪些部分可以暴露，哪些部分隐藏。本质上讲，模块的概念，其实就是package外再裹一层，也就是说，用模块来管理各个package，通过声明某个package暴露，不声明默认就是隐藏。本文将通过Java10 IDEA的方式 初体验模块化。1.建立项目All 在项目的基础上 新建模块One two。【新建的A...
2018-04-07 21:05:10
340
原创 关于java 8 9 10 新特性简单体验
java 8现在已经成为互联网java 工程师的标配了，关于里面的lambda表达式 stream API 确实极大的简化了java 的开发效率和性能。java 9 主要时模块化变成，集合默认提供的工厂方法等。java 10 引入了很多安全模块，开发而言，对类型推导引入了var的关键字。package matrixOnto.Ja_9_10_va;/** * java 8 支持default...
2018-03-29 11:05:47
5528
原创 elasticsearch核心知识--34.搜索引擎_分析器的内部组成到底是什么，以及内置分词器的介绍
一、概念介绍 全文搜索引擎会用某种算法对要建索引的文档进行分析， 从文档中提取出若干Token(词元)， 这些算法称为Tokenizer(分词器)， 这些Token会被进一步处理， 进行normalization时态转化,转成小写等， 这些处理算法被称为Token Filter(词元处理器), 被处理后的结果被称为Term(词)， 文档中包含了几个这样的Term被称为Frequency(词频...
2018-03-27 11:16:03
420
原创 elasticsearch核心知识--18.图解Elasticsearch内部如何基于_version进行乐观锁并发控制
【该文章使用于从pimary shard和replica之间 备份的过程中 发生数据冲突的个人理解。如果发现理解有误，即使指正啊】关于ES底层如何采用乐观锁进行并发控制的图解。涉及的场景是 如果shard中的数据被多次更改，由于es底层对shard和replica之间的数据同步都是采用的多线程异步的方式，可能对于在primary中后修改的线程 在shard和Replica之间进行同步时会提前到达R...
2018-03-22 15:13:24
239
原创 Java8学习计划--关于多核多线程并发编程-Java8-CompletableFuture 4的介绍
零零散散接近一个月的课余时间，学完Java8InAction和Guava，感触很多，收获也很大，特别开心，接下来会利用空余时间学习Spark，希望自己在技术上慢慢积累，越来越从容。对于Java8 最大的改变是lambda表达式 Collecotors CompletableFutures等 Funtional Programing.的思想真的很强大下面介绍Java8 CompletableFutu...
2018-03-09 17:24:33
428
原创 Java8学习计划--关于多核多线程并发编程-自定义Future并且增加监听器的实现
零零散散接近一个月的课余时间，学完Java8InAction和Guava，感触很多，收获也很大，特别开心，接下来会利用空余时间学习Spark，希望自己在技术上慢慢积累，越来越从容。对于Java8 最大的改变是lambda表达式 Collecotors CompletableFutures等 Funtional Programing.的思想真的很强大自定义Future的实现增加监听器 ,写完后更加理...
2018-03-09 17:16:34
574
原创 Java8学习计划--关于多核多线程并发编程-自定义Future的实现
零零散散接近一个月的课余时间，学完Java8InAction和Guava，感触很多，收获也很大，特别开心，接下来会利用空余时间学习Spark，希望自己在技术上慢慢积累，越来越从容。对于Java8 最大的改变是lambda表达式 Collecotors CompletableFutures等 Funtional Programing.的思想真的很强大自定义Future的实现package com.c...
2018-03-09 17:14:23
533
原创 java8学习计划-ForkJoin测试
ForkJoin的概念的理解，已经使用具体的测试来实现 写ForkJoin，但是Java8 里面的 Stream的多核计算 采用Spliterator 这个也是对ForkJoin的封装。1. Fork/Join框架的引入Fork/Join框架是Java7提供了的一个用于并行执行任务的框架， 是一个把大任务分割成若干个小任务，最终汇总每个小任务结果后得到大任务结果的框架我们再通过Fork和Join这...
2018-03-06 10:43:10
249
原创 Guava学习计划-Monitor
最近工作太忙了，一个礼拜没有更新CDSN了，深深的负罪感。先来一波线程锁把这篇文章从三个不同的方式去 实现生产者和消费者模型。第一种方式：synchronized+wait()+notifyAll()第二种方式：ReentrantLock（java1.7）第三方式去：Guava的monitorpackage concurrent;import com.google.c
2018-01-03 23:22:04
482
原创 Google Guava学习计划第一章Guava Utilities—StopWatch和ServerLoader
写文章之前，先给大家分享今天刚买的一个玩具，科大讯飞的阿尔法蛋，哈哈，真的很不错。今天介绍的是StopWatch和ServerLoader的简单用法。StopWatch: 在程序中我们总会需要log某个程序的执行时间，可以采用stopwatch，它底层代码对时间进行一系列转化，配合log4j2很好用。ServerLoader：从1.6引入，在java1.9 会推荐模块化编程，会特别有用
2017-12-14 22:03:03
1408
原创 IDEA 插件activate-power-mode和Grep Console的安装使用
activate-power-mode：是IDEA 炫酷插件，在敲代码时能出现彩色的泡泡，如下图可以直接在IDEA-plugins 在线安装，或者在http://plugins.jetbrains.com/ 官网下载离线的jar，离线安装插件IDEA 可以设置相应的设置Grep Console：是在IDEA的log的不同的级别，可以设置不同的颜
2017-12-11 22:44:24
2196
原创 Google Guava学习计划第一章Guava Utilities—Joiner and Splitter
关于Google Guava在从多线程ListenableFuture 开始对其充满好感。Java代码写久了，总想着怎么去优雅和简洁，自己也接触过一段时间的scala，函数式风格确实让我十分喜欢，但是工作大部分还是Java。所以考虑通过google guava和Java1.8(stream,Function),1.9新特性从实用性和优雅上可以满足下自己。 关于Maven和nexus 搭建 可以参考我的另外一篇 http://blog.csdn.net/mengxpFighting/article/det
2017-12-10 11:48:31
501
原创 liunx下 采用shell实现彩色进度条
直接上截图和脚本，觉得好用的点个赞哈哈#！/bin/bashfunction bar(){ i=0 str="" index=0 arr=('|' '\\' '-' '/') while [ $i -le 100 ] do let index=i%4# printf "[\033[1;47m%-10
2017-11-23 23:30:10
308
原创 Windows下安装elasticSearch5.6.3和head插件
windows下安装elasticsearch和head供简单的开发测试。
2017-11-06 21:28:16
951
nodepad 解压可用直接用绿色版
2018-03-19
Java8集合 CompletableFuture lambda表达式 新的TimeAPI 和ForkJoin Demo包
2018-03-19
Google Protocol Buffer的2.5.jar和 proto.exe 和IDEA的Proto插件
2017-12-15
zookeeper的图形化界面，通过图形化操作zookeeper的文件目录
2017-12-15
hadoop本地调试MR
2017-11-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人