- 博客(23)
- 收藏
- 关注
RSS订阅原创 TopK问题--MapReduce处理
原始数据分为8个block存储，847 MB数据格式：每个数字是[0,1亿）区域内的随机数(存储的byte长度也不一样，比如：随机数1只用一个byte存储字符1 ; 随机数200 则需要3个字符存储)，之间用空格分开。InputFormat设置根据数据格式设计分割方式：根据cpu最多并行12线程，应该分割为12个split，开启12个mapTask同时读数据。每条record之...
2019-12-23 21:59:06
158
原创 MapReduce的5个流程之InputFormat
MapReduce的5个流程[input阶段]获取输入数据进行分片作为map的输入[map阶段]过程对某种输入格式的一条记录解析成一条或多条记录[shffle阶段]对中间数据的控制，作为reduce的输入[reduce阶段]对相同key的数据进行合并[output阶段]按照格式输出到指定目录抽象类InputFormat整个类结构：InputFormat作为一个抽象类，定义...
2019-12-23 17:49:02
309
原创 hadoop linux集群设置，和windows远程调用集群
hadoop linux集群设置详细步骤：参考文章1.安装jdk1.8以上。设置环境变量。2.安装hadoop，设置环境变量。3.修改配置文件。环境安装好之后可以登录网站查看：集群情况：http://192.168.37.207:9870/dfshealth.html#tab-overviewyarn节点情况：http://192.168.37.207:8088/clust...
2019-12-15 17:59:47
312
原创 问题：快速产生一亿随机数据，筛选1亿随机数最大的100个数
单个线程产生数据数据格式，每个数字8BYTE，换行符\r\n 2BYTE File file = new File("test.txt"); FileWriter fileWriter = new FileWriter(file, false); int i=1; Random random = new Random(); ...
2019-12-11 15:36:00
967
原创 如何从一亿个数内得到最大的100个数，比较方案的时间消耗
实验材料：文件（内部为1亿个数字每个数字一行），如图系统如图：计算时间接口：public interface Runtime { default void RunT() throws Exception { Instant start = Instant.now(); this.run(); Instant end = Insta...
2019-12-10 19:54:06
389
原创 Reserach Introduction 1
1.如何快速读取大文件java处理大文件，一般用BufferedReader,BufferedInputStream这类带缓冲的Io类，不过如果文件超大的话，更快的方式是采用ByteBuffer。ByteBuffer有两种模式:直接/间接.间接模式最典型(也只有这么一种)的就是HeapByteBuffer,即操作堆内存 (byte[]).但是内存毕竟有限,如果发送一个1G的文件怎么办?不可能...
2019-12-09 17:17:09
113
原创 密码加盐
Spring Security PasswordEncoder 密码校验和密码加密流程参考文章 public String passEncode(String pass) throws Exception { BCryptPasswordEncoder bCryptPasswordEncoder = passwordEncoder(); String encod...
2019-11-14 18:06:21
94
原创 ReentrantLock--机制
locktrylocklockInterruptiblypackage TestThread;import java.util.concurrent.locks.Lock;import java.util.concurrent.locks.ReentrantLock;/** * @author WuYe * @vesion 1.0 2019/11/13 * / * /**...
2019-11-13 22:43:16
71
原创 深入理解ThreadPoolExecutor的addWorker（）来保证同步
分解addWorker（）函数—第一块如下当我们在多个线程对于全局的excutor对象提交任务是如何保证同步的关键点在于保证获取到的核心线程数目workerCountOf©是最新的，如何不加锁完成这一点通过 核心线程 1 的例子说明注意两层循环------------ ########################################### r...
2019-11-09 23:33:25
491
原创 读源码的技巧和ThreadPoolExecutor流程
debug -->流程idea Ide 使用的是eclipse快捷键F5如果执行语句有本类的方法，进入本类中的方法，之后执行到下一句F6执行到下一句F7从当前方法步出到上级方法alt+ctrl+F7步入其他类的方法ThreadPoolExecutorExecute优先级— 核心线程> 队列>最大线程数>失败处理器...
2019-11-09 20:34:28
106
原创 interrupted如何停止其他线程
参考文章一个线程最好不要干涉其他线程，这也是stop方法被废弃的原因使用标识位可以控制循环但是当线程陷入了阻塞状态时，可能完全没有办法运行到判断标识的代码行。使用interrupted可以将线程解放出来进入runable状态，当cpu调度到是，判断标志退出。...
2019-11-05 21:55:12
97
原创 arrayblockingqueue生产者消费者
import java.util.concurrent.*;/** * @author WuYe * @vesion 1.0 2019/11/5 * / * /** * @program: conCurrentProject * @description: 生产者消费者 * @author: WuYe * @create: 2019-11-05 14:13 **/publi...
2019-11-05 15:18:49
119
原创 ConcurrentHashMap相比hashtable--极端情况性能提高
测试极端情况下百万次修改性能情况开启了16个线程，初始化ConcurrentHashMap分为16个字段同时修改ConcurrentHashMap 和HashTableimport java.util.Hashtable;import java.util.Map;import java.util.concurrent.ConcurrentHashMap;/** * @auth...
2019-11-04 22:10:53
236
原创 jdk安装和命令行gradle编译项目
#jdk安装服务器一般安装了很多旧版本的jdk使用yum安装会自动安装到 /usr/lib/jvm目录，所以最好还是下载安装也可以删除旧版本rpm qa |grep xxxx 查看哪些包rpm ql 包名 查看包安装在哪里yum -y remove 包名 卸载gradle编译项目只需要build.grdle文件和src的代码...
2019-11-02 01:32:42
107
原创 关于mysql数据索引的问题
关于mysql数据索引的问题索引是数据结构–》用来查询记录的数据结构索引大分类聚集索引聚集索引就是按照数据物理存储顺序的记录，每个表只能有一张 ，适合查询范围记录非聚集索引适合查询单个字段，最左前缀原则一个联合字段索引，从最左边的字段开始查询...
2019-10-28 19:10:27
74
原创 2019/10/27 做题
34. 在排序数组中查找元素的第一个和最后一个位置思路，二分法获得左右最小值class Solution { private int[]num={-1,-1}; public int[] searchRange(int[] nums, int target) { if(nums.length==0){ return num; ...
2019-10-27 16:44:18
94
原创 ideal--》gradle多模块springBoot项目遇到的大坑
因为springboot高度简化了所以一定要按照规则搭建模块不然到处出错1：建立普通的gradle项目2：第二步-》建立springboot项目，选择gradle构建，细节可看文章还有几个点没说3：建立springboot项目，（必须）删除多的文件夹，不然build.gradle编译出错。4：建立好核心springboot项目之，建立gradel普通项目，给src/main/java内建...
2019-10-27 04:19:17
915
原创 工作 2019/10/24
Arrays.copyofRange（int[]arr,int from，int to）方法不包含尾部超过arr的长度会补零，直到长度为from-to;
2019-10-24 17:29:44
59
原创 2019/10/23递归和二叉树
补一下递归和二叉树的知识递归函数 function method(任务层次n){ if(任务层次1){ 处理任务； 返回结果 } 当任务层次n的时候，假设n-1层次的任务处理好了， 调用method（n-1）处理的结果完成任务层次n的逻辑 返回结果}###汉诺塔问题HNT(n,a,c){最...
2019-10-23 16:54:22
52
原创 学习---2019/10/22
java字符串String为什么是不可变得。怎么实现的字符串类被声明为final不可继承，字符串内部实现的数组被声明为private和fina的不可以获得和修改；字符串不可变得原因：1.字符串是一种经常进行各种操作的对象，如果是可变的，那么每次操作后我们就无法从旧的引用来获得原值，因为这个引用的地址已经被改变为操作后的值，所以字符串不可变–》旧的引用不改变–》用一个新的引用来接收修改之后的值...
2019-10-22 17:27:51
66
原创 工作---2019/10/21
遇到问题：gradle构建java项目如何自定义task没有gradle源文件夹https://blog.csdn.net/biyiy929/article/details/89476711注意过时方法自定义task构建项目开始学习gradle参考大佬文章闭包—》第一个难点@RequestBody同一个函数 此注解只能有一个，代表了response的body内存放的信息...
2019-10-22 01:23:32
104
原创 工作-2019/10/20
今日总结遇到问题：gradle构建java项目如何自定义task没有gradle源文件夹https://blog.csdn.net/biyiy929/article/details/89476711注意过时方法自定义task构建项目开始学习gradlelinux运行项目脚本#!/bin/shRESOURCE_NAME=jdy2019y10m21d-2.0...
2019-10-21 13:22:28
135
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人