- 博客(18)
- 收藏
- 关注
RSS订阅
原创 Spark分布式环境搭建
Spark从菜鸟到入门Spark初体验——wordcount词频统计Spark基础知识学习Spark单机版环境搭建Spark源码学习Spark分布式环境搭建Spark基准测试平台BigDataBench使用教程Spark分布式环境搭建1. 集群机器准备(1) 在VMware 中安装三台虚拟机，一台Ubuntu虚拟机作Master,一台Ubuntu虚拟机作slave01,一台...
2019-03-22 17:00:07
501
原创 Spark基准测试平台BigDataBench使用教程
【Spark从菜鸟到入门】spark初体验——wordcount词频统计spark基础知识学习spark单机版环境搭建spark源码学习spark分布式环境搭建spark基准测试平台BigDataBench使用教程1. BigDataBench简介大数据系统的蓬勃发展催生了大数据基准测试的研究，如何公正地评价不同的大数据系统以及怎样根据需求选取合适的系统成为了热点问题．然而，...
2019-03-22 16:12:39
3066
2
原创 QT for webassembly 技术探索
前几日，接到上级任务——在不改动C++客户端的基础上，实现在浏览器中打开C++客户端，并进行交互。本想着是天方夜谭，谷歌一番，竟果真有此等尝试。官方参考文档传送门：https://wiki.qt.io/Qt_for_WebAssembly。在下查资料时，不禁感叹教程寥寥，故作此文供大家参考。1.技术简介 首先介绍一下webassembly技术，官网的解释为：WebAss...
2018-09-14 14:21:03
14352
11
原创 修复集群——日记
网络管理 虚拟机通信原理VMware配置网络的3种方式：NAT、Host-Only、Bridgedhttps://blog.csdn.net/u014726937/article/details/52768463磁盘阵列基本原理 你还不知道raid吗？https://www.cnblogs.com/qiumingcheng/p/11226058.html...
2019-12-18 18:07:59
152
原创 SortShuffleWriter部分源码
SortShuffleWriter部分源码spark1.6以后，取消了基于hash的shuffle，只剩下基于sort的shuffle。现在只存在以下三种shuffle writer：BypassMergeSortShuffleWriterUnsafeShuffleWriterSortShuffleWriter其中，BypassMergeSortShuffleWriter实现带Hash...
2019-11-15 22:22:10
221
原创 多线程代码终结篇
多线程代码终结篇手写一个生产者消费者模型吧//主线程逻辑：定义一个仓库对象，把对象传给生产者和消费者线程。其中二者共用同一把锁，因此是阻塞的。public class producer_consumer { public static void main(String[] args) { Product p = new Product(); Thr...
2019-09-23 20:18:18
178
原创 值得思考的问题——C++支持多继承而Java不支持多继承的原因
近几次面试中，由于简历上写了熟悉java，了解C++语言。面试官都问到了一个问题——为什么C++支持多继承，Java不支持呢？Java在面向对象的特性上与C++有很多相似的地方。比如继承、对象等等。但他又省去了一些很令人头疼的东西，比如指针、多重继承。至于为什么不支持多重继承，这里面涉及到很著名的菱形继承问题。简单来说：我们有两个类B和C继承自A.假设B和C都重写继承的方法，他们提供自...
2019-09-09 09:44:23
1233
原创 5.数组中出现一半的数字
题目数组中有一个数字出现的次数超过数组长度的一半，请找出这个数字。例如输入一个长度为9的数组{1,2,3,2,2,2,5,4,2}。由于数字2在数组中出现了5次，超过数组长度的一半，因此输出2。如果不存在则输出0。举例：输入一个长度为9的数组{1,2,3,2,2,2,5,4,2}，由于数字2在数组中出现了5次，超过数组长度一半，因此输出2。思路：摩尔投票法遇到不相同的pair就删除它...
2019-09-02 15:04:17
157
原创 4.重建二叉树
易错点：边界条件，两个数组的前后位置都要保存。模拟计算得到边界即可。一次是对的。可以设置类变量，让函数更简单使用哈希表存inorder的位置更好，更易找到位置。o（1）因为是无序的数组，不能用二叉查找。有序数组中使用二叉查找函数：Arrays.binarySearch(arr,target);/** * Definition for a binary tree node....
2019-08-25 15:22:59
92
原创 3.从尾到头打印链表
Attention：ArrayList<Integer> list = new ArrayList<>();ArrayList<Integer> list = new LinledList<>();list.get(i);add(),remove()1.递归方式/** * Definition for singly-li...
2019-08-25 15:19:20
64
原创 2.二维数组的查找
因此我们可以从整个矩阵的右上角开始枚举，假设当前枚举的数是 xx：如果 xx 等于target，则说明我们找到了目标值，返回true；如果 xx 小于target，则 xx 左边的数一定都小于target，我们可以直接排除当前一整行的数；如果 xx 大于target，则 xx 下边的数一定都大于target，我们可以直接排序当前一整列的数；排除一整行就是让枚举的点的横坐标加一，排除一整列...
2019-08-25 12:12:01
65
原创 1.找出数组中重复的数字
方法1：通过构建HashMap，记录每个值的重复情况。复杂度：O(n),O(1)class Solution { public int duplicateInArray(int[] nums) { for(int i = 0;i < nums.length;i++){ if(nums[i]<0||nums[i]>nums....
2019-08-25 11:44:37
119
原创 win下切换静态IP连接服务器bat文件
:: 设置IP地址set /p choice=请选择设置类型(1:静态IP / 2:自动获取IP):echo.if "%choice%"=="1" goto ip1if "%choice%"=="2" goto ip2goto main:ip1echo IP自动设置开始...echo.echo 正在设置IP及子网掩码cmd /c netsh interface ip set ...
2019-04-13 10:56:11
157
原创 spark-core包源码编译以及打包运行
一、 集群环境下运行系统打包spark在maven projects视图选择Spark Project Parent POM(root)，然后选中工具栏倒数第四个按钮（ship Tests mode）按下，这时Liftcycle中test是灰色的。接着按倒数第一个按钮进入Maven编译设置，在runner项设置VM option：（好像可以不设）-Xmx2g -XX:MaxPermSi...
2019-04-12 10:35:09
1024
1
原创 linux常用命令收集（持续更新）
ganglia集群开启master：sudo /etc/init.d/ganglia-monitor restartsudo /etc/init.d/gmetad startsudo /etc/init.d/apache2 restart现在你可以使用以下命令访问ganglia webinterface：http://192.168.1.50/ganglia/slave端sudo ...
2019-04-09 22:36:08
175
1
转载 SparkSession
翻译自：How to use SparkSession in Apache Spark 2.0 转载自： - SparkSession简单介绍 (是否为原创初始翻译不详) - Spark 2.0系列之SparkSession详解 (最后三节) 向原文作者以及原创翻译者的辛勤劳动致敬！前言 Apache Sp...
2019-04-09 16:12:45
709
原创 webservice学习历程（1）
本周任务：了解服务相关基本概念，WebService服务跑通并发布在网页上1.SOA基本概念SOA是一种面向服务的体系架构。一般的软件体系结构有C/S,基于web平台的B/S技术(J2EE+.NET——>SOA架构）三层架构(3-tierarchitecture) 通常意义上的三层架构就是将整个业务应用划分为：表现层（UI）、业务逻辑层（BLL）、数据访问层（DAL）。区分层次的...
2018-09-14 14:24:40
347
转载 Mysql学习历程（一）
Mysql忘记密码如何登陆：报错情况：ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO) ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)解决方案（参...
2018-06-18 15:33:30
278
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人