lzy2014-CSDN博客

原创 Spark源码学习笔记（随笔）-groupByKey()是宽依赖吗

最近从源码角度温习之前学的Spark的基础，在RDD的Dependency这一节中，关于一些Transition操作是Narrow Dependency还是Shuffle Dependency。对于map/filter等操作我们能很清晰的知道它是窄依赖，对于一些复杂的或者不是那么明确的转换操作就不太能区分是什么依赖，如groupByKey()。较多博客直接说这个转换操作是宽依赖，真的是宽依赖吗？我们

2017-06-07 13:08:40 1754 1

原创 Spark源码学习笔记8-TaskScheduler

SparkContext中调用伴生对象的方法来创建TaskScheduler对象

2017-05-17 23:40:21 529

原创 Spark源码学习笔记7-HeartbeatReceiver

我们继续了解SparkContext中的_heartbeatReceiver

2017-05-14 23:21:44 3104

原创 Spark源码学习笔记6-RpcEnv(Rpc实现层)

继5-RpcEnv(Rpc抽象层) 之后，我们再来了解下Rpc框架下的实现层。

2017-05-07 23:37:52 2854

原创 Spark源码学习笔记5-RpcEnv(Rpc抽象层)

继4-SparkEnv 之后，我们再来详细研究下SparkEnv中出现的一个核心RpcEnv。

2017-05-07 18:12:16 1055

原创 Spark源码学习笔记4-SparkEnv

继3-LiveListenerBus之后，我们来看看SparkContext构造函数中初始化的SparkEnv

2017-04-30 23:58:14 2159

原创 Spark源码学习笔记3-LiveListenerBus

继2-JobProgressListener之后，我们再来看看SparkContext构造函数中的listenerBus: LiveListenerBus

2017-04-30 17:37:33 2906

原创 Spark源码学习笔记2-JobProgressListener

继1-SparkContext之后，首先了解下JobProgressListener

2017-04-30 10:28:08 871

原创 Spark源码学习笔记1-SparkContext

SparkContext构造函数做了哪些重要的事情？

2017-04-29 00:09:02 689

原创 Error: non-generic cannot be used with type arguments

最近工作需要，学习WPF编程和Prism框架。一些典型错误记录下。Error1The non-generic method 'Microsoft.Practices.Unity.IUnityContainer.RegisterInstance(System.Type, string, object, Microsoft.Practices.Unity.LifetimeManager

2015-03-19 22:54:29 2501 1

原创 Matlab中的数组保存为csv文件，在VC里面使用

由于图像处理用到Matlab的一些算法，得到一些数组数据（三维重构的深度数据）。在VC中使用OpenGL画图，需要使用这些数据（深度数据）做显示用。在Matlab下使用语句：csvwrite('depthMap',depthMap); //后面的depthMap是数组变量，前面的depthMap是csv文件名。函数ReadCsv是读取csv文件（二维数组）到指定变量dept

2014-12-15 18:10:56 17564

转载 Dijkstra算法（单源最短路径）

全文转自：http://www.cnblogs.com/dolphin0520/archive/2011/08/26/2155202.html

2014-10-04 22:38:18 1358

转载 C++中struct和class的区别

全文转自：http://hi.baidu.com/peng890125/item/3cb228d4dad0482839f6f728

2014-09-23 23:35:30 554

转载 C++的一大误区——深入解释直接初始化与复制初始化的区别

全文转自：http://blog.csdn.net/ljianhui/article/details/9245661

2014-09-22 13:01:22 493

原创另类算法题

为分析用户行为，系统常需存储用户的一些query，但因query非常多，故系统不能全存，设系统每天只存m个query，现设计一个算法，对用户请求的query进行随机选择m个，请给一个方案，使得每个query被抽中的概率相等，并分析之，注意：不到最后一刻，并不知用户的总请求量。（百度2011.10.16校园招聘会笔试题）

2014-09-16 19:13:06 648

转载 Floyd算法

全文转自：http://blog.csdn.net/perfect2011/article/details/7568375

2014-09-11 16:51:54 652

原创中缀表达式转后缀表达式并计算

一道华为的机试题。问题描述：输入一个只包含个位数字的简单四则运算表达式字符串，计算该表达式的值注1、表达式只含 +, -, *, / 四则运算符，不含括号2、表达式数值只包含个位整数(0-9)，且不会出现0作为除数的情况3、要考虑加减乘除按通常四则运算规定的计算优先级4、除法用整数除法，即仅保留除法运算结果的整数部分。比如8/3=2。输入表达式保证无0作为除数情

2014-09-11 09:21:54 862

转载经典迷宫问题

全文转自：http://blog.csdn.net/that163/article/details/8069780 http://blog.csdn.net/that163/article/details/8069764

2014-09-10 21:15:23 913

原创 C++机试题

描述:模拟n个人参加选举的过程，并输出选举结果：假设候选人有四人，分别用“A”、”B”、”C”、”D”表示，选举时开始计票, 若输入的不是“A”、”B”、”C”、”D”则视为无效票。选举结束后获取各个候选人的得票数以及无效票的个数，输出结果以添加候选人的顺序进行顺序输出,最后一行为无效的数量。同时getVoteResult命令为结束命令。运行时间限制:

2014-09-09 23:42:47 979

转载可重入与线程安全

全文转自：http://blog.chinaunix.net/uid-13449834-id-2888372.html

2014-09-07 15:21:26 647

原创 OpenGL将二维图形显示为三维点云图

全文参考：http://blog.csdn.net/sky_freebird/article/details/6695059

2014-08-26 15:45:29 10488 1

转载 opencv库中的图像或者视频用的CvvImage

全文转自：http://blog.csdn.net/watkinsong/article/details/7357651

2014-08-10 16:26:21 862

原创《数据结构与算法分析》读书笔记——排序

稳定的冒泡排序（bubble sort） — O(n^2）鸡尾酒排序(Cocktail sort，双向的冒泡排序)— O(n^2）插入排序（insertion sort）— O(n^2)桶排序（bucket sort）— O(n); 需要 O(k)额外空间计数排序(counting sort) — O(n+k);需要 O(n+k)额外空间归并排序

2014-07-29 19:44:55 1140

转载漫谈递归：从斐波那契开始了解尾递归

本文转自：http://www.nowamagic.net/librarys/veda/detail/2325

2014-07-26 22:01:05 927

原创《数据结构与算法分析》读书笔记——hash表

散列表 / 哈希表 (hash table) 的实现叫做散列

2014-07-18 18:46:30 1320

转载 df与du命令输出区别

转自：http://linux.chinaunix.net/techdoc/system/2007/09/08/967387.shtml

2014-07-18 10:45:40 680

原创鸟哥私房菜第6章 Linux的文件权限与目录配置课后习题

6.5本章练习1.请说明/bin 与 /usr/bin 目录所放置的执行文件有何不同之处。答：/bin，放置执行文件，但比较特殊。/bin放置的是在单用户维护模式下还能被操作的命令，在/bin下面的命令可以被root与一般账号所使用，主要有cat，chmod，chown，date，mv，mkdir，cp，bash等常用命令。与开机执行过程有关。/usr/bin，绝大部分的用户可使用

2014-07-06 17:13:03 2854

原创 MFC框架下的OpenCV 视频捕获

在MFC框架下，调用开源代码

2014-07-05 20:27:13 1264

原创 MFC vfw视频捕获

// VideoImage_lzyView.cpp : implementation of the CVideoImage_lzyView class//#include "stdafx.h"// SHARED_HANDLERS can be defined in an ATL project implementing preview, thumbnail// and search fi

2014-06-13 23:54:28 1048

原创 _tfopen_s UNICODE 解决乱码问题

使用_tfopen_s和fopen_s时，稍不注意就会出现乱码问题；

2014-06-06 22:19:36 6608

原创 MFC双缓冲显示位图

void CGraphicView::OnDraw(CDC* pDC){ CGraphicDoc* pDoc = GetDocument(); ASSERT_VALID(pDoc); if (!pDoc) return; // TODO: add draw code for native data here CFont *oldFont = pDC->SelectObject(&

2014-06-04 19:16:18 1925

原创 Windows SDK 视频捕获

#include #include #include #pragma comment(lib, "vfw32.lib")HWND AVIhwnd;HWND hwnd;HDC hdc, hdcScene;DWORD AVIwidth = 640, AVIheight = 480;BYTE BmpByte[1920*480];BITMAPINFO bmpInfo;HBITMA

2014-05-29 18:24:51 1065

原创 TextOut输出中文汉字——记练习程序员表白程序

程序练习来自博客：_BlueCoder_ http://blog.csdn.net/crocodile__/article/details/9527845

2014-05-18 21:28:51 3437 2

转载链表面试题小结

某本书上面说了，链表这个东西，实际用的并不多，但是可以提供很好的考察面试者编程技巧和思维能力的素材。这里总结一下，见过的面试题和对应的候选解法。题一、给定单链表，检测是否有环。使用两个指针p1,p2从链表头开始遍历，p1每次前进一步，p2每次前进两步。如果p2到达链表尾部，说明无环，否则p1、p2必然会在某个时刻相遇(p1==p2)，从而检测到链表中有环。http:/

2014-05-15 21:26:17 947

转载判断两个链表是否相交和一个单链表是否有环及环的链接点(转)

给定一个单链表，只给出头指针h：1、如何判断是否存在环？2、如何知道环的长度？3、如何找出环的连接点在哪里？4、带环链表的长度是多少？解法：1、对于问题1，使用追赶的方法，设定两个指针slow、fast，从头指针开始，每次分别前进1步、2步。如存在环，则两者相遇；如不存在环，fast遇到NULL退出。2、对于问题2，记录下问题1的碰

2014-05-15 18:23:41 1069

原创 C++ Primer 第五版文本查询程序

新手，代码从官网下载的，自己调试，

2014-05-11 20:03:01 2817

转载地铁换乘最短路径

2014-04-13 16:05:27 2426

转载关于睡眠和休眠

本文转自：http://bbs.pcbeta.com/viewthread-404413-1-2.html1.运行过程说明vista刚出来的时候，我也被什么睡眠休眠这些东西搞的稀里糊涂，花了很长时间研究和试验才搞清楚。以前我也觉得他们很鸡肋，几乎没有用，也是经过了很长时间的实践才领悟到其中的道理。首先就和大家分享一下，把睡眠和休眠的机制说清楚，我想大部分人应该都明白的吧。注：此节里关于

2014-04-12 22:48:41 1940

转载 C实现音乐播放器

本文转自：http://blog.sina.com.cn/s/blog_8e6d13280100z7j7.html

2014-04-12 13:47:04 1620

翻译 Windows SDK编程——启动窗口

原文来自：http://hi.baidu.com/combojiang/item/a972f9149e7ceffcdceeca0dwindows sdk编程系列文章 ---- 启动画面上一章我们学习了位图的使用.在这一章我们要用上帝赋予我们的创造力来融会贯通上一章我们学到的知识.那就是研究如何用位图来创建启动画面. 理论：首先,我们先要搞清楚什么是启动画

2014-04-07 20:34:48 1343

基于AKKA的后台应用开发手册.pdf

空空如也