- 博客(25)
- 资源 (14)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Spark常见问题解决办法
以下是在学习和使用spark过程中遇到的一些问题，记录下来。1、首先来说说spark任务运行完后查错最常用的一个命令，那就是把任务运行日志down下来。 程序存在错误，将日志down下来查看具体原因！down日志命令：yarn logs -applicationId app_id2、Spark性能优化的9大问题及其解决方案http://book.51cto.com/art/201409/453045
2016-10-09 09:56:20
14940
原创 OrientDB单机安装教程
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2016-09-28 23:31:53
2353
原创 Zeppelin安装文档
Zeppelin是一个Web笔记形式的交互式数据查询分析工具(类似python notebook)，可以在线用scala和SQL对数据进行查询分析并生成报表。Zeppelin的后台数据引擎可以是Spark，开发者也可以通过实现更多的解释器来为Zeppelin添加数据引擎。
2016-05-08 16:44:18
2821
原创 Python实现登录vcloud并访问其资源
上周需要用python访问vcloud上的资源，但是vcloud有个登录认证过程，需要将头信息加入到请求中，经过几番搜寻，终于找到解决方案，参考地址：http://stackoverflow.com/questions/11395224/vcloud-director-org-user-authentication-for-restapi-in-python我用用RESTClient的访问过程
2013-11-05 11:15:19
1638
转载 回调函数
所谓回调，就是客户程序C调用服务程序S中的某个函数A，然后S又在某个时候反过来调用C中的某个函数B，对于C来说，这个B便叫做回调函数。例如Win32下的窗口过程函数就是一个典型的回调函数。一般说来，C不会自己调用B，C提供B的目的就是让S来调用它，而且是C不得不提供。由于S并不知道C提供的B姓甚名谁，所以S会约定B的接口规范（函数原型），然后由C提前通过S的一个函数R告诉S自己将要使用B函数，这个
2013-07-07 21:34:11
739
原创 用异或实现两个数的交换&x&(x-1)表达式作用&计算前1500个丑数
用异或实现两个数的交换问题void swap(int &a,int &b){a^=b;b^=a;a^=b;}转换过程：a------------------------->b a^=b a=a^b a^b---------------------->b
2013-07-06 15:10:17
1338
原创 Windows下Hadoop启动出错
好久接触Hadoop了，以前大都是虚拟机linux里面弄的，但最近电脑太卡了，所以只好在windows下用cygwin模拟linux环境来学hadoop。在windows下搭建hadoop环境很容易出现错误，以前就因为路径中出现了空格，导致整了好久才将问题解决。今天在启动hadoop时出现了如下错误：localhost:/usr/bin/ssh.exe: error while loadi
2013-07-05 11:36:13
1272
原创 RHEL6.0使用CentOS的yum源【转】
很多人安装RHEL6.0的时候，使用yum来安装更新包，总是提示需要在RHEL网站注册。因为大家很多人没有那个资金，所以都选择了，使用其他网站的镜像源以满足镜像的更新和安装包的更新，或者即使选择本地的yum源。因为本地的yum源多数是没有办法即使与网络上的同步，多以很多还是选择了使用Internet的YUM源。 现在我们就把RHEL的yum源做个修改， 一 卸载RHEL的YUM ...
2013-01-15 21:19:20
106
原创 Ubuntu12.04上编译hadoop-eclipse-plugin-1.0.4.jar包
1、在Eclipse中选择File-->Import-->Existing Projects into Workspace导入已有项目，假设路径为：$HADOOP_HOME/src/contrib/eclipse-plugin，其默认的项目名称是MapReduceTools。导入后因为找不到hadoop-core.jar包，所以项目上有红色感叹号，不用管它【后面lib包加入后会消失】
2013-01-15 16:36:46
1201
转载 k-d tree算法
觉得此文介绍KD树写的很简单易懂，遂转载收藏：http://www.cnblogs.com/eyeszjwang/articles/2429382.htmlk-d树（k-dimensional树的简称），是一种分割k维数据空间的数据结构。主要应用于多维空间关键数据的搜索（如：范围搜索和最近邻搜索）。应用背景 SIFT算法中做特征点匹配的时候就会利用到k-d树。而特征点匹配实际上就是一
2012-12-29 15:57:59
833
转载 Java多线程详解
今天在ITEYE上偶遇一篇非常好的讲解Java多线程的文章，遂转载收藏：http://programming.iteye.com/blog/158568 线程的同步 由于同一进程的多个线程共享同一片存储空间，在带来方便的同时，也带来了访问冲突这个严重的问题。Java语言提供了专门机制以解决这种冲突，有效避免了同一个数据对象被多个线程同时访问。由于我们可以通过 private 关
2012-12-08 14:32:10
957
原创 解决OpenCv中没有找到tbb_debug.dll的方法+OpenCv项目环境配置
今天运行opencv时出现找不到tbb_debug.dll错误，网上搜了下，看到两种解决方案，都有效，留此笔记以备日后不时之需。方法一：在opencv-2.3.1\build\common\tbb\ia32\vc10的下面有个tbb.dll文件，把它复制到你的工程debug目录下改成tbb_debug即可。方法二：下载一个Intel Tbb 3.0http://www.threadingb
2012-12-02 14:04:11
1212
转载 网站设计--数据库集群和数据库垂直分割,水平分割,库表散列
大型网站设计注意事项1、HTML静态化其实大家都知道，效率最高、消耗最小的就是纯静态化的html页面，所以我们尽可能使我们的网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法。但是对于大量内容并且频繁更新的网站，我们无法全部手动去挨个实现，于是出现了我们常见的信息发布系统CMS，像我们常访问的各个门户站点的新闻频道，甚至他们的其他频道，都是通过信息发布系统来管理和
2012-11-15 00:23:50
749
转载 JAVA的中文字符乱码问题
JAVA的中文字符乱码问题一直很让人头疼。特别是在WEB应用中。网上的分析文章和解决方案都很多，但总是针对某些特定情况的。很多次遇到乱码问题后， 经过极为辛苦的调试和搜索资料后终于解决，满以为自己已经掌握了对付这些字符乱码怪兽的诀窍。可当过段时间，换了个应用或换了个环境，又会碰到那讨厌的火 星文，并再次无所适从。于是下决心好好整理一下中文字符编码问题，以方便自己记忆，也为其他程序员兄弟们提供一份参
2012-11-05 15:59:15
1062
转载 动态规划求解硬币找零问题——Java实现
动态规划的基本思想是将待求解问题分解成若干个子问题，先求解子问题，并将这些子问题的解保存起来，如果以后在求解较大子问题的时候需要用到这些子问题的解，就可以直接取出这些已经计算过的解而免去重复运算。保存子问题的解可以使用填表方式，例如保存在数组中。 动态规划的主要难点在于理论上的设计，也就是上面4个步骤的确定，一旦设计完成，实现部分就会非常简单。使用动态规划求解问题，最重要的就是确定动态规划三要
2012-10-31 00:51:54
5875
3
转载 常用正则表达式大全
常用正则表达式大全！（例如：匹配中文、匹配html） 匹配中文字符的正则表达式： [u4e00-u9fa5] 评注：匹配中文还真是个头疼的事，有了这个表达式就好办了 匹配双字节字符(包括汉字在内)：[^x00-xff] 评注：可以用来计算字符串的长度（一个双字节字符长度计2，ASCII字符计1） 匹配空白行的正则表达式：ns*r 评注：可以用来删
2012-10-29 16:33:39
773
转载 Google Dremel 原理 - 如何能3秒分析1PB
简介Dremel 是Google 的“交互式”数据分析系统。可以组建成规模上千的集群，处理PB级别的数据。MapReduce处理一个数据，需要分钟级的时间。作为MapReduce的发起人，Google开发了Dremel将处理时间缩短到秒级，作为MapReduce的有力补充。Dremel作为Google BigQuery的report引擎，获得了很大的成功。最近Apache计划推出Dremel的
2012-10-26 15:40:55
867
转载 Correlation
The correlation is one of the most common and most useful statistics. A correlation is a single number that describes the degree of relationship between two variables. Let's work through an example
2012-10-23 21:14:06
1390
转载 胜者树与败者树
转载自：http://blog.163.com/yangjun1988422@126/blog/static/474129172011711103313483/胜者树和败者树都是完全二叉树，是树形选择排序的一种变型。每个叶子结点相当于一个选手，每个中间结点相当于一场比赛，每一层相当于一轮比赛。 不同的是，胜者树的中间结点记录的是胜者的标号；而败者树的中间结点记录
2012-10-14 23:29:12
670
转载 No instrumentation runner InstrumentationTestRunner和INSTALL_FAILED_INSUFFICIENT_STORAG错误解决办法
今天运行一个android小程序时，出现了两个错误如下：（网上看到了两个解决方案，可以凑效）问题一：单击“Android JUnit Test”运行后会出现如下警告：Warning: No instrumentation runner found for the launch, using android.test.InstrumentationTestRunner. 原因是：模拟器
2012-06-05 01:28:30
1574
原创 RPC、RMI与MOM与组播 通信原理
远程过程调用（RPC）：即对远程站点机上的过程进行调用。当站点机A上的一个进程调用另一个站点机上的过程时，A上的调用进程挂起，B上的被调用过程执行，并将结果返回给调用进程，使调用进程继续执行【B上的被调用过程的参数和执行结果在调用和被调用进程之间是通过消息传递来实现的，表现为C/S关系】为实现不同站点机上的RPC，调用和被调用进程各方都要保留一个用于存放过程参数和执行结果的运行栈，分别称为
2012-06-02 13:28:08
2095
转载 hadoop作业调优参数整理及原理
转载自：http://www.oschina.net/question/12_154591 Map side tuning参数1.1 MapTask运行内部原理当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的 部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map
2012-05-31 15:54:47
747
原创 Hbase配置时出错处理
今天在rhel下配置hbase环境【Hadoop-1.0.1、Hbase-0.92.1版本】，所有步骤都是按照官方文档来操作的，结果每次在创建表时就会出错：SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/home/hadooptest/hbase-0.92.0-sec
2012-05-28 17:20:15
2964
缺少 cygz.dll错误处理
2013-07-05
数字图像处理试题集(硕博)
2012-12-23
云计算简介——刘鹏
2012-05-23
如何实现python脚本实现访问vcloud上的资源
2013-10-31
TA创建的收藏夹 TA关注的收藏夹
TA关注的人