10 空中乘客

尚未进行身份认证

Do The Right Thing. 个人主页:deepspark.cn

等级
TA的排名 0

CentOS cuda/tensorflow/keras安装笔记

CentOS cuda/tensorflow/keras安装笔记

2017-01-19 21:13:55

Spark常见问题解决办法

以下是在学习和使用spark过程中遇到的一些问题,记录下来。1、首先来说说spark任务运行完后查错最常用的一个命令,那就是把任务运行日志down下来。 程序存在错误,将日志down下来查看具体原因!down日志命令:yarn logs -applicationId app_id2、Spark性能优化的9大问题及其解决方案http://book.51cto.com/art/201409/453045

2016-10-09 09:56:20

OrientDB单机安装教程

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2016-09-28 23:31:53

Zeppelin安装文档

Zeppelin是一个Web笔记形式的交互式数据查询分析工具(类似python notebook),可以在线用scala和SQL对数据进行查询分析并生成报表。Zeppelin的后台数据引擎可以是Spark,开发者也可以通过实现更多的解释器来为Zeppelin添加数据引擎。

2016-05-08 16:44:18

Spark求数据集中同一主键记录中的最新数据

Spark求数据集中同一主键记录中的最新数据

2015-11-04 18:45:32

Python实现登录vcloud并访问其资源

上周需要用python访问vcloud上的资源,但是vcloud有个登录认证过程,需要将头信息加入到请求中,经过几番搜寻,终于找到解决方案,参考地址:http://stackoverflow.com/questions/11395224/vcloud-director-org-user-authentication-for-restapi-in-python我用用RESTClient的访问过程

2013-11-05 11:15:19

回调函数

所谓回调,就是客户程序C调用服务程序S中的某个函数A,然后S又在某个时候反过来调用C中的某个函数B,对于C来说,这个B便叫做回调函数。例如Win32下的窗口过程函数就是一个典型的回调函数。一般说来,C不会自己调用B,C提供B的目的就是让S来调用它,而且是C不得不提供。由于S并不知道C提供的B姓甚名谁,所以S会约定B的接口规范(函数原型),然后由C提前通过S的一个函数R告诉S自己将要使用B函数,这个

2013-07-07 21:34:11

用异或实现两个数的交换&x&(x-1)表达式作用&计算前1500个丑数

用异或实现两个数的交换问题void swap(int &a,int &b){a^=b;b^=a;a^=b;}转换过程:a------------------------->b                  a^=b    a=a^b                  a^b---------------------->b

2013-07-06 15:10:17

Windows下Hadoop启动出错

好久接触Hadoop了,以前大都是虚拟机linux里面弄的,但最近电脑太卡了,所以只好在windows下用cygwin模拟linux环境来学hadoop。在windows下搭建hadoop环境很容易出现错误,以前就因为路径中出现了空格,导致整了好久才将问题解决。今天在启动hadoop时出现了如下错误:localhost:/usr/bin/ssh.exe: error while loadi

2013-07-05 11:36:13

RHEL6.0使用CentOS的yum源【转】

很多人安装RHEL6.0的时候,使用yum来安装更新包,总是提示需要在RHEL网站注册。因为大家很多人没有那个资金,所以都选择了,使用其他网站的镜像源以满足镜像的更新和安装包的更新,或者即使选择本地的yum源。因为本地的yum源多数是没有办法即使与网络上的同步,多以很多还是选择了使用Internet的YUM源。 现在我们就把RHEL的yum源做个修改, 一 卸载RHEL的YUM ...

2013-01-15 21:19:20

Ubuntu12.04上编译hadoop-eclipse-plugin-1.0.4.jar包

1、在Eclipse中选择File-->Import-->Existing Projects into Workspace导入已有项目,假设路径为:$HADOOP_HOME/src/contrib/eclipse-plugin,其默认的项目名称是MapReduceTools。导入后因为找不到hadoop-core.jar包,所以项目上有红色感叹号,不用管它【后面lib包加入后会消失】

2013-01-15 16:36:46

k-d tree算法

觉得此文介绍KD树写的很简单易懂,遂转载收藏:http://www.cnblogs.com/eyeszjwang/articles/2429382.htmlk-d树(k-dimensional树的简称),是一种分割k维数据空间的数据结构。主要应用于多维空间关键数据的搜索(如:范围搜索和最近邻搜索)。应用背景  SIFT算法中做特征点匹配的时候就会利用到k-d树。而特征点匹配实际上就是一

2012-12-29 15:57:59

Java多线程详解

今天在ITEYE上偶遇一篇非常好的讲解Java多线程的文章,遂转载收藏:http://programming.iteye.com/blog/158568 线程的同步 由于同一进程的多个线程共享同一片存储空间,在带来方便的同时,也带来了访问冲突这个严重的问题。Java语言提供了专门机制以解决这种冲突,有效避免了同一个数据对象被多个线程同时访问。由于我们可以通过 private 关

2012-12-08 14:32:10

解决OpenCv中没有找到tbb_debug.dll的方法+OpenCv项目环境配置

今天运行opencv时出现找不到tbb_debug.dll错误,网上搜了下,看到两种解决方案,都有效,留此笔记以备日后不时之需。方法一:在opencv-2.3.1\build\common\tbb\ia32\vc10的下面有个tbb.dll文件,把它复制到你的工程debug目录下改成tbb_debug即可。方法二:下载一个Intel Tbb 3.0http://www.threadingb

2012-12-02 14:04:11

网站设计--数据库集群和数据库垂直分割,水平分割,库表散列

大型网站设计注意事项1、HTML静态化其实大家都知道,效率最高、消耗最小的就是纯静态化的html页面,所以我们尽可能使我们的网站上的页面采用静态页面来实现,这个最简单的方法其实也是最有效的方法。但是对于大量内容并且频繁更新的网站,我们无法全部手动去挨个实现,于是出现了我们常见的信息发布系统CMS,像我们常访问的各个门户站点的新闻频道,甚至他们的其他频道,都是通过信息发布系统来管理和

2012-11-15 00:23:50

JAVA的中文字符乱码问题

JAVA的中文字符乱码问题一直很让人头疼。特别是在WEB应用中。网上的分析文章和解决方案都很多,但总是针对某些特定情况的。很多次遇到乱码问题后, 经过极为辛苦的调试和搜索资料后终于解决,满以为自己已经掌握了对付这些字符乱码怪兽的诀窍。可当过段时间,换了个应用或换了个环境,又会碰到那讨厌的火 星文,并再次无所适从。于是下决心好好整理一下中文字符编码问题,以方便自己记忆,也为其他程序员兄弟们提供一份参

2012-11-05 15:59:15

动态规划求解硬币找零问题——Java实现

动态规划的基本思想是将待求解问题分解成若干个子问题,先求解子问题,并将这些子问题的解保存起来,如果以后在求解较大子问题的时候需要用到这些子问题的解,就可以直接取出这些已经计算过的解而免去重复运算。保存子问题的解可以使用填表方式,例如保存在数组中。 动态规划的主要难点在于理论上的设计,也就是上面4个步骤的确定,一旦设计完成,实现部分就会非常简单。使用动态规划求解问题,最重要的就是确定动态规划三要

2012-10-31 00:51:54

常用正则表达式大全

常用正则表达式大全!(例如:匹配中文、匹配html) 匹配中文字符的正则表达式: [u4e00-u9fa5]     评注:匹配中文还真是个头疼的事,有了这个表达式就好办了   匹配双字节字符(包括汉字在内):[^x00-xff]   评注:可以用来计算字符串的长度(一个双字节字符长度计2,ASCII字符计1)   匹配空白行的正则表达式:ns*r   评注:可以用来删

2012-10-29 16:33:39

Google Dremel 原理 - 如何能3秒分析1PB

简介Dremel 是Google 的“交互式”数据分析系统。可以组建成规模上千的集群,处理PB级别的数据。MapReduce处理一个数据,需要分钟级的时间。作为MapReduce的发起人,Google开发了Dremel将处理时间缩短到秒级,作为MapReduce的有力补充。Dremel作为Google BigQuery的report引擎,获得了很大的成功。最近Apache计划推出Dremel的

2012-10-26 15:40:55

Correlation

The correlation is one of the most common and most useful statistics. A correlation is a single number that describes the degree of relationship between two variables. Let's work through an example

2012-10-23 21:14:06
勋章 我的勋章
  • 分享精英
    分享精英
    成功上传11个资源即可获取