JDPlus-CSDN博客

原创 Linux 环境下iSCSI Target 与 Initiator 配置

2017-09-05 12:29:02 6523

原创 Ceph RBD编程接口Librbd(C++) -- 映像创建与数据读写

目前我们有两种路径使用Ceph的块存储： - 利用QEMU/KVM通过librbd与 Ceph 块设备交互，主要为虚拟机提供块存储设备，如下图所示； - 利用kernel module与Host kernel交互，主要为物理机提供块设备支持。Librbd 是Ceph提供的块存储接口的抽象，它提供C/C++、Python等多种接口。对于C++，最主要的两个类就是RBD 和 Image。 RBD

2017-08-01 14:44:27 5326

原创 Ceph块设备(RBD)常用命令

创建块设备映像rbd create --size {megabytes} {pool-name}/{image-name}实例：[ceph-deploy@ceph-admin ~]$ rbd create --size 1024 foo罗列块设备映像rbd ls {poolname}实例：[ceph-deploy@ceph-admin ~]$ rbd ls # rbd listfoo检索映像信息

2017-07-20 17:08:41 7957

原创 Ceph 多节点集群部署

Ceph简介 Ceph是一个开源的 PB 级分布式文件系统，它有着优秀的性能、可靠性和可扩展性。Ceph 独一无二地用统一的系统提供了对象、块、和文件存储功能。Ceph 的强大足以改变贵公司的 IT 基础架构、和管理海量数据的能力。Ceph 可提供极大的伸缩性——供成千用户访问 PB 乃至 EB 级的数据。 Ceph 节点以普通硬件和智能守护进程作为支撑点， Ceph 存储集群组织起了大量节点，

2017-07-15 11:49:53 4605

转载 Java 8 Lambda Expressions Tutorial with Examples

转自Java 8 Lambda Expressions Tutorial with ExamplesJava is a first-class object-oriented language. With the exception of primitive data types, everything in Java is an object. Even an array is an Object

2016-09-28 16:32:39 1257

转载 Java 8 forEach examples

转自Java 8 forEach examplesIn this article, we will show you how to loop a List and a Map with the new Java 8 forEach statement.1. forEach and MapNormal way to loop a Map.Map<String, Integer> items = new

2016-09-28 15:52:01 707

转载 Caffe 深度学习框架上手教程

转自：http://suanfazu.com/t/caffe/281Caffe是一个清晰而高效的深度学习框架，其作者是博士毕业于UC Berkeley的贾扬清，目前在Google工作。Caffe是纯粹的C++/CUDA架构，支持命令行、Python和MATLAB接口；可以在CPU和GPU直接无缝切换：Caffe::set_mode(Caffe::

2016-01-19 10:50:29 1679

原创 K-SVD学习笔记

K-SVD是一个用于稀疏表示的字典学习算法，是一个迭代算法，是K-Means算法的泛化。对于问题(1)K-SVD的算法流程如下：I)固定字典，利用追踪算法(Pursuit Algorithm)求得(近似)最优的系数矩阵；II)每次更新一个列(SVD)，固定字典的其它所有的列。计算新的列及其相对应系数，使得问题(1)最小化；III)重复I)、II)直至收敛。接下来

2015-11-26 15:56:37 11285 2

原创 HBase快速导入数据--BulkLoad

Apache HBase是一个分布式的、面向列的开源数据库，它可以让我们随机的、实时的访问大数据。但是怎样有效的将数据导入到HBase呢？HBase有多种导入数据的方法，最直接的方法就是在MapReduce作业中使用TableOutputFormat作为输出，或者使用标准的客户端API，但是这些都不非常有效的方法。 Bulkload利用MapReduce作业输出HBase内部数据格式的表数据，然后

2015-08-05 13:38:59 13816 7

原创 HBase Split

HBase表的结构如下：每个Table由若干个Region组成，每个Region由若干个Store组成(每个列组构成一个Store)，每个由一个MemStore和若干个StoreFiles(HFiles)组成，每个StoreFile由若干个Blocks组成。HBase对表进行split有三种方式：Pre-splitting，Auto splitting，Forced Splits。Pre-s

2015-08-04 11:39:13 7231

原创 Hive本地模式安装及遇到的问题和解决方案

Apache Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive有三种运行模式： 1.内嵌模式：将元数据保存在本地内嵌的Der

2015-06-14 19:37:36 18115 4

原创 Cloudera Manager 5和CDH5离线安装

CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive

2015-05-22 19:46:24 34985 5

翻译 ArrayList vs. LinkedList vs. Vector

翻译自：ArrayList vs. LinkedList vs. Vector1.列表概览就像它的名字一样，List是一个元素的有序序列。当我们讨论列表时把它与Set(两两不等且无序的元素集合)进行比较是一个好主意。下面是容器的类层次图。从这个层次图中可以了解Java容器的一般概念。 2.ArrayList vs. LinkedList vs. Vector从上图可知，它们都实现了List接口，而

2015-04-13 20:56:37 1033

翻译在Java中怎样把数组转换为ArrayList?

翻译自：How to Convert Array to ArrayList in Java? 本文分析了Stack Overflow上最热门的的一个问题的答案，提问者获得了很多声望点，使得他得到了在Stack Overflow上做很多事情的权限。这跟我没什么关系，我们还是先看看这个问题吧。这个问题是”在Java中怎样把数组转换为ArrayList?”Element[] array = {new

2015-04-13 19:49:34 2007 1

翻译十个最常见的Java字符串问题

翻译自：Top 10 questions of Java Strings 1.怎样比较字符串？用”==”还是用equals()?简单地说，”==”测试两个字符串的引用是否相同，equals()测试两个字符串的值是否相同。除非你希望检查两个字符串是否是同一个对象，否则最好用equals()。如果你知道字符串驻留机制会更好。2.为什么对于安全性敏感的信息char[]要优于String？字符串是不变的

2015-03-30 23:03:22 1333

翻译 Java开发者常犯的十个错误

翻译自：Top 10 Mistakes Java Developers Make 文章列出了Java开发者最常犯的是个错误。1.将数组转换为ArrayList为了将数组转换为ArrayList，开发者经常会这样做：List<String> list = Arrays.asList(arr);Arrays.asList()会返回一个ArrayList，但这个ArrayList是Arrays的私有静态类

2015-03-29 11:43:50 1136

原创 LeetCode -- Regular Expression Matching 【算法】

Implement regular expression matching with support for '.' and '*'.'.' Matches any single character.'*' Matches zero or more of the preceding element.The matching should cover the entire inp

2015-01-19 16:35:08 1227

转载 ArrayList vs. LinkedList vs. Vector

原文链接： Programcreek 翻译： ImportNew.com- 唐小娟译文链接： http://www.importnew.com/8782.html1. List概览List，就像它的名字暗示的一样，是一组排列有序的元素。当我们讨论List的时候，很容易将它和Set作比较。Set是一组唯一的而且排列无序的元素。下图是集合类的层次结构图。你可以总体上

2014-12-07 15:34:58 905

转载 HashMap vs. TreeMap vs. Hashtable vs. LinkedHashMap

Map是最重要的数据结构。这篇文章中，我会带你们看看HashMap, TreeMap, HashTable和LinkedHashMap的区别。1. Map概览Java SE中有四种常见的Map实现——HashMap, TreeMap, Hashtable和LinkedHashMap。如果我们使用一句话来分别概括它们的特点，就是：HashMap就是一张hash表，键和值都没有排序。T

2014-12-07 15:17:06 831

转载 HashMap和Hashtable的区别

原文链接： Javarevisited 翻译： ImportNew.com- 唐小娟译文链接： http://www.importnew.com/7010.htmlHashMap和Hashtable的比较是Java面试中的常见问题，用来考验程序员是否能够正确使用集合类以及是否可以随机应变使用多种思路解决问题。HashMap的工作原理、ArrayList与Vector的比较以

2014-12-07 14:04:20 793

原创两个有序数组的中位数【算法】

有两个有序数组A和B，设计算法求出A和B的中位数。情况1. 数组A、B长度相等，设为n。1）分别计算A和B的中位数m1和m2。2）比较m1和m2。如果m1等于m2，那么最终结果就是m1(m2)。3）如果m1大于m2，那么中位数必定在和两个子数组中。4）如果m1小于m2，那么中位数必定在和两个子数组中。5）重复上述步骤，直至两个子数组的大小均为2，那么最终结果为。

2014-12-06 19:53:57 1636

原创全排列算法(字典序法、SJT Algorithm 、Heap's Algorithm)

一、字典序法1) 从序列P的右端开始向左扫描，直至找到第一个比其右边数字小的数字，即。2) 从右边找出所有比大的数中最小的数字，即&space;a_{i},&space;j>&space;i&space;\right&space;\}" title="a_{k}=min\left \{ a_{j}|a_{j}> a_{i}, j> i \right \}" alt="">。3) 交换与

2014-11-27 15:33:11 6042

原创 POJ1056 IMMEDIATE DECODABILITY【数据结构】

题目地址：http://poj.org/problem?id=1056DescriptionAn encoding of a set of symbols is said to be immediately decodable if no code for one symbol is the prefix of a code for another symbol. We w

2014-11-16 13:51:58 1627

原创 Windows下OpenCV的环境配置

首先去官网下载所需版本的OpenCV(我这里下载的是OpenCV2.4.9)，然后安装(也就是解压缩)到某个地方(个人推荐解压到硬盘的根目录)。解压完成后，可以得到如下的目录结构(版本不同，可能会有一些差别)然后就可以按照下面的图示配置环境变量了。1)2)3)4)5) 注意前

2014-11-08 15:28:10 19989

原创 Science论文"Clustering by fast search and find of density peaks"学习笔记

"Clustering by fast search and find of density peaks"是今年6月份在《Science》期刊上发表的的一篇论文，论文中提出了一种非常巧妙的聚类算法。经过几天的努力，终于理解并用python实现了文中的算法，下面与大家分享一下自己对算法的理解及实现过程中遇到的问题和解决办法。首先，该算法是基于这样的假设：类簇中心被具有较低局部密度的邻居点

2014-10-22 22:33:41 32872 126

原创 OpenCV和Matplotlib色彩空间模式不一致的问题

当用OpenCV读取彩色图像时，OpenCV是以(BGR)的顺序存储图像数据的，而Matplotlib是以(RGB)的顺序显示图像的。可以用下面的程序来证明这一点import cv2import numpy as npimport matplotlib.pyplot as pltimg = cv2.imread('lena_std.tif')b,g,r = cv2.split(i

2014-10-14 20:23:24 4898 1

转载 Using OpenCV Java with Eclipse

Using OpenCV Java with EclipseSince version 2.4.4 OpenCV supports Java. In this tutorial I will explain how to setup development environment for using OpenCV Java with Eclipse inWindows, so yo

2014-09-15 16:10:46 1308

原创 KMeans聚类算法Hadoop实现

Assistance.java 辅助类，功能详见注释package KMeans;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apa

2014-04-17 21:12:06 21232 97

转载 Ubuntu环境变量——添加与删除

转自：http://beanocean.diandian.com/post/2013-11-09/40060047963转自：

2014-04-10 11:21:20 18948

转载 hadoop 学习笔记：mapreduce框架详解

转自http://www.cnblogs.com/sharpxiajun/p/3151395.html开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只

2014-04-04 09:57:32 2602 1

原创 Hadoop示例程序WordCount编译运行

首先确保Hadoop已正确安装及运行。将WordCount.java拷贝出来$ cp ./src/examples/org/apache/hadoop/examples/WordCount.java /home/hadoop/在当前目录下创建一个存放WordCount.class的文件夹$ mkdir class编译WordCount.java$ jav

2014-03-26 11:44:09 7975 3

原创九度 1420 Jobdu MM分水果 -- 动态规划、深度优先搜索

题目地址：http://ac.jobdu.com/problem.php?pid=1420题目描述：Jobdu团队有俩PPMM，这俩MM干啥都想一样。一天，富强公司给团队赞助了一批水果，胡老板就把水果派发给了这俩MM，由她们自行分配。每个水果都有一个重量，你能告诉她们怎么分才使得分得的重量差值最小吗？输入：输入有多组数据，每组数据第一行输入水果个数n(1

2014-03-15 11:43:47 2921 1

原创九度 1415 不一样的循环队列【数据结构】

题目地址：http://ac.jobdu.com/problem.php?pid=1415题目描述：大家都知道数据结构里面有一个结构叫做循环队列。顾名思义，这是一个队列，并且是循环的。但是现在，淘气的囧哥给这个循环队列加上了一些规矩，其中有5条指令:(1) Push K, 让元素K进队列。(2) Pop，对头元素出队列。(3) Query K，查找队列中第K个元素，注意K的

2014-03-15 10:34:43 1714

原创九度OJ 1541 二叉树【数据结构】

题目地址：http://ac.jobdu.com/problem.php?pid=1541题目描述：旋转是二叉树的基本操作，我们可以对任意一个存在父亲节点的子节点进行旋转，包括如下几种形式（设被旋转节点为x，其父亲节点为p）：1.左旋旋转前，x是p的右儿子。x的左儿子（若存在）变为p的右儿子，p变为x的左儿子。如下图2.右旋旋转前，x是p的左儿子

2014-03-09 11:48:39 1430

原创九度OJ 1402 特殊的数 -- 位操作

题目地址：http://ac.jobdu.com/problem.php?pid=1402题目描述：现在有n个数，其中有一些出现了一次，一些出现了两次，一些出现了很多次。现在要求你找出那些只出现一次的数，并按升序输出。输入：本题有多组case。每个case有两行，第一行输入一个n，表示有n个数，1第二行有n个数字。每个数字的大小范围[1, 1

2014-03-08 11:06:32 1475

原创九度OJ 1385 重建二叉树

题目地址：http://ac.jobdu.com/problem.php?pid=1385题目描述：输入某二叉树的前序遍历和中序遍历的结果，请重建出该二叉树。假设输入的前序遍历和中序遍历的结果中都不含重复的数字。例如输入前序遍历序列{1,2,4,7,3,5,6,8}和中序遍历序列{4,7,2,1,5,3,8,6}，则重建二叉树并输出它的后序遍历序列。输入：输入可能包

2014-03-07 19:32:29 2649

原创九度OJ 1386 旋转数组的最小数字【算法】

题目地址：http://ac.jobdu.com/problem.php?pid=1386题目描述：把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。输入一个递增排序的数组的一个旋转，输出旋转数组的最小元素。例如数组{3,4,5,1,2}为{1,2,3,4,5}的一个旋转，该数组的最小值为1。输入：输入可能包含多个测试样例，对于每个测试案例，输入的第一行

2014-03-07 19:11:37 1618

原创九度OJ 城际公路网 -- 图论

题目地址：http://ac.jobdu.com/problem.php?pid=1343题目描述：为了加快城市之间的通行和物资流动速度，A国政府决定在其境内的N个大中型城市之间，增加修建K条公路。已知这N个城市中的任意两个都能相互连通，且已知其最短的路径长度。为了时刻监测修建新路对A国城市的影响，特任命你为观察员，负责在每修建完一条公路之后，就向该国领导汇报当前N个城市间的最短路之和

2014-03-07 11:12:20 1713 3

原创 POJ 2559 Largest Rectangle in a Histogram -- 动态规划

题目地址：http://poj.org/problem?id=2559DescriptionA histogram is a polygon composed of a sequence of rectangles aligned at a common base line. The rectangles have equal widths but may have differe

2014-03-06 09:25:29 3972

原创九度OJ 1499 项目安排 -- 动态规划

题目地址：http://ac.jobdu.com/problem.php?pid=1499题目描述：小明每天都在开源社区上做项目，假设每天他都有很多项目可以选，其中每个项目都有一个开始时间和截止时间，假设做完每个项目后，拿到报酬都是不同的。由于小明马上就要硕士毕业了，面临着买房、买车、给女友买各种包包的鸭梨，但是他的钱包却空空如也，他需要足够的money来充实钱包。万能的网友

2014-03-05 15:14:32 1854

算法的python实现代码、测试数据集及结果

Vim中文用户手册

A fast algorithm for computing a longest common increasing subsequence

linux-commands-cheat-sheet

全中文-MFC类库详解.chm

空空如也