godfrey90-CSDN博客

原创 Hive Metastore 代码简析

1. hive metastore 内部结构1.1 包结构从package结构来看，主要的5个package，让我们来看看这几个package的内容(1) metastorepackage是metastore 模块的入口，也是整个metastore模块的核心所在，里面包含了HiveMetaStore类作为整个模块的核心，接收来自hive的请求，返回需要的信息。(2)

2013-07-31 18:52:27 4110 5

原创 Hive Metastore 初探

1. What is Hive Metastore? The Hive metastore service stores the metadata for Hive tables and partitions in arelational database, and provides clients (including Hive) access to thisinformation vi

2013-07-30 11:23:11 3662 1

转载 How to Fix (errno: 24, error: 17) in MySQL

How to Fix an (errno: 24) in MySQL转自：http://info.solomonson.com/content/how-fix-errno-24-mysqlWhen creating a large number of partitions or tables, MySQL may mysteriously stop working and yo

2013-01-11 09:23:36 1260

原创 RASE分布式计算系统

1.引入 ranking and selection engine(RASE)是一个特定的分布式计算框架，用于通过ranking and selection算法进行的分布式simulation计算。通过一个例子简单介绍一下RASE的作用，现在有1000名乒乓球运动员，我们需要从他们中选出一名实力较强的运动员代表国家去比赛。如何看谁的实力强呢？我们需要进行一些比

2012-10-09 16:15:01 1233

原创 mysql通过binlog进行增量备份

在备份mysql数据的时候，可能会遇到数据基数很大的情况，如果每天都备份整个全库，将会耗费很大的资源，这个时候就可以通过binlog进行增量备份，每天记录一个breakpoint，备份的时候从前一天breakpoint往后进行增量备份就可以了。还有一种情况也可以用到增量备份，那就是在线迁移数据的时候，在不停服务的情况下迁移全库数据就可以采用增量备份补充增量数据。通过binlog进行增量备份时如

2012-09-25 15:23:28 1761

原创数据库连接池探究

1.简介数据库连接是一种关键的有限的昂贵的资源，这一点在多用户的网页应用程序中体现得尤为突出。对数据库连接的管理能显著影响到整个应用程序的伸缩性和健壮性，影响到程序的性能指标。数据库连接池正是针对这个问题提出来的。数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而再不是重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放

2012-05-18 17:09:49 1130 1

原创 Linux服务器之间建立信任关系

我们经常会遇到这样的情况，从一个linux服务器ssh另外一台linux服务器，或者使用scp或rsync从一台linux服务器传数据到另外一台linux服务器。每次操作的时候都需要输入密码进行验证。如果我们在服务器之间建立信任关系的话则不需要每次都输入密码了。建立信任关系如下：(1) 切换到需要建立信任关系的用户根目录(2) 执行命令：ssh-keygen -d提示Ente

2012-02-28 19:20:12 1481 1

原创初涉linux内核

刚开始接触linux内核，首先将linux内核进行编译，遇到一些问题，最后虽然解决了，但是还不是完全清楚问题的本质，写这篇日志，记录一下，以便日后慢慢研究。1.下载linux内核在http://kernel.org/ 下载了2.6.39.4版本的内核，下载的是.bz文件，

2011-10-13 18:37:57 1048 2

转载 WordPress定时备份到Dropbox

转自：http://nuo.im/2521Dropbox是世界上最流行个人网盘，几乎跨所有系统都有客户端（iPhone, iPad, android, Windows, Mac, Lunix）。免费右2G的空间。国内类似的金山，腾讯的产品都是山寨产

2011-10-09 20:10:42 1272 3

原创 NoSQL学习笔记(三)之BigTable

对于学习NoSQL的人来说，Google的BigTable的论文是必不可少要阅读的。在NoSQL领域，BigTable算是比较早的也是比较成熟的运用在应用上的产品。Google这么多年的稳定性能足以说明BigTable的优秀。于是最近我也看了BigTable的论文和网上一些关于B

2011-09-25 14:05:51 4577

原创 Linux内核模块

1.单内核体系和微内核体系1.1微内核（Microkernelkernel）微内核体系的结构特点是操作系统的核心部分是一个很小的内核，实现一些最基本的服务，如创建和删除进程，内存管理，中断管理等等，而文件系统，网络协议等其他部分都在微内核外的用户空间里运

2011-09-19 12:08:04 1217

原创 NoSQL学习笔记(二)之CAP理论

1.CAP概述CAP理论是由EricBrewer教授提出的，在设计和部署分布式应用的时候，存在三个核心的系统需求，这个三个需求之间存在一定的特殊关系。三个需求如下：C: Consistency 一致性A: Availability 可用性P:Partition T

2011-09-06 21:43:29 8409 2

原创 NoSQL学习笔记(一)之概述

1.综述 NoSQL数据库是一个对于传统SQL数据库的一种挑战，由于现在企业和互联网应用数据量的膨胀，SQL已经不能支持这样的海量数据的分布式存储和高速读写，所以NoSQL应运而生。NoSQL通过key-value这样一种简单高效的数据存储方式提高了数据库性能。

2011-08-21 15:14:04 2364

原创 Log4j配置

1.Log4j是什么，引用一下百科上的解释 Log4j是Apache的一个开放源代码项目，通过使用Log4j，我们可以控制日志信息输送的目的地是控制台、文件、GUI组件、甚至是套接口服务器、NT的事件记录器、UNIXSyslog守护进程等；我们也可以控制每一条日志

2011-08-11 10:33:50 2285

原创学习开源框架WebX的总结

1.webx框架的基础知识1.1.框架整体理解从整体上来说，webx框架是一个可定制可扩展的javaEE框架。为什么说它是可定制可扩展的，其根本原因在于webx框架的层次性和继承性的，webx分为3大层次，SpringExt，Webx Fra

2011-08-10 23:16:45 6966 6

转载 SecureCRT 使用指南

http://www.blog.chinaitlab.com/html/13/292613-163073.html注：在破解SecureCRT 的时候要将杀毒软件关闭才能解压注册补丁。

2011-07-06 14:58:00 1248

转载 Bloom Filter 原理与应用

转自：http://blog.huang-wei.com/2010/11/02/bloom-filter/ 介绍Bloom Filter是一种简单的节省空间的随机化的数据结构，支持用户查询的集合。一般我们使用STL的std::set, stdext::hash_set，std::set是用红黑树实现的，stdext::hash_set是用桶式哈希表。上述两种数据结构，都会需要保存

2011-06-20 20:57:00 1488

转载并发相关

今天看到一篇文章，和我看《Thinking in java》时的笔记很相似，便转过来了，作为《Thinking in java》并发这一块的总结转自：http://wangyang0311.iteye.com/blog/7078941:实现Runnable接口并编写run()方法 2:Thread.yield()的含义是对线程调度器的一种建议，通常是切换线程 3:ExecutorServi

2011-06-11 00:24:00 1674 1

原创数据库索引问题

遇到的问题前提如下：一张包含四个字段的表，表名为test，表中有100万条记录。第一列为id，主键，自增。第二列为col1，随机为Mike，Bob，Jack，Alice，Cathy，Ann，Betty，Cindy，Mary，Jane中的一个第三列为col2，随机为一个5位字母，字母限制在a-e 第三列为col3

2011-06-10 20:16:00 1376

原创数据库插入百万数据

这是对一次数据库作业的深究首先说一下作业题目要求：建立一张包含四个字段的表，表名为test 第一列为id，主键，自增。第二列为col1，随机为Mike，Bob，Jack，Alice，Cathy，Ann，Betty，Cindy，Mary，Jane中的一个第三列为col2，随机为一个5位字母，字母限

2011-06-09 20:54:00 8462 7

原创搜索引擎体系结构设计

最近在做一个关于搜索引擎方面的项目，于是乎研究了一点关于搜索引擎方面的东西。我们的目标是做一个轻量级的搜索引擎，相对真正的商业搜索引擎来说还是较为简单的。对于搜索引擎这样的项目来说，我觉得重点在于质量要求，对于功能要求可能会弱一点。高并发，高存储量和快速查询是一个搜索引擎的命脉，而在功能上重点要注意的是几个算法的实现。以前做的项目大多数只是注重功能的实现，对于性能的要求很低，而这次的项目则要求

2011-06-07 13:55:00 2528

转自 http://www.cnbeta.com/articles/142896.htm 感谢PHP - JavaScript的投递 流行的 JavaScript 库有jQuery，MooTools，Prototype，Dojo和YUI等，这些 JavaScript 库功能丰富，加上它们众多的插件，几乎能实现任何你需要的功能，然而需要实现一些特定的功能，则可以选择功能更专一的轻量库，今天这篇文章与大家分享16个很有用的 JavaScript 库。<b

2011-05-17 21:51:00 721

原创几道面试到的算法题

1.如何判断一个链表是否为循环链表一个错误的想法：将一个指针p指向头节点，另一个指针q往后遍历，如果直到q为null时任然没有遇到q==p的情况，那么不是循环链表，如果在其中遇到q==p的情况，则此为循环链表。这种想法的错误之处在于没有考虑到A->B->C->D->B这种循环不包括第一个节点的情况。一个比较笨的想法：遍历整个链表，将遍历到的节点地址放到集合中，每次都比较一下新的节点和集合中的节点，如果有重复的，则出现循环链表。可以解决，但是要耗费大量的空间和时间。比较好的想法：两个指针同时第一个节点，一个指

2011-05-17 13:52:00 899 2

原创 Dev C++ 4.9.9.2 调试

Dev C++ 4.9.9.2里面默认的是不开启debug功能的，需要开启debug,做如下步骤：1. 点击工具->编译选项. 在编译器标签中, 勾选下面的2个选项编译时加入以下命令在连接器命令时加入以下命令然后在每个框框里面输入 –g32. 在程序标签里面，修改gcc 和 g++编译参数： gcc: gcc.exe –D__DEBUG__ g++: g++.exe –D__DEBUG__ 主意D和DEBUG后面都是2个连着的下划线3. 然后点击OK。重新编译，

2011-04-26 12:29:00 2716 1

转载 KMP算法深度解析

转自：http://blog.csdn.net/liuben/archive/2009/08/04/4409505.aspx 摘要：KMP算法是字符串匹配的经典算法，由于其O(m+n)的时间复杂度，至今仍被广泛应用。大道至简，KMP算法非常简洁，然而，其内部却蕴含着玄妙的理论，以至许多人知其然而不知其所以然。本文旨在解开KMP算法的内部玄妙所在，希望能够有助于学习与理解。1、KMP算法一种改进的字符串匹配算法，由D.E.Knuth与V.R.Pratt和J.H.Morris同时发现，因此称之为KMP算

2011-04-10 23:01:00 724

转载二维数组传参||传值

先给出问题： 像下面这样的数组，在函数中如何传参？也就是说如何保证虚参与实参类型一致。 char str_arr[3][10] = {"yes","no","uncertain"}; char *str_array[] = {"yes","no","unsure"}; 函数原型： void func1( char (*a)[10] ) void func

2011-03-18 23:52:00 6513 2

转载 Linux操作系统下的串口通信学习笔记

转自：http://blog.csdn.net/zxg623/archive/2007/09/26/1802248.aspx 一、什么是串口通信 串口通信是指计算机主机与外设之间以及主机系统与主机系统之间数据的串行传送。使用串口通信时，发送和接收到的每一个字符实际上都是一次一位的传送的，每一位为1或者为0。 二、串口通信的分类 串口通信可以分为同步通信和异步通信两类。同步通信是按照软件识别同步字符来实现数据的发送和接收，异步通信是一种利用字符的

2011-03-16 13:43:00 1122

转载关于编辑指令Sed

转自：http://www.pczpg.com/html/caozuoxitong/Lunix_Unix/20090610/6404_4.html sed简介： sed 是一个精简的、非交互式的编辑器。它能执行与编辑vi和emacs相同的编辑任务。sed编辑器不提供交互使用方式：只能在命令行输入编辑命令、指定文件名，然后在屏幕上察看输出。sed编辑器没有破坏性。它不会修改文件，除非用shell重定向来保存输出结果。缺省情况下，所以的输出都被打印到屏幕上。<br

2011-02-28 19:42:00 609

转载浅析HTTP协议

HTTP协议是什么？ 简单来说，就是一个基于应用层的通信规范：双方要进行通信，大家都要遵守一个规范，这个规范就是HTTP协议。 HTTP协议能做什么？ 很多人首先一定会想到：浏览网页。没错，浏览网页是HTTP的主要应用，但是这并不代表HTTP就只能应用于网页的浏览。HTTP是一种协议，只要通信的双方都遵守这个协议，HTTP就能有用武之地。比如咱们常用的QQ，迅雷这些软件，都会使用HTTP协议(还包括其他的协议)。 HTTP协议如何工作？<br

2010-12-25 19:41:00 628

原创 android画统计图的chart engine

今天在一个论坛上看到的 - Java4Less (http://java4less.com/charts/chart.php?info=android) - Chart4J (http://code.google.com/p/charts4j/) - BlueChart (http://code.google.com/p/bluechart/) - aChartEngine (http://code.google.com/p/achartengine/

2010-12-13 15:20:00 8057 2

转载移动设备智能化的基石–从iPhone4的传感器谈起

毫无疑问，今天的智能手机已经是人们注目的焦点，作为移动计算最坚定的鼓吹者，我实在想不出它将来不风卷整个世界的理由。它小巧，易携，功能却很强大，可以用它当照相，摄像，玩游戏，玩虚拟现实应用，当然，最重要的一点，就是可以拿来装B。它可以通过你的不同动作来辨别你对它的控制期许，根据你的使用情况进行实时反馈。它是未来数字世界智能化的先锋，也是单身青年的泡妞利器。但是，在你在无聊时大玩Labyrinth2迷宫滚球时，当你在追女孩时拿出手机在Google Map上找酒吧时，当你手持iPad在飞机上低调不语还

2010-12-06 13:32:00 3595 1

原创 android度量相对于地球坐标系的加速度

1.android测量数据(1)android设备坐标系 x0 ^ | +-----------+--> y>0 | | | | | | | | / z | | / | | / O-----------+/ |[] [ ] []/ +----------

2010-11-15 01:04:00 7625 18

原创 android设备连接到pc进行应用程序调试

将android设备用USB的连接线连接到电脑上以后可以将编写的android应用在设备上运行以进行debug。 我的环境： 设备HTC G7 操作系统android 2.1 update1 PC操作系统为ubuntu9.10 IDE：eclipse3.5.1(安装了ADT) 1设备设置和连接 1.1打开设备的设置->应用程序->开发，勾上US

2010-11-12 14:49:00 5517

转载从Android界面开发谈起

转自：http://blog.csdn.net/nieweilin/archive/2010/10/26/5967815.aspx 这篇文章没有打算有一个很好的逻辑去介绍android的某个方面，全盘大致上就是我接触、了解android的ui开发后到现在的一些感想以及个人理解吧！ 全文可能会涉及到java、android开发、android源码研究、设计模式等各方面的初级知识，属于典型的杂侃天下，深入研究还需要各位和我一起给力、加油了！<br

2010-11-04 16:54:00 15395 11

原创 wordpress站点的统计

通过Google Analytics和Google Analytics for WordPress插件可以很好的对wordpress博客站点进行统计 Google Analytics网址：http://www.google.com/analytics/ Google Analytics for WordPress网址：http://wordpress.org/extend/plugins/google-analytics-for-wordpress/ <

2010-10-24 01:08:00 1542

原创云计算初探

1.首先云计算不仅仅是一种技术，而更重要的是一种理念。根据李开复的意思就是说互联网是一朵云，网名能连接到这朵云，进行一系列的计算与资源的共享。 2.就云计算的技术而言，它与分布式计算，网格计算，SaaS等一系列的技术相关。 3.云计算的概念和云存储，云安全，云备份，云备灾等一系列的概念相联系。 4.IBM将云计算与智慧地球和物联网能一系列的与经济，生活相关的东西有所联系。 5.微软提出了云端的概念，强调了云与端的结合，体现了微软之前一直做的客户端软件。<b

2010-10-23 00:00:00 609

原创 Windows平台的Subversion服务器搭建

1.准备工作 1.1 下载apache2.2，下载地址httpd-2.2.16-win32-x86-openssl-0.9.8o.msi 1.2 下载apache SVN的服务器，下载地址Setup-Subversion-1.6.13.msi 1.3 下载tortise客户端，下载地址TortoiseSVN-1.6.11.20210-win32-svn-1.6.13.msi 分别安装这3个软件，安装过程比较简单，不赘述。tortoise安装完毕后要求重启电

2010-10-17 14:41:00 661

转载 Android 中的拿来主义(编译，反编译，AXMLPrinter2,smali,baksmali)!

一、前言： 大家好，今天给大家分享一下Android中的拿来主义，我们时常会碰到一个自己觉得很漂亮很帅气的应用(apk),所以我们会尝试用WinRAR等之类工具查看，而一般的应用程序打包后的目录通常是这样的如下图： 当然res里的图片是可以拿来就用的(笔者的好多应用的图片都是从别人的apk里扣出来的)，而诸如layout里的布局及权限文件 (AndroidManifest.xml)已经是一堆乱码了，完全看不懂，想看看别人是怎么布局的都不容易。还有源

2010-10-14 00:24:00 788

原创 Android研究之Activity组件

1综述：(1)这里说的activity不是一个类(类Activity)，而是指一些用户自定义类，这些类都继承了类Activity，他们具有同样的性质，故我们统称他们为activity。(2)activity是android应用程序的一个重要的组成部分。一个activity对象就是一个与用户交互的UI界面。在activity上承载了一个或者多个view(即视图)，打个最简单的比方就是说，一个聊天界面，就是一个activity，其中聊天窗口，头像窗口等等就是一个个view。(3)一个应用程序可以是一个activ

2010-10-05 10:53:00 1429 2

原创 Android研究之 SDK

1.SDK首先说说SDK，它指软件开发工具包（Software Development Kit）一般是一些被软件工程师用于为特定的软件包、软件框架、硬件平台、操作系统等创建应用软件的开发工具的集合。既然是工具包，一般情况下包括一些运行环境库，技术文档，示例代码，调试和运行工具等。总之，整个SDK的目的是为了方便程序员进行一系列的学习于开发。2.Android SDK(2.2 Platform)Android SDK默认情况下是包含tools的文件夹的，其他的组件是需要通过Android SDK and AV

2010-09-27 20:19:00 2038 1

java语言写的简单的画图板代码

空空如也