- 博客(48)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 Hive与数据库的异同
<br />由于Hive采用了SQL的查询语言HQL，因此很容易将Hive理解为数据库。其实 从结构上来看，Hive和数据库除了拥有类似的查询语言，再无类似之处。本文将从多个方面来阐述Hive和数据库的差异。数据库可以用在Online的应用中，但是Hive是为数据仓库而设计的，清楚这一点，有助于从应用角度理解Hive的特性。<br /><br />1.查询语言。由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的
2011-05-04 22:47:00
374
转载 基于Hive的日志数据统计实战
<br />一、Hive简介<br />Hive 是一个基于 hadoop 的开源数据仓库工具，用于存储和处理海量结构化数据。 它把海量数据存储于 hadoop 文件系统，而不是数据库，但提供了一套类数据库的数据存储和处理机制，并采用 HQL （类 SQL ）语言对这些数据进行自动化管理和处理。我们可以把 hive 中海量结构化数据看成一个个的表，而实际上这些数据是分布式存储在 HDFS 中的。 Hive 经过对语句进行解析和转换，最终生成一系列基于 hadoop 的 map/reduce 任务，通过
2011-05-04 16:52:00
545
原创 为解决扩展性瓶颈雅虎计划重构Hadoop-MapReduce
<br />最近雅虎开发者博客发了一篇介绍Hadoop重构计划的文章。因为他们发现当集群的规模达到4000台机器的时候，Hadoop遭遇到扩展性的瓶颈，目前他们正准备开始对Hadoop进行重构。 <br /> <br />Mapreduce面临的瓶颈 <br /> <br />从集群大小和工作量中观察到的趋势是，MapReduce的JobTracker需要彻底改革，以解决其可扩展性，内存消耗，线程模型，可靠性和 性能的几个缺陷。Mapreduce在过去5年框架不断的修复过程中发现成本在不断增加。目前Hado
2011-05-04 14:58:00
692
转载 基于Eclipse的Hadoop应用开发环境的配置
<br /><br />基于Eclipse的Hadoop应用开发环境的配置 http://blog.sina.com.cn/s/blog_537770820100byho.html<br />配置好了Hadoop运行环境，下一步就要配置，开发环境了。实际上开发环境很好配置，网上很多的帖子，都指向了IBM提供的Hadoop开发工具，这个工具很好用。大家打开这个网址，很容易就能Step by step搞定，http://www.alphaworks.ibm.com/tech/mapreducetools。但是细
2011-05-04 14:55:00
485
原创 jvm command option
<br />-server -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+UseParallelGC -XX:+UseParallelOldGC -Xmx4000m -Xms4000m -Dcom.sun.management.jmxremote -Djava.rmi.server.hostname=172.22.10.252 -Dcom.sun.management.jmxremote.port=8999 -Dcom.sun.m
2011-04-02 13:47:00
342
转载 如何向妻子解释OOD
如何向妻子解释OOD前言<br /> 此文译自CodeProject上<How I explained OOD to my wife>一文，该文章在Top Articles上排名第3，读了之后觉得非常好，就翻译出来，供不想读英文的同学参考学习。<br /> 作者(Shubho)的妻子(Farhana)打算重新做一名软件工程师(她本来是，后来因为他们孩子出生放弃了)，于是作者就试图根据自己在软件开发设计方面的经验帮助她学习面向对象设计(OOD)。<br /> 自作者从事软件开发开始，作者常常注意到不管技
2011-01-28 13:14:00
270
转载 数字电视平移加速 经济“重塑”电视运营
中国有线数字电视的整体平移正在加速。 截至2005年，全国用户数达到413万户，比2004年的97万增长了325％。而从2006年初开始，广电总局也出台了一系列政策，以取消试点资格和优惠政策来鼓励和敦促各地的广电部门，因地制宜的推动数字电视在中国市场之上的推广。 然而，与1.26亿户的全国有线电视用户相比，413万用户只能算是沧海一粟。这个数字距离2003年广电总局发布的”“数字化”目标也
2007-10-09 09:09:00
507
转载 让Subversion和Visual Studio 2005一起工作
工具准备：VS2005.Subversion,撰写此文时的最新版本是1.4.2,官方网站http://subversion.tigris.orgTortoiseSVN,撰写此文时的最新版本是1.4.1.7992,官方网站http://tortoisesvn.net,该软件有中文汉化包VisualSVN，让VS2005支持SVN的插件。该软件必须和TortoiseSVN配套使用。撰写此文时的版本是1
2007-10-07 22:40:00
1340
转载 善用Wink，将电脑操作录屏为flash
1. 需求 工作或学习中，常有人问到一些软件如何操作的问题。口说太不直观，如果把操作屏幕录下来，做成动画多好。如果动画上，能暂停，加入注释、声音，岂不是更妙。既然这么有用，当然出现了很多商业或共享软件。但我要推荐的，却是一款免费件——wink。 xbeta认为，除去免费软件本身的优势，它还有三大优点： ① 软件小巧：2.0版安装文件 2.8M；安装后占空间6M（多数是素材、例子、语言文件
2007-10-07 22:39:00
1230
转载 [转载]说说大型高并发高负载网站的系统架构
By Michael转载请保留出处：俊麟 Michael’s blog (http://www.toplee.com/blog/?p=71)Trackback Url : http://www.toplee.com/blog/wp-trackback.php?p=71 我在CERNET做过拨号接入平台的搭建，而后在Yahoo&3721从事过搜索引擎前端开发，又在MOP处理过大型社区猫
2007-09-30 09:04:00
988
原创 Reactor模式和NIO
本文可看成是对Doug Lea Scalable IO in Java一文的翻译。当前分布式计算 Web Services盛行天下，这些网络服务的底层都离不开对socket的操作。他们都有一个共同的结构：1. Read request2. Decode request3. Process service4. Encode reply5. Send reply经典的网络服务的设计如下图，在每
2007-09-21 09:12:00
598
原创 【转】 Linux系统双机热备的方案
目前，双机和集群采用的操作系统主要有UNIX、Linux、BSD及微软公司的Windows NT/2000。随着Linux的迅速发展，稳定性、安全性及功能的不断增强，人们对Linux的使用越来越广泛，Linux已成为服务器市场中的一个重要操作系统，基于Linux的双机和集群系统也越来越多。Linux集群的主要优点有：高可靠性、高性能、低成本等等。1.1 概述1.1.1 实现目的
2007-08-14 09:29:00
6357
原创 基于Java的GPS接收机解析器
[摘要]本文介绍了一个基于Java的GPS 接收机解析器。这个Java类通过解析标准GPS接收机的输出信号，能够为导航与控制系统提供GPS 时钟、经度、纬度、高程等一系列信息。本类库使用标准Java语言编写，不需要任何第三方通讯类库（包括Sun 公司的Java通讯API ）的支持，稍加修改即可被广泛应用在各种便携式设备和嵌入式系统中。[介绍]全球定位系统 （Global Positio
2007-04-05 10:09:00
4250
2
原创 在Struts应用中施展Ajax魔法
AJAX是“异步的JavaScript和XML”的缩写。这是一项技术，而不是一个如Struts一样的框架。为什么在AJAX周围会有这么多的关注呢?这是因为AJAX使web页面看起来并不像一个平面的文档，而更像用户所期望的如桌面应用的动态GUI应用程序。AJAX技术能在很多的浏览器上使用(包括IE和Netscape/Mozilla)。它已经为Microsoft(用于Outlook的web客户端)和G
2007-02-27 11:18:00
728
原创 工作流基本概念: 什么是工作流？
工作流：两个或两个以上的人，为了共同的目标，连续的以串行或并行的方式去完成某一业务。业务：工作流所指业务涵盖了与经营相关的活动。 串行或并行：业务中的步骤也许以一步接着一步的方式进行，我们称之为串行；或者由不同的人或组合根据不同的情况处理，我们称之为并行。 两个或两个以上的人：如工作流的名称所表达的含义，一个人处理的业务不称其为工作流
2007-01-11 17:37:00
1030
转载 我的最小项目管理工具集
2006年JOLT大奖（http://www.sdmagazine.com）的得奖名单：企业项目管理：WelcomRisk 2.6（Welcom）缺陷跟踪、变更与配置管理：Perforce SCM 2005（Perforce）设计与建模：Lattix LDM 2.0（Lattix）项目质量管理：Rally 5.6（Rally Software Development）测试工具:
2006-12-20 14:34:00
868
转载 基于Mapserver的WebGIS下Java环境配置与JSP例子
mapserver通过Mapscript支持各种解释型语言，像C#,java、TCL、 PHP，完成这项工作是通过swig这个开源工具进行的，swig可以对c/c++代码打包成各种脚本语言可以的代码库。swig这个伟大的工具对mapserver的c代码进行了打包。俺太喜欢这个swig了，网上这么的c/c++开源库，要是咱们用到某方面的功能，下一个，然后用swig打包，这样我们就看在java或者c
2006-12-20 14:09:00
1981
2
原创 使用开源项目打造GIS应用系统
1、方便的多任务设计与处理模式2、在实际应用中，更多的是多任务处理模式。而在面向多任务处理的应用中，传统单片机只能分时串行处理。因而，程序设计者必需花费大量的精力和系统资源将多任务转换成单任务再进行处理。而L-单片机在结构上的特点就是非常适合多任务的并行/并发处理，因而程序设计将更简明、周期更短，系统资源需求更少。3、程序设计更简单4、传统单片机的程序设计复杂，各道程序之间需要一个系统
2006-12-17 21:57:00
880
原创 免费WebGIS平台
本站主要介绍免费WebGIS平台，它们具有共同特点：免费使用，开放源代码（具体使用规则请参看各个平台的 Lisense文件），希望借此带您进入广阔的开源GIS世界。采用Java开发的几个主要的开放源代码的WEBGIS平台列表（由于时间有限，只选取部分平台） 平台 当前版本 生成日期
2006-12-13 21:59:00
1284
1
原创 图解MyEclipse配置struts+hibernate+spring+FreeMarker
这几天把hibernate和spring好好看了下，再想想struts的一些东西，决定把3个整合一下一起用，表现层用struts+freemarker，业务层用spring，hibernate处理持久层。在struts中，利用委托，将action的处理委托给spring进行，struts只负责页面逻辑。 前些日子下了Eclipse 3.2+MyEclipse5.0M2，感觉MyEclipse一些
2006-09-06 11:42:00
1398
2
原创 阿里巴巴网站的搜索引擎优化案例分析
阿里巴巴是国内最早进行搜索引擎优化的电子商务网站，到目前为止也是网站优化总体状况最好的大型B2B电子商务网站之一。阿里巴巴的搜索引擎优化水平远远高于行业平均水平。阿里巴巴中国站（china.alibaba.com）被google收录的中文网页数量2006年8月份数据为5320000，不仅从被收录的网页数量上来说，要远远高于同类网站的平均水平，更重要的是，阿里巴巴的网页质量比较高，潜在用户更容易
2006-09-06 11:16:00
1995
原创 JSP学习心得
下面是本人在学习JSP时的一些心得： 一、JSP工作原理在一个JSP文件第一次被请求时，JSP引擎把该JSP文件转换成为一个servlet。而这个引擎本身也是一个servlet，在JSWDK或WEBLOGIC中，它就是JspServlet。 JSP引擎先把该JSP文件转换成一个Java源文件，在转换时如果发现jsp文件有任何语法错误，转换过程将中断，并向服务端和客户端输出出错信息；如果转换
2006-04-06 17:22:00
965
1
原创 基于反向代理的Web缓存加速——可缓存的CMS系统设计
内容摘要：对于一个日访问量达到百万级的网站来说，速度很快就成为一个瓶颈。除了优化内容发布系统的应用本身外，如果能把不需要实时更新的动态页面的输出结果转化成静态网页来发布，速度上的提升效果将是显著的，因为一个动态页面的速度往往会比静态页面慢2－10倍，而静态网页的内容如果能被缓存在内存里，访问速度甚至会比原有动态网页有2－3个数量级的提高。 动态缓存和静态缓存的比较 基于反
2006-04-06 17:21:00
6391
7
原创 WinCE开发初探——开发环境
eVC 4 Sp4VS.net 2003 .net CF1.0VS.net 2005 .net CF2.0Windows Mobile 2003 Second Edition Emulator CHSPocketPC 2003 SDK也许是战略原因，很早前微软就把CE的源码开放，我就有几个版本。他的强项的编译器、开发工具都可以直接在MSDN上下载强大的IDE和编译器
2006-03-02 23:22:00
1345
原创 CAeTrustTM SiteMinder
■获奖理由：eTrustTM SiteMinder 是企业Web应用的一个安全与管理基础，具有管理用户身份认证以及访问权限的集中式安全基础结构。eTrustTM SiteMinder 可以提供市场上最先进的安全管理功能以及企业级的站点管理，降低了总体的IT运行成本以及复杂性。eTrustTM SiteMinder 可以实现安全地向员工、伙伴、供应商以及客户提供必须的信息和应用，并且可以随着业务需求
2006-02-08 12:40:00
1098
原创 15种安全技术评测
在本次评测中，我们将一览市场上各种各样的身份认证（authentication）设备。从指纹扫描器，到单一登录软件（single sign-on software）和生物鉴别——我们几乎覆盖了整个的身份认证设备市场。 一些总想着征服世界的天才总会设计出能够自我复制的恶意蠕虫，并且能把这些小家伙通过任何网络传输到他们所知道每一台计算机。蠕虫的唯一目标的是在系统上驻扎起来，监视用户在系统上所键入的
2006-02-08 12:38:00
2011
原创 Kerbose 原理
Kerbose 原理 kerberos的原理及缺陷1Kerberos的原理Kerberos采用可信赖第三方服务器进行密钥分发和身份确认，包括：① 对用户认证② 对应用服务的提供
2006-02-07 20:09:00
4979
2
原创 基于Servlet的Google Earth之旅
作者:Alan M. Berg;observer(作者的Blog:http://blog.matrix.org.cn/page/observer)原文:http://www.javaworld.com/javaworld/jw-11-2005/jw-1114-google.html译文:http://www.matrix.org.cn/resource/article/44/44179_Googl
2006-01-24 22:10:00
937
原创 内容管理系统(CMS)的设计和选型
内容管理系统概述内容管理系统是一个很泛的概念：从商业门户网站的新闻系统到个人的Weblog都可以称作发布系统。框架型：本身不包含任何应用实现，只是提供了底层框架，具体应用需要一定的二次开发，比如Cocoon，Vignette；应用型：本身是一个面向具体类型的应用实现，已经包含了新闻/评论管理，投票，论坛，WIKI等一些子系统。比如：postNuke xoops等； 但无论如何
2005-08-02 12:51:00
292
原创 AWStats: Apache/IIS的日志分析工具——在GNU/Linux和Windows平台上的使用简介
你完全不必耐心看完所有内容：简要安装说明如下安装====http://sourceforge.net/projects/awstats/ 下载安装包后：GNU/Linux：tar zxf awstats-version.tgzawstats的脚本和静态文件缺省都在wwwroot目录下：将cgi-bin目录下的文件都部署awstats.pl程序到 /home/apache/cgi-bin/awsta
2005-06-17 10:30:00
2230
原创 Webalizer 网站流量分析软件快速配置教程
配置环境：Red hat Linux 7 + Weblogic 7 配置所需文件：（可在以下地址下载）PNG reference library 图片生成插件：（例：libpng-1.2.8-config.tar.gz）http://sourceforge.net/projects/libpng/ GD Graphics Library 图像生成插件：（例：gd-2.0.28.tar.gz）
2005-06-17 10:24:00
781
原创 Java常见面试题（含答案）
第一，谈谈final, finally, finalize的区别。 final?修饰符（关键字）如果一个类被声明为final，意味着它不能再派生出新的子类，不能作为父类被继承。因此一个类不能既被声明为 abstract的，又被声明为final的。将变量或方法声明为final，可以保证它们在使用中不被改变。被声明为final的变量必须在声明时给定初值，而在以后的引用中只能读取，不可修改。被声明为fi
2005-06-06 13:58:00
509
原创 实现Java与C语言接口
第一步：声明本地变量 例如：class NativeHello{ public native void nativeHelloWorld(); static{ System.loodlibrary("nativeTest");//调用nativeTest.dll库文件 } ｝ 第二步：生成头文件 先用javac编译NativeHello.java,再用jav
2005-06-06 13:57:00
509
原创 WebServices入门
[pre]WebServices入门 ——理论篇 瑞联科技（中国）有限公司 李春林[/pre]本文档是用ctrl+c －> ctrl+v产生出来的入门级文档，主要是想说明什么是webservices，webservices的架构，以及几个相关的xml文档。由于小弟知识及技术非常有限，文中不妥之处请各位兄台指正，小弟在此谢过啦。什么是
2005-05-17 14:26:00
759
原创 Java性能(来源：java编程思想)
“本附录由Joe Sharp投稿，Java语言特别强调准确性，但可靠的行为要以性能作为代价。这一特点反映在自动收集垃圾、严格的运行期检查、完整的字节码检查以及保守的运行期同步等等方面。对一个解释型的虚拟机来说，由于目前有大量平台可供挑选，所以进一步阻碍了性能的发挥。“先做完它，再逐步完善。幸好需要改进的地方通常不会太多。”（Steve McConnell的《About performance》[1
2005-04-15 15:23:00
539
原创 介绍微软一个罕为人知的无敌命令
问:怎么才能关掉一个用任务管理器关不了的进程？我前段时间发现我的机子里多了一个进程，只要开机就在，我用任务管理器却怎么关也关不了 答1:杀进程很容易，随便找个工具都行。比如IceSword。关键是找到这个进程的启动方式，不然下次重启它又出来了。顺便教大家一招狠的。其实用Windows自带的工具就能杀大部分进程： c:/>ntsd -c q -p PID 只有System、SMSS.EXE
2005-02-24 17:30:00
514
原创 Apache2 + mod_ssl + php5 完全安装实录（1）
原始地址：http://blog.njmars.com/myhan/archive/2004/07/16/210.aspx环境：RedHat 9.0说明：使用$ 开头的是普通用户身份执行的命令使用# 开头的是root帐号执行的命令第一步：安装apache下载apache2: http://httpd.apache.org/download.cgi我需要mod_ssl的支持，和apac
2005-02-05 14:30:00
643
原创 使用iReport制作报表模板
使用iReport制作报表模板(http://www-900.ibm.com/developerworks/cn/java/j-ireport/index.shtml)现在很多公司和个人都在使用iReport制作报表模板，我接触的时间也不长，在这里，我将我在实践过程中的一些经验以及碰到的一些问题和大家一起来探讨。一、iReport介绍说到iReport不得不先介绍Jasperreport，
2005-01-28 16:47:00
1634
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人