- 博客(44)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 hadoop之MapReduce
MapReduce是hadoop的三驾马车之一，是一个批处理计算框架。以下内容中，为方便描述 MapReduce有时简写为MR。理论基础：源自于Google发表于2014年12月的MapReduce论文，可以把Hadoop MapReduce是Goole MapReduce的克隆版。整体思路：局部性原理将整个问题分而治之。MR之前，数据分布在各个节点；MR时每个节点就近读取本地存储的数据处理(MAP)-处理后的数据进行合并(combine)-排序(shuffle & sort).
2021-02-09 15:26:43
279
原创 hadoop之HDFS架构详解
HDFS是hadoop的三驾马车之一，是一种大规模分布式文件存储系统。使用HDFS存储的场景是：当数据集大小超过一台独立的物理计算机的存储能力时，就有必要对它进行分区，并存储到若干台独立的计算机上。HDFS的设计特点：•超大文件• 流式数据访问• 低成本• 数据一致性• 高吞吐率• 易扩展• 高容错下面我们解剖一下HDFS的设计实现，来分析HDFS是如何体现其特点的。（说明：以下内容 基于 hadoop v2.7.7）提醒：本次内容有点多，...
2021-02-01 13:16:34
1017
5
原创 Hadoop之Hadoop的前世今生，适合什么场景？
一提大数据，人们就想到Hadoop。Hadoop基本上成为了大数据的代言人了。那Hadoop到底是什么？用于解决什么问题？hadoop的起源背景HDFS源自于Goole的GFS论文（发表于2003年10月），HDFS是GFS的克隆版。 PS: 近些年和google相关的几个开源产品对软件进步影响还是挺大的，比如：移动应用圈的Android、大数据圈的Hadoop、云原生圈的Kubernetes。这是众多计算机牛人喜欢google的很大的一个原因吧 hadoop的.
2021-02-01 10:24:36
484
原创 ZooKeeper 集群实战
到目前，Zookeeper的相关理论、架构都讨论完了，同时也准备了一个包含三个节点的集群环境。相关文章请看： ZooKeeper与CAP是什么关系？适用于哪些场景？ ZooKeeper体系架构 ZooKeeper部署 基于上面的理论基础和集群环境，下面开始实战操作。zookeeper 命令行操作，用于在 zookeeper 服务上针对zookeeper集群进行相关操作。第一步：通过远程工具，连接到zookeeper服务器。第二步：使用zoo...
2020-12-11 13:56:45
429
原创 ZooKeeper高可用集群部署
前面理论讨论的差不多了，今天开始安装部署一个ZooKeeper集群。 1、准备三个节点（测试环境使用虚拟机就行，而且方便按需调整资源）。序号 IP 名称配置 1 192.168.59.101 节点名称：node01，myid：1 2 192.168.59.102 节点名称：node02，myid：2 3 192.168.59.103 节点名称：node03，myid：3 说明：（1）配置...
2020-12-11 13:53:32
539
原创 ZooKeeper体系架构
从上一篇文章 ZooKeeper与CAP是什么关系？适用于哪些场景？我们知道，ZooKeeper是一个分布式服务框架，是Apache Hadoop 的一个子项目，主要用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、配置管理、集群管理、分布式锁、发布/订阅等。从技术本质上来说，ZooKeeper的作用主要体现在两个方面： 文件系统 监听通知机制 怎么理解这句话的意思呢？带着这个问题，下面咱们开始讨论ZooKeeper的体系架构。1、...
2020-12-11 13:51:55
1145
2
原创 ZooKeeper与CAP是什么关系？适用于哪些场景？
从今天，我们正式开始大数据常用组件的讨论。要想在大数据这条路坚持走下去，并用好大数据，有几点建议： 1、系统的了解大数据生态中的技术框架（可通过以下文章了解）。 典型大数据架构有哪些？我该怎么选择？ 2、要有亲自动手的意识，并积极主动接触和学习新技术。 PS：最好能有一个自己的测试环境（有大量朋友因为环境而止步！） 3、学到的知识，多在合适的业务场景进行试用和验证。 4、一开始，不要面面俱到...
2020-12-11 13:50:11
454
原创 数据仓库概念扫盲，kimball和Inmon两大派系在争什么？
本文，是为了让大家更好的理解大数据经典架构的补充内容，主要介绍一下数据仓库相关的内容。数据仓库（Data Warehouse，DW）：由两个主要部分构成（一个整合的决策支持数据库 + 一个收集、清洗、转换、存储来自于各种外部数据源数据的相关软件程序），两者结合以支持历史的、分析的和商务智能需求。企业数据仓库（Enterprise Data Warehouse，EDW）：是服务于整个企业商务智能需要的集中式数据仓库。企业数据仓库遵循企业数据模型，使得整个企业范围内的决策支持活动可以保持一致。一
2020-11-19 08:27:10
1421
原创 典型大数据架构有哪些？我该怎么选择？
讨论大数据架构，不可避免要讨论传统的结构化存储和数据仓库。 PS：最原始的结绳记事、仓颉造字不在咱们讨论范围内哈，咱们主要讨论计算机出现以后的数据存储。 我们对数据存储方式的认知顺序一般是： 注意：这个演变过程，并不代表后者代替前者，每种方式都有其适合的应用场景，多种存储方式在一定时间内会是同时存在。他们的优缺点分析如下：存储方式 简介 优点 缺点 结构化 数据库 也称作行数据库，使用二维表结构来...
2020-11-16 22:06:03
1494
2
原创 到底什么是大数据？来看这篇！
大数据时代，不学点儿大数据怎么能行。不学点大数据都不好意思说在21世纪生活过。 从这篇文章，我和大家一起开始大数据之旅。1、大数据诞生的时代背景 随着计算机技术全面融入社会生活，出现信息大爆炸，信息积累到了一个开始引发变革的程度。 互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。 此时数据最直接的特点就是：体量大...
2020-11-12 23:11:49
625
原创 IT人如何突破技术瓶颈
一般情况下，计算机专业毕业后在某一领域工作3-5年后，会成为部门或公司里面的技术骨干，处于这个阶段的技术人员一般会面临以下几个问题：1、技术学习的困惑：此时技术能力达到一定水平，周边可以学习的对象越来越少，感觉自己的技术提升遇到一个瓶颈。这种感觉是正常的：首先，高端技术人才是呈现倒金字塔形态的，身边缺乏能引领你的人生导师（对于有明确技术定位而周边没有引导师的人，在这个年龄段离职概率也相对比较高）；其次，IT圈内的技术交流，大多数人都是在做科普以及刷存在感(俗称CNB)，对个人提升作用.
2020-11-07 08:07:55
588
2
原创 系统规划与管理师 学习笔记 - （1）信息系统综合知识
信息（information）:客观事物状态和运动特征的一种普遍形式，不是物质也不是能量。 信息论 信息论中对信息的描述：信息是用来消除不确定性的东西（香农） 信息是事先不知道的报道 信息是事物普遍联系的方式信息的两个基本层次：本体论层次 和 认识论层次本体论信息：事物的运动状态 和 状态变化方式的自我表述（客观）。 认识论信息：主体对于该事物的运动状态及状态变化方式的具...
2018-07-24 07:24:20
1969
1
原创 系统规划与管理师 学习笔记 - （0）该系列博客说明
记录我在准备 计算机技术与软件专业技术资格（水平）考试 软件水平考试 中 系统规划与管理师 科目的学习笔记。大家可以关注下面的微信群一起交流。我的笔记基本是按官方教材章节 顺序写。...
2018-07-24 07:22:43
1667
3
原创 系统规划与管理师教程 学习笔记
为了方便备考，把教程进行了浓缩并电子化。原教程文字部分323页(除专业英语)，笔记为110页。带完整目录！笔记覆盖教材所有知识点，完全可不用看教材。大大缩减复习时间。注意，这里只是前三章。 若需要全部版本请联系 QQ 46957530 备注：系规师教程...
2018-03-22 10:46:33
2067
1
原创 123
//java.net.URLEncode编码 与 URLDecode解码问题keyWord=new String(keyWord.getBytes("iso8859_1")); keyWord=java.net.URLDecoder.decode(keyWord,"utf-8"); //java.net.URLEncode编码 与 URLDecode解码问题...
2016-05-11 10:38:42
84
原创 感觉很好的 J2EE架构课程
看课程目录，很好的一套视频http://sishuok.com/product/821目录见下面 QQ交流一下啊 46957530 第02节课：分布式部署基础知识；系统分布式部署演变第一部分第03节课：系统分布式部署演变第二部分；分布式部署带来的问题第04节课：模块间相互调用：问题、方案，自行实现方案的开发第一部分第05节课：自行实现方案的开...
2015-12-26 15:18:57
185
原创 很不错的一套企业架构视频教程
最近发现了这套很不错的视频教程，正在学习。有需要学习企业架构的朋友可以关注一下。http://sishuok.com/product/821 纯属个人推荐，想和大家一起讨论企业架构 QQ 46957530...
2015-12-13 16:37:39
243
原创 poi excel 此文件中某些文本格式可能已经更改
转自：http://blog.sina.com.cn/s/blog_4b5bc01101014fi1.html “此文件中某些文本格式可能已经更改，因为它已经超出最多允许的字体数。关闭其他文档再试一次可能有用”是因为创建的字体太多了，当调用HSSFWorkbook的createFont之后就创建一种字体，就算字体属性完全一样也是要创建一个新字体对象的；而创建的数目是有限的，因...
2012-09-18 20:54:55
653
也谈JAVA中的多态
在这里主要想讨论一下多态中的重载[overload] 即：参数和个数，类型，顺序来决定函数的选择注：返回值的不同不能算做重载 常见的参数个数不一样 和 参数为两个完全不一样类型时的重载也不讨论，下面讨论一下不容易区分的一些情况 例1。 static void f(float f){} static void f(double d){} publ...
2009-10-27 23:15:01
72
原创 DWR 相关要点
DWR collection converter 使用摘要 <convert converter="collection" match="java.util.Collection"/> 从 Java Object －－> Javascript Object 问题不大，有现成的例子可供参考 ，就是 Java function 返回一个Collec...
2009-04-05 11:47:34
83
原创 DWR 之 dwr.xml
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE dwr PUBLIC "-//GetAhead Limited//DTD Direct Web Remoting 2.0//EN" "http://www.getahead.ltd.uk/dwr/dwr20.dtd"> <dwr>
2009-03-29 23:18:57
105
DWR 一些注意的地方
在2。0之前，配制文件中的主类用：org.directwebremoting.servlet.DwrServlet 在后面主类用：uk.ltd.getahead.dwr.DWRServlet -----------------------------------------------------------------------------------------------------...
2009-03-29 22:35:08
141
原创 DWR 之 org.directwebremoting.create包
在dwr.xml中有，<creator>标签负责公开用于Web远程的类和类的方法，实际上最后调用的就是本包下面的script创建类。creator类型在1.1版本的时候有如下几种，现在是3.0版本了，我查了下源码，种类好像比下面要多（查XXXCreator有多少个）。 new: 用Java的new关键字创造对象。 &n...
2009-03-28 23:47:00
151
DWR 之 org.directwebremoting.convert包
转换器包，包下面的类是各种类型的的转换器。 在源码工程中，有两个dwr.xml,一个是系统的，一个是客户自定义的，这两个dwr文件在DwrServlet初始化时加载。在系统dwr.xml（org\directwebremoting\dwr.xml）中，我们可以看到convert元素，convert元素的作用是告诉DWR在服务器端Java 对象表示和序列化的Jav...
2009-03-28 23:45:05
161
DWR 之 org.directwebremoting.bayeux包
这个包是用来支持bayeux协议的，兼容comet技术什么是bayeux？ 【下面这些可以实现基于web的实时事件通知的方法： 1.HTTP流：这种方法由存在于不间断的HTTP连接响应中或某个XMLHttpRequest连接中的服务器数据流所组成。 2.HTTP拉取方式：在这种传统的方法中，客户端以用户可定义的时间间隔去检查服务器上的最新数...
2009-03-28 23:43:57
194
DWR 之 org.directwebremoting包
Org.directwebremoting 包结构 AjaxFilter.java 两种类型接口 1，认证，日志，安全 2，延迟 org.directwebremoting.filter.ExtraLatencyAjaxFilter 一般和AjaxFilterChain合作 ...
2009-03-28 13:38:37
576
DWR 之 DWRServlet类分析
org.directwebremoting.servlet.DwrServlet主要分为三部分，也就是三个主要方法:init;doGet;doPost1,init,初始化。 DWR对于Servelet容器内部设一个配置容器，该容器装载dwr映射相关信息。[color=green]public void init(ServletConfig servletConfi...
2009-03-28 10:35:32
91
初始学习笔记
1。 DWR的配制文件 dwr.xml 上面的配制文件中：定义了由 DWR 创建和被 Javascript 远程使用的类。在上面的例子中我们在远程创建了2个类，并且给出了在 Javascript 中的类名。上面使用的 new creator 使用了所有的...
2009-03-28 10:14:50
136
原创 要看的一些网址
http://www.iteye.com/topic/345849http://hideto.iteye.com/blog/321641
2009-03-23 21:01:29
1773
原创 Oracle数据库TNS常见错误解决方法
1、ORA-12541:TNS:没有监听器 原因:没有启动监听器或者监听器损坏。若是前者，使用命令net start OracleOraHome10gTNSListener(名字可能有出入)即可;如果是后者，则使用“Net Configuration Assistant”工具向导之“监听程序配置”增加一个监听器即可(基本不用写任何信息，一路OK。在添加之前可能需要把所有的监听器先删!)...
2009-03-08 18:53:13
380
1
原创 oracle 安装
Windows下Oracle 10G Client安装 1. 在Oracle官方网站http://www.oracle.com/technology/software/tech/oci/instantclient/htdocs/winsoft.html下载instantclient-basic-win32-10.2.0.3-20061115.zip (34,469,920 bytes...
2009-03-08 17:12:28
98
原创 oracle启动
我也遇到过这种情况,不仅是监听程序的问题,还有dbstart也起不来,后来查来查去发现是日志到了2G了,后来清理了日志就好了. 还有一次,也很变态,我的oracle要定时向另一台内存服务器传送数据的,每次传送的数据在1M左右,那次重启了内存服务器,结果发现oarcle也down掉了,后来发现dbstart起来了,但是监听程序起不来,找了半天,发现传送过去的数据有...
2009-03-06 16:24:25
98
原创 Js:正则表达式常用匹配参考手册
转贴：http://summerdream.spaces.live.com/blog/cns!f3c10e51d7dc55eb!408.entry[ZT]Js:正则表达式常用匹配参考手册字符描述： ^符号匹配字符串的开头。例如： ^abc 与“abc xyz”匹配，而不与“xyz abc”匹配 $符号匹配字符串的结尾。例如： ab...
2008-08-20 12:59:48
241
struts标签之html手册
转过来的文章http://space.itpub.net/html/76/694276-51409.htmlhtml:checkbox name="checkboxForm" property="one">OneTwoThree如果选中后被提交则相应的属性的值为true。回页首 html:radio html:radio标签生...
2008-06-05 06:21:31
72
常见的系统SQL语句[转贴]
转自:http://www.cnblogs.com/jimeper/archive/2007/05/13/744813.html查看表空间的名称及大小: SQL> SELECT T.TABLESPACE_NAME, ROUND(SUM(BYTES/(1024 * 1024)), 0) TS_SIZE FROM DBA_TABLESPACES T, DBA_DATA_FILES...
2008-05-31 18:56:35
102
也谈 JSTL [简单总结,原创哟...]
JSTL : javaserverpages standard tag library JSP标准标签库 目的:用这些标签取代JSP页面上的JAVA代码分为五类:---------JSTL核心库 [基本的I/O, 流程控制, 循环 等功能]数据库标签库 [基本的数据库操作功能]XML操作标签库 [用来处理XML文档]国际化和格式标签库 函数标签...
2008-04-28 00:23:16
185
Java打印程序设计全攻略
[color=red][b]转自 http://dev.rdxx.com/Java/PrintForms/2004-12/30/100956264.shtml[/b][/color]在我们的实际工作中，经常需要实现打印功能。但由于历史原因，Java提供的打印功能一直都比较弱。实际上最初的jdk根本不支持打印，直到jdk1.1才引入了很轻量的打印支持。所以，在以前用Java/Applet...
2008-04-25 13:05:51
82
jsp打印，导出word/excel
[color=red]转自: http://newyaner.blog.sohu.com/84170098.html[/color]因为ms word和excel的文档都支持html文本格式，因此可以先用word或excel做好模版，另存为Web页，然后将该html改成jsp，将数据部分动态填入即可，不用很辛苦的调整格式 word页面只要在jsp头设置如下指令： ex...
2008-04-25 13:01:22
112
Hibernate学习二 [HIB里面的对象]
HIB里面的对象有三种状态 临时状态[transient objects] 持久化状态[persistent objects] 脱管状态[detached objects]
2008-04-22 22:54:07
78
坐标转换工具，bd-02-84之间转换
2023-02-13
系统规划与管理师笔记
2018-03-25
系统规划与管理师教程读书笔记
2018-03-22
系统规划与管理师 读书笔记-前三章
2018-03-22
机器学习实践应用
2018-03-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人