13 dm520

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 2w+

比Spark快10倍的Hadoop3.0有哪些实用新特性?

Hadoop 3.0中引入了一些重要的功能和优化,包括HDFS可擦除编码、多Namenode支持、MR Native Task优化、YARN基于cgroup的内存和磁盘IO隔离、YARN container resizing等。 Hadoop 3.0的alpha版预计今年夏天发布,GA版本11月或12月发布。

2016-12-28 09:01:37

JVM 并发性: Java 和 Scala 并发性基础

处理器速度数十年来一直持续快速发展,并在世纪交替之际走到了终点。从那时起,处理器制造商更多地是通过增加核心来提高芯片性能,而不再通过增加时钟速率来提高芯片性能。多核系统现在成为了从手机到企业服务器等所有设备的标准,而这种趋势可能继续并有所加速。开发人员越来越需要在他们的应用程序代码中支持多个核心,这样才能满足性能需求。 在本系列文章中,您将了解一些针对 Java 和 Scala 语言的并发编程的新

2016-05-08 19:52:10

JVM 并发性: Java 8 并发性基础

在期待已久的 Java 8 版本中,并发性方面已实现了许多改进,其中包括在 java.util.concurrent 层级中增加新的类和强大的新并行流 功能。设计流的目的是与 lambda 表达式 共同使用,Java 8 的这项增强也使得日常编程的其他很多方面变得更加简便。(参见介绍 Java 8 语言的 指南文章,了解对于 lambda 表达式的介绍及相关 interface 改动。) 本文首先

2016-05-08 19:34:29

Java 8 语言变化

Java 8 的最大变化在于添加了对 lambda 表达式 的支持。Lambda 表达式是可按引用传递的代码块。它们类似于一些其他编程语言中的闭包:它们是实现某项功能的代码,可接受一个或多个输入参数,而且可返回一个结果值。闭包是在一个上下文中定义的,可访问(对于 lambda 表达式而言是只读访问)来自上下文的值。 如果您不熟悉闭包,不用害怕。Java 8 lambda 表达式其实是匿名内部类的一

2016-05-08 19:25:15

java多线程学习-java.util.concurrent详解(四) BlockingQueue

“支持两个附加操作的 Queue,这两个操作是:获取元素时等待队列变为非空,以及存储元素时等待空间变得可用。“ 这里我们主要讨论BlockingQueue的最典型实现:LinkedBlockingQueue 和ArrayBlockingQueue。两者的不同是底层的数据结构不够,一个是链表,另外一个是数组。

2016-05-07 21:55:22

java多线程学习-java.util.concurrent详解(三)ScheduledThreadPoolExecutor

我们先来学习一下JDK1.5 API中关于这个类[ScheduledThreadPoolExecutor]的详细介绍: 可另行安排在给定的延迟后运行命令,或者定期执行命令。需要多个辅助线程时,或者要求 ThreadPoolExecutor 具有额外的灵活性或功能时,此类要优于 Timer。 一旦启用已延迟的任务就执行它,但是有关何时启用,启用后何时执行则没有任何实时保证。

2016-05-07 21:36:23

java多线程学习-java.util.concurrent详解(二)Semaphore/FutureTask/Exchanger

3. Semaphore     我们先来学习一下JDK1.5 API中关于这个类的详细介绍:“一个计数信号量。从概念上讲,信号量维护了一个许可集。如有必要,在许可可用前会阻塞每一个 acquire(),然后再获取该许可。每个 release() 添加一个许可,从而可能释放一个正在阻塞的获取者。但是,不使用实际的许可对象,Semaphore 只对可用许可的号码进行计数,并采取相应的行动

2016-05-07 20:29:46

java多线程学习-java.util.concurrent详解(一) Latch/Barrier

Java1.5提供了一个非常高效实用的多线程包:java.util.concurrent, 提供了大量高级工具,可以帮助开发者编写高效、易维护、结构清晰的Java多线程程序。从这篇blog起,我将跟大家一起共同学习这些新的Java多线程构件 1. CountDownLatch 我们先来学习一下JDK1.5 API中关于这个类的详细介绍: “一个同步辅助类,在完成一组正在其他线程中执行的操作之前

2016-05-07 20:14:55

java.util.concurrent 使用详解

java.util.concurrent 包含许多线程安全、测试良好、高性能的并发构建块。不客气地说,创建 java.util.concurrent 的目的就是要实现 Collection 框架对数据结构所执行的并发操作。通过提供一组可靠的、高性能并发构建块,开发人员可以提高并发类的线程安全、可伸缩性、性能、可读性和可靠性。

2016-05-07 19:43:13

java.util.concurrent.CountDownLatch的使用(转)

CountDownLatch是一个同步辅助类,犹如倒计时计数器,创建对象时通过构造方法设置初始值,调用CountDownLatch对象的await()方法则处于等待状态,调用countDown()方法就将计数器减1,当计数到达0时,则所有等待者或单个等待者开始执行。

2016-05-07 18:51:10

69 个经典 Spring 面试题和答案

Spring 概述1. 什么是spring?Spring 是个java企业级应用的开源开发框架。Spring主要用来开发Java应用,但是有些扩展是针对构建J2EE平台的web应用。Spring 框架目标是简化Java企业级应用开发,并通过POJO为基础的编程模型促进良好的编程习惯。2. 使用Spring框架的好处是什么?轻量:Spring 是轻量的,基本的

2016-05-06 22:36:51

中国移动业务支撑系统简介(BOSS、BASS、BOMC、4A及VGOP)

业务支撑系统(BusinessSupportSystems,简称BSS)主要应用于通信行业,通过该系统对用户执行相应业务操作。它采用省中心/全国中心两级系统架构,两级系统相辅相成,共同构建全网服务/全网运营的运营支撑能力。省中心将侧重于省内业务的运营,在满足个性化、本地化的业务需求的基础上,提供标准化的接口以满足全网运营的要求,通过业务支撑系统提供全网共享、一致的业务和服务能力,实现面

2016-03-23 14:36:19

Elasticsearch For Apache Hadoop (ES-Hadoop)最新介绍

连接快速搜索与大数据分析Elasticsearch For Apache Hadoop(ES-Hadoop)是解决用户既需要进行多种分析,又需要进行快速搜索的需求的。 最新版本ES-Hadoop 2.2 与 Elasticsearch 2.x 能够完美结合

2016-03-23 12:06:18

ubuntu开机只能进入grub命令行的解决(WUBI安装)

grub>lsgrub>ls (hd0,x)/             #找出WUBI安装的盘,里面有ubuntu/这个目录。grub>insmod ntfs           #加载ntfs模块,因为WUBI将ubuntu安装到了我分的ntfs盘上grub>set root=(hd0,5)    #这里(hd0,5)就是我找到的ubuntu安装的分区grub>loopback

2015-04-21 10:35:50

Ambari实现一个自定义的服务

在这个例子中,我们将创建一个称为“SAMPLESRV”的自定义的服务,将它添加到现有源里面。这服务包括MASTER, SLAVE和CLIENT 组件。创建和添加服务在Ambari服务器,进入/var/lib/ambari-server/resources/stacks/HDP/2.0.6/services目录。在这种情况下,我们将浏览到HDP-2源的。

2015-03-03 13:33:26

ambari使用了那些技术

Ambari Server服务端代码 : Java 1.6 / 1.7Agent 脚本 : Python数据库 : Postgres, Oracle, MySQLORM : EclipseLink安全 : Spring Security with remote LDAP integration and local databaseREST服务 : Jersey (JAX

2015-03-03 11:38:20

Ambari 架构

下下图描述Ambari服务器的设计:下图描述Ambari代理的设计:

2015-03-03 11:10:11

Ambari之stack介绍

Ambari-stack整体介绍Ambari-stack 表示hadoop某个发行版本,例如HDP-1.0.0,在用ambari创建一个集群时,首先要通过调用restfulAPI设置stack版本。stack下包含一个或多个service,例如HDP-2.0.6下包括多个service,分别是 ZOOKEEPER,HDFS,YARN,等。单个service下通过配置service下存储的m

2015-03-03 10:59:16

Ambari-Blueprint介绍

Ambari-Blueprint整体介绍ambari-blueprint主要作用是通过提供一个restAPI,调用几次API就可以创建一个集群,ambari-server解析stack下的role_command_order.json文件来自动部署集群,role_command_order.json文件记录着各个服务与组件的部署顺序,ambari-server会自动根据顺序建立task,这

2015-03-03 10:56:06

Ambari-整体介绍

Ambari目标解决Hadoop生态系统部署部署:hadoop组件间有依赖,包括配置、版本、启动顺序、权限配置等。部署过程跟踪。能够展示出部署过程中每个步骤的状态及相关信息。多机部署问题,当集群规模增加后,机器出问题机率增加,在部署或更新中可能会出现机器故障组件本身设计:hadoop及其组件需要容忍机器的故障,同时需要防止不兼容版本组件给系统带来

2015-03-03 10:46:38

查看更多

勋章 我的勋章
    暂无奖章