4 njpjsoftdev

尚未进行身份认证

我要认证

软件开发小组

等级
TA的排名 3w+

Lucene底层原理和优化经验分享(2)-Lucene优化经验总结

系统优化遵从木桶原理:一只木桶能盛多少水,并不取决于最高的木板,而取决于最短的那块木板。Lucene优化也一样,找到性能瓶颈,找对解决方法,才能事半功倍,本文将从三方面阐述我们的Lucene优化经验:   1. 找准方向 -> Lucene性能瓶颈分析。   2. 找对方法 -> Lucene代码架构分析。   3. 方法落地 -> 优化经验总结。1. Lucene性能瓶颈分析  上篇Luce

2017-01-06 09:21:45

Lucene底层原理和优化经验分享(1)-Lucene简介和索引原理

基于Lucene检索引擎我们开发了自己的全文检索系统,承担起后台PB级、万亿条数据记录的检索工作,这里向大家分享下Lucene底层原理研究和一些优化经验。  从两个方面介绍:  1.Lucene简介和索引原理  2.Lucene优化经验总结1.Lucene简介和索引原理  该部分从三方面展开:Lucene简介、索引原理、Lucene索引实现。1.1Lucene简介  Lucen

2017-01-04 08:52:12

Druid.io系列(六):问题总结

Druid问题总结

2016-10-28 15:08:55

Druid.io系列(五):查询过程

Druid查询

2016-10-28 14:41:48

Druid.io系列(四):索引过程分析

Druid索引过程分析

2016-10-28 14:34:38

Druid.io系列(三): Druid集群节点

Druid集群节点

2016-10-28 14:20:14

Druid.io系列(二):基本概念与架构

Druid中的一些基本概念

2016-10-28 14:04:03

Druid.io系列(一):简介

Druid.io(以下简称Druid)是面向海量数据的、用于实时查询与分析的OLAP存储系统。

2016-10-28 13:51:09

位图索引bitmap(三):位图索引技术集合FastBit

FastBit是位图索引技术的集大成者,是一系列高级位图索引技术的集合。

2016-10-28 13:46:21

位图索引bitmap(二):现代位图索引技术

传统位图索引技术最大的局限性主要表现在,高基数列的索引尺寸过大从而影响查询性能。所以,从控制索引大小和减少查询响应时间这两个出发点,业内的优化策略一般从以下三个角度切入:分桶(binning)、编码(encoding)和压缩(compression)。

2016-10-28 13:32:27

位图索引bitmap(一):基本概念

位图索引(bitmap index)技术是一类特殊的数据库索引技术,其索引使用bit数组(或称bitmap、bit set、bit string、bit vector)进行存储与计算操作。

2016-10-28 13:18:19

OLAP基础

基本概念 联机实时分析(OnlineAnalytical Processing, OLAP (/ˈoʊlæp/))技术是快速响应多维分(Multidimensionalanalysis, MDA)的一种解决方案。  首先,解释下什么是多维分析:多维分析是一种数据分析过程,在此过程中,将数据分成两类:维度dimensions)和度量(metrics/measurements)。维

2016-10-28 10:30:44

应用架构B/S与C/S优劣比较(二)

三、发展态势分析1.   C/S最新发展桌面应用主要以Windows系统和移动设备为主。我们主要讨论windows下的桌面应用发展技术。l  C/S架构1)     二层结构早期的C/S使用两层结构:前端是客户机,完成界面展示、接受用户输入、校验数据有效性,处理业务逻辑,访问数据库并接收结果;后端服务器主要运行数据库系统,提供数据持久化和数据管理。2)     三层结构

2016-08-29 19:44:19

应用架构B/S与C/S优劣比较(一)

一、背景介绍C/S(Client/Server):客户端/服务器结构。界面表示、事务处理逻辑放在客户端,服务端主要负责数据的存储管理,这就是胖客户端模式。而在三层架构模式下,表示层和少量的事务处理放在客户端,主要的事务处理逻辑放在业务应用服务端,同时数据存储管理仍然为独立的一层。B/S(Browser/Server):浏览器/服务器结构,界面显示逻辑放在浏览器,事务处理逻辑则在Web

2016-08-29 19:39:35

用 Eclipse 插件提高JAVA 代码质量

本文主要讨论了如何利用eclipse提高编码质量

2016-08-05 17:16:46

读书笔记

作者: 戈峰 欧永广 郑德立 张雁 1.  《实现模式》I.实现模式价值观Ø 沟通:代码是与人沟通的桥梁Ø 简单:通常简单和沟通都是不可分割的Ø 灵活性:灵活性的提高可能以复杂性的提高为代价II.实现模式原则Ø 局部化影响:组织代码结构时,保证变化只会产生局部性影响Ø 最小化重复Ø 逻辑与数据捆绑:逻辑与逻辑所处理的数据放在一起,修改它们只会影响局部化

2016-08-05 16:38:09

编程工具介绍及常见故障诊断

作者:欧永广 张雁 朴星海一、   编程环境及编程工具1.        eclipse插件介绍I.CheckStyle:CheckStyle 可以协助寻找那些可影响到可维护性、与编码标准相冲突的地方,比方说,过大的类、太长的方法和未使用的变量等等。II.EclEmma:EclEmma 就是这样一个能帮助开发人员考察测试覆盖率的优秀的 Eclipse 开源插件。EclE

2016-08-05 16:32:37

大数据分析技术研究报告(四)

作者:朱赛凡四 大数据背景下数据分析挖掘技术介绍1 Mahout与MLlib项目数据分析挖掘主要涉及两个方面:一是数据预处理;二是数据挖掘。在数据预处理方面,根据掌握资料来看,大型互联网公司主要以MapReduce、Storm等计算框架为主,这些平台可以较好解决大数据预处理面临并行计算和处理灵活性的问题。但是个人认为spark、tez等属于MapReduce升级版本,因

2016-08-05 16:19:50

大数据分析技术研究报告(三-3)

作者:朱赛凡3) 存储层数据存储层主要包括以下几类:一类是基于MPP数据库集群,这类系统特点是存储层与上层并型计算引擎是紧耦合,属于封闭性的系统。二是采用分布式文件系统,例如SharK、Stinger、HIVE、Impala、Scope等。Shark、Stinger、Hive、Imapla都采用HDFS文件系统作为存储层,Scope采用微软自己开发的分布式文件系统。此类

2016-08-05 15:38:19

大数据分析技术研究报告(三-2)

作者:朱赛凡2) 并行计算引擎层(1) 并行计算形式并行化可以分为水平并行(无依赖并行)与垂直并行(流水线并行)两类。如下图: 如果两个操作OP1、OP2 无相互依赖关系,则称这两个操作相互独立。水平并行化指的是互相独立的多个操作或者一个操作内互相独立的多个子操作分别由不同的处理机并行执行的形式。例如,排序操作、扫描操作由不同处理机并行执行就是水平并行化的实例。

2016-08-05 15:23:31

查看更多

勋章 我的勋章
    暂无奖章