ebay-CSDN博客

原创从dedup说起之JS数组去重

在JavaScript中，数组去重是一个基本的操作，方法众多：遍历去重到Set、Map去重、hashTable、Lodash Uniq，数组中是否存在对象、函数，每个去重方法的表现各有差异，本文将以此作为切入点深入源码进行分析。

2017-07-28 16:04:53 996

原创基于PWA的异步监控

引言：当网站无法访问时，很少有用户会给你发一封邮件或者电话告诉他遇到的状况。利用最新的PWA技术，你可以直接自行统计。更棒的是，网站基本无需改动。

2017-07-28 15:49:13 777

原创 React同构漫谈

同构指的是相同代码可以同时在客户端与服务端同时渲染的技术，利用服务器资源对用户请求进行预渲染，而客户端仍然保持SPA特性。本文将从实际项目出发，谈谈开发过程中遇到的问题以及解决方案。

2017-07-28 15:29:28 1169

原创 TCP BBR拥塞控制算法解析

2016年底，Google发表了一篇优化tcp传输算法的文章，极大的提高了tcp得throughput，并且已经集成到Linux 4.9 内核。本文给出了论文中省略的一些背景知识，并结合自己的理解做了更加细节的介绍，可以帮助读者理解整个bbr算法。

2017-07-28 14:22:35 22208 5

In order to manager thousands of servers , we need a deployment tool to do all kinds of things.The most used tools are puppet, saltstack , ansible .Puppet and saltstack both have agent , but ansible donot have agent which is the advantage , because you d

2017-01-12 16:14:30 1439

原创 RPC in oslo.messaging

This post introduces the logic of rpc client in oslo.messaging, which is widely used inOpenstack ecological system.

2017-01-12 15:46:24 1264

原创 The design and implementation of a system to detect and filter large sessions automatically

Large sessions waste a lot of computing resources and extend the delivery time of MapReduce jobs. Automatically detecting and filtering large sessions guarantee cleaner data and better system without extra human involvement. Our sytem maintains a large ses

2017-01-12 13:27:57 1333

原创细数Kubernetes Service那些事－kubernetes 服务发布以及在eBay的实践

eBay自2014年末开始kubernetes的落地工作，并在2015年扩大研发投入。目前kubernetes已经部署在eBay的生产环境，并将作为下一代云计算平台。本文结合社区kubernetes的设计和实现，并结合openstack云基础架构，深入分析kubernetes服务部署的设计与实现。如果您在寻找服务发布的方案或者在寻找kubernetes服务相关的模块的原理或行为，阅读本文会让你有比较明确的方向。

2016-10-12 16:22:17 22033 2

原创 Griffin – 模型驱动的数据质量服务平台

Griffin是一个应用于分布式数据系统中的开源数据质量解决方案，例如在Hadoop, Spark, Storm等分布式系统中，Griffin提供了一整套统一的流程来定义和检测数据集的质量并及时报告问题。

2016-09-14 13:50:35 13881 4

原创从数据仓库到数据视图

如何根据业务需求交付数据产品？一系列步骤可以帮助你理解亿贝的实践：1. 选择合适的数据仓库 2.建立数据模型 3. 利用第三方数据 4.使用数据库小工具 5.数据集市的使用和管理 6.制作数据视图。

2016-04-15 13:34:49 3726 1

原创 Resource Overload Analysis on Hadoop Job Failure

eBay analytics platform has 3 shared Hadoop clusters with 6000+ nodes as well as 6 shared Hadoop clients for 400+ batch users and 2900+ individual users. So resource competition is common. I’ll analyze the resource overload issue from the four respects: H

2016-04-05 13:48:20 1248

原创 JavaScript 异步原理

本文从一些基本软件设计常识和平时编程中不太注意的点中，带你看清JavaScript 中关于线程、回调、异步等的概念。

2016-03-22 09:54:31 1859 2

原创 Ebay开源基于大数据的可视化框架：Pulsar Reporting

ebay又新添了一个开源项目Pulsar Reporting – 基于大数据的可视化框架.

2015-12-28 10:42:17 10877 2

原创 AngularJS渲染性能分析

AngularJS中，通过数据绑定。可以十分方便的构建页面。但是当面对复杂的循环嵌套结构时，渲染会遇到性能瓶颈。今天，我们将通过一些列实验，来测试AngularJS的渲染性能，对比ng-show，ng-if的使用场景。并对优化进行简要分析。

2015-12-18 09:58:03 5618

原创 Druid at Pulsar

Pulsar is an open source project of eBay and it includes two parts, pulsar pipeline and pulsar reporting. Pulsar pipeline is a streaming framework which will distribute more than 8 billion events every day and pulsar reporting is in response of storing, qu

2015-12-07 14:47:57 9041 1

原创 MapOutputBuffer理解的三重境界

MapOutputBuffer作为MapTask的内部类，是MR中二次排序非常重要的一环。本文从基本认识，到详细过程，再到源码级别，由浅入深的介绍了这个类。

2015-12-07 14:20:50 2910 1

原创 eBay WebRex: 动态web资源优化工具

WebRex是eBay开源的Java项目，集成了很多前端开发的优化技术。与同类项目Wro4j和Jawr提供的静态优化不同，WebRex提供了动态优化。它使用定制tag和相对路径来操作管理web应用程序的静态资源。它为eBay这样的大型网站提供了一种有效的资源聚合模式。

2015-12-03 18:43:44 1266

原创 Ebay开源：Eclipse Plugin Repository Portal

Eclipse Plugin Repository Portal是eBay开源的关于eclipse插件管理的软件。其集中化的管理方式，可视化的操作界面简化了插件管理的流程，减少了人为因素引起的错误，使得插件开发和版本发布的效率得到极大提升，间接保证了软件开发的质量。

2015-11-23 09:38:26 1115

原创 Apache Eagle：eBay开源分布式实时Hadoop数据安全引擎

日前，eBay公司隆重宣布正式向开源业界推出实时分布式Hadoop数据安全方案 - Apache Eagle，作为一套旨在提供高效分布式的流式策略引擎，并集成机器学习对用户行为建立Profile以实时智能地保护Hadoop生态系统中大数据安全的解决方案。

2015-11-17 14:04:07 1483

原创支付结果通知机制研究

支付结果通知看似一个很简单的需求，但是做到一个安全高效可靠的架构和设计也是值得研究和探讨的一个问题。本文通过总结实战中不同的通知机制的研究分析，希望从中找到需求的本质，从而启发我们如何更好的在今后的工作中设计通知机制。

2015-09-29 16:19:26 5505

原创基于数理统计分析的服务器端持续性能压力测试方案

压力性能测试是软件测试当中非常重要的一部分，也是比较复杂，耗时的一个测试类型。如何提高测试效率，减少人工出错的可能性是本文想要解决的问题。该解决方案利用了数理统计的方法，巧妙的解决了性能测试数据分析的问题，并且提供了一套完整的持续集成方案。

2015-09-29 13:43:29 2433

原创 eBay RUM实践

RUM是网站性能监控中常用的技术，它能够够真实的反应用户使用网站的性能情况。eBay基于RUM的思想，开发了Sitespeed Gauge工具，监控了用户客户端浏览器中页面加载的各个重要时间信息，以及页面广告加载时间、用户感知时间等自定义的性能指标。

2015-09-29 11:10:21 1351

转载 Apache Kylin的快速数据立方体算法——概述

Apache Kylin（麒麟）是由eBay贡献给开源社区的大数据分析引擎，支持在超大数据集上进行秒级别的SQL及OLAP查询，目前是Apache基金会的孵化项目[1]。本文是一系列介绍快速数据立方体计算（Fast Cubing）的第一篇，将从概念上介绍新算法与旧算法的区别以及分析它的优劣。

2015-09-16 15:29:51 2159

原创 jQuery数据赋值解析

在我们使用jQuery中，会用到$(element).data()方法存取赋值到元素上的数据。通过该方法，我们每次通过selector获取该元素时，总能获取其赋值的数据。今天，我们就来看看jQuery是如何实现的。

2015-09-14 15:01:11 2254

原创 Hadoop集群硬盘故障分析与自动化修复

硬盘在服务器中起着至关重要的作用，对于硬盘的管理是IAAS部门的责任，但作为业务运维也需要懂得相关的技术。可以采用LVM或裸盘来管理硬盘，用裸盘的好处是节省了硬盘I/O速度。需要根据不同的场景采用不同的方式来管理。

2015-08-11 15:10:57 3613

原创漫谈程序控制流

JS的generator可以玩魔法!! 不过，程序的世界，并没有无根之木、无源之水。让我们回溯本源，探一探各种高阶流程控制结构(比如continuation, coroutine)的来龙去脉

2015-08-11 14:51:22 2052

原创 Hadoop作业性能指标及参数调优实例（三）Hadoop作业性能参数调优方法

eBay拥有8个Hadoop集群，7000+节点，使用eBay Eagle进行集群管理，eBay平台支持团队提供技术咨询，帮助用户有效利用大数据。基于用户咨询，我们以Hadoop作业性能为研究范畴，阐述作业性能指标，给出参数调优建议。

2015-08-11 14:42:06 3434

原创 Hadoop作业性能指标及参数调优实例（二）Hadoop作业性能调优7个建议

eBay拥有8个Hadoop集群，7000+节点，使用eBay Eagle进行集群管理，eBay平台支持团队提供技术咨询，帮助用户有效利用大数据。基于用户咨询，我们以Hadoop作业性能为研究范畴，阐述作业性能指标，给出参数调优建议。

2015-08-11 14:39:06 2505

原创 Hadoop作业性能指标及参数调优实例（一）Hadoop作业性能异常指标

eBay拥有8个Hadoop集群，7000+节点，使用eBay Eagle进行集群管理，eBay平台支持团队提供技术咨询，帮助用户有效利用大数据。基于用户咨询，我们以Hadoop作业性能为研究范畴，阐述作业性能指标，给出参数调优建议。

2015-08-11 14:33:26 3706

原创 JS方法代理

JS方法代理作为一种方便的扩展形式，可以快速的修改并实现效果。然后同样的，该方法是双刃剑。当你获得便捷的同时，也会降低代码的可读性。今天，就让我们看看，方法代理的几种使用场景。

2015-06-23 10:19:47 2227

原创 Kafka的分布式架构设计与High Availability机制

最初，Kafka实际上是LinkedIn用于日志处理的分布式消息队列，现今，Kafka主要用于处理活跃的流式数据，如分析用户的行为，对用户搜索关键词进行统计以便分析出当前的流行趋势，存数据库浪费，而直接用传统的存硬盘方式效率又低下的业务数据也可以使用Kafka的分布式进行存储。

2015-06-18 16:41:23 9177 1

原创 SolrCloud之分布式索引及与Zookeeper的集成

SolrCloud是Solr4.0版本开发出的具有开创意义的基于Solr和Zookeeper的分布式搜索方案，主要思想是使用Zookeeper作为集群的配置信息中心,管理和监控索引的创建、更新和查询，通过，索引的切分和合并机制为用户提供高效、快捷、稳定的索引服务。

2015-06-18 16:27:39 6223 1

原创 A/B Test Sensitivity Improvement by Using Post-Stratification

a/b测试是ebay主要使用的算法优化方法。由于交易数据的长尾特性，用以比较测试组和控制组的 t假设检验方法敏感度不高。本文通过事后分层的统计分析方法，对a/b测试中的用户按照试验前线上行为的相似度进行分组，通过减少组内行为差异而减少试验方差，进而提高测试敏感度，改进试验效率。

2015-06-18 15:29:36 2529

原创 jQuery动态载入JS文件研究

在使用jQuery载入包含script引用的html时，会显示同步的警告。今天，我们将由浅入深，一步步为你解析jQuery载入script的流程。并且提供，如何自制jQuery载入异步script的方法。

2015-05-21 17:20:42 4762 1

原创基于Jmeter和Jenkins的自动化性能测试的一站式解决方案

我们使用测试工具Jmeter与持续集成工具Jenkins集成，开发了一个自动化性能测试的一站式解决方案ELP，设计目标为使性能测试的过程更加简单便捷，使测试人员从繁琐的准备工作和测试结果报表生成工作中解放出来，更加专注于测试业务本身。本文主要介绍了ELP的特性以及设计与实现，重点介绍了使用ELP执行分布式测试的过程和其中用到的SSH隧道技术。

2015-05-21 15:20:52 5290 1

原创 MapReduce的详细过程

MapReduce作为hadoop的编程框架,是工程师最常接触的部分,也是除去了网络环境和集群配置之外对整个Job执行效率影响很大的部分,所以很有必要深入了解整个过程。本文写作的目的在于使得读者对整个MapReduce过程有比较细致的了解,当自己需要定制MapReduce行为时,知道该重写哪些类和方法。在写作时,我贴了部分认为重要的源码和接口,并跟着自己的理解,对于某些内容,结合了自己在工作中遇到的问题,给出了实践参考。

2015-05-14 16:02:46 7664 1

原创使用github pages + issues + api建立个人博客

快速简单强大，Github API + HTML/JS/CSS实现功能完备、独一无二、零花费的no backend 博客系统。

2015-03-20 14:59:24 5592

原创基于云技术的集成测试代码覆盖率收集的一站式解决方案

作者: 孙天一,于清国,石俊娟,沈燕玉背景代码覆盖率是衡量产品测试效果很重要的指标。得到单元测试的代码覆盖率相对比较简单。然而，web应用的测试人员经常会为收集集成测试或者端到端测试的代码覆盖率而伤脑筋。其中的主要原因是测试人员往往对这个领域的技术比较陌生，而且现有的方案比较复杂，容易出错。举例来讲，目前有一个方案不是很自动化，需要用户手工修改很多地方。我们经过调研

2015-03-13 15:03:02 1855

原创 JS组件化验证检测

作者：Jiang, Jilin在web开发过程中，我们时常会遇到输入检测的情况。如果只是简单的输入验证检测，例如邮箱、电话等。我们可以简单的使用if…else if…来依次判断。但是如果这些判断存在延迟检测（例如ajax验证），再使用if…else if…已经无法满足需求了。但是好在，利用jQuery的deffer方法。通过done(func)嵌套，可以实现序列化的检测：$

2015-03-09 09:53:05 808

原创 Ebay开源 Pulsar：实时大数据分析平台

eBay已经开源了一种实时大数据分析的平台—— Pulsar，它利用了分布式处理和Complex Event Processing技术，实现了一个低延迟，高可靠的分布式实时分析平台。

2015-03-02 13:23:51 6827

空空如也

空空如也