大数据训练营

转载 COSO内部控制框架

无论是COSO于1992年发布的首版内部控制框架，还是于2013年再版的内部控制框架，都明确表示企业风险管理框架包含内部控制，如图18-3所示，展现了内部控制、风险管理和公司治理三者的关系。它是将企业内部控制作为企业风险管理的一个子系统。COSO内部控制框架明确指出：有效的内部控制是避免企业经营失败的防线之一。内部控制是提升企业经营绩效的重要驱动力，它能帮助企业管理风险，创造维护企业价值。罗伯特.R.穆勒的著作《COSO内部控制指南》（2013版）将内部控制的主要内容，概括为一个定义、三类目标、五项要素和十

转载 投资人口中的Unit Eco是个什么鬼？一篇文章教会你用数学公式看透商业模式

比如“每日完成总单数/总工时”，这个其实是大多业务中最大的一块变量，而大家一般在讲的故事都是当我客户足够多、密度足够高的时候，我就能节省非常多的路途时间，也就是平均每小时能完成的单数就高了（这也是为什么非常多投资人喜欢强调效率的原因，服务效率有多高是对商业模式是否成立贡献最大的一个点），虽然实际上大家算了半天可能最后发现服务效率最高的还是在店里不动等客人上门，而不是放一个人出去满城市的乱跑。而很遗憾的，基本上所有的O2O公司的这个等式的结果都是小于号，也就是每个人每小时服务创造的收入是不及成本的。

转载 Volcano架构解读：基于Kubernetes的云原生批量计算平台

正确安装部署后，将生成4个组件，分别为：Volcano-admission、Volcano-admission-init、Volcano-controllers、 Volcano-scheduler ,其中admission-init以作业的方式生成证书。defs 是安装时的配置；Volcano是基于Kubernetes的高性能批量计算平台，目前支持几乎所有的主流计算框架，包括MindSpore、TensorFlow、Kubeflow、MPI、PyTorch、飞浆、Spark、HOROVOD 等。

转载 Data Fabric（数据编织）简介

而数据编织是一种架构思想，跟数据集成本来是无法直接比较的，但由于数据虚拟化是实现数据编织架构中的关键技术之一，因此可以比较下数据虚拟化和数据集成的区别，数据虚拟化可以在不移动数据的情况下从源头访问数据，通过更快、更准确的查询帮助缩短实现业务价值的时间，具体包括跨平台敏捷集成、统一语义、低代码创建数据API（支持SQL、REST、OData和GraphQL等技术）、智能缓存加速等功能，数据虚拟化跟数据集成还是有本质区别的，假如没有虚拟化能力，数据是很难编织起来的，当然，数据编织远远超越了数据虚拟化的范畴。

转载 F1 Query

Google最近在VLDB2018发表了"F1 Query: Declarative Querying at Scale"。SIGMOD2017上发表过一篇论文介绍Spanner的Query Engine。对比去年的遮遮掩掩，今年F1 Query诚意满满。X-DB的定位是一款对标Spanner的分布式HTAP数据库，作为X-DB的Query Engine的开发者，在研读后感慨良多，特此总结。

转载 HSAP 服务/分析一体化

简介： 大数据的下一站是什么？服务/分析一体化（HSAP）作者：蒋晓伟（量仔） 阿里巴巴研究员因为侧重点的不同，传统的数据库可以分为交易型的 OLTP 系统和分析型的 OLAP 系统。随着互联网的发展，数据量出现了指数型的增长，单机的数据库已经不能满足业务的需求。特别是在分析领域，一个查询就可能需要处理很大一部分甚至全量数据，海量数据带来的压力变得尤为迫切。这促成了过去十多年来以 Hadoop 技术开始的大数据革命，解决了海量数据分析的需求。与此同时，数据库领域也出现了一批分布式数据库产品来应对 OL

转载 装饰者模式

今天我们来学习一下装饰者模式。作为一名程序猿，相信许多人都跟我一样，在平时写代码的过程中，习惯使用继承。但是继承有时候会出现非常严重的问题，不过，没担心。装饰者模式将会给爱用继承的我们一个全新的设计眼界！一、星巴兹咖啡的故事　　我们通过一个生动有趣的例子来引出我们今天的主角--装饰者模式。　　1、现在呢，有一个咖啡馆，它有一套自己的订单系统，当顾客来咖啡馆的时候，可以通过订单系统来点自己想要的咖啡。他们原先的设计是这样子的：　　2、此时、咖啡馆为了吸引更多的顾客，需要在订单系统.

原创 Prometheus 和 Grafana监控机器

最近在研究如何给应用添加合适的 Metrics，用来分析应用的使用情况以及调试，整体思路是使用 Prometheus 收集数据，Grafana 进行数据的展示。过程中发现了 node-exporter 项目，觉得可以直接拿来监控自己平时使用的 Linux 机器，就有了这篇文章。整个系统使用了三个组件：node-exporter：运行在主机上收集操作系统上各种数据的 Agent，Prometheus 中称为 exporter Prometheus：开源的时序数据库，作为数据存储和分析的中心 Graf

转载 SLA、SLO 和 SLI

SLA、SLI 和 SLO 是 SRE 工程实践里非常核心的概念，但是大家在同时提到这些概念的时候，经常容易混淆。长篇大论的文章反而容易使人更加疑惑，还不如画一张示意图说明一下，帮助大家一次性彻底梳理清楚这些不可以含糊不清的核心概念。说明一下，下图假设所讨论的 SLA 个数为 1，使用了软件工程中 ER 图的表达方式，但也有所变化。一图讲清 SLA、SLO、SLI本文不讲 why，只是帮助大家梳理清楚这些概念在以上人机系统中的相互关系。虽然不想做名词解释。但是为了方便起见，整理一个术语清单。

转载 MTTR/MTTF/MTBF图解

MTTR/MTTF/MTBF图解MTTR、MTTF、MTBF是体现系统可靠性的重要指标，但是三者容易混淆,下文使用图解方式解释三者之间的区别，希望能起到解惑的效用。MTTF (Mean Time To Failure，平均无故障时间)，指系统无故障运行的平均时间，取所有从系统开始正常运行到发生故障之间的时间段的平均值。 MTTF =∑T1/ NMTTR (Mean Time To Repair，平均修复时间)，指系统从发生故障到维修结束之间的时间段的平均值。MTTR =∑(T2+T3)/ NM

转载 mysql explain 结果字段说明

1、idselect查询的序列号,包含一组数字，表示查询中执行select子句或操作表的顺序三种情况：（1）id相同，执行顺序由上至下id相同，执行顺序由上至下此例中 先执行where 后的第一条语句 t1.id = t2.id 通过 t1.id 关联 t2.id 。 而 t2.id 的结果建立在 t2.id=t3.id 的基础之上。（2）id不同，如果是子查询，id的序号会递增，id值越大优先级越高，越先被执行id不同，如果是子查询，id的序号会递增，id值越大优先级越高，越先.

转载 mysql filesort过程解读

在执行计划中，可能经常看到有Extra列有filesort，这就是使用了文件排序，这当然是不好的，应该优化，但是，了解一下他排序的原理也许很有帮助，下面看一下filesort的过程： 1、根据表的索引或者全表扫描，读取所有满足条件的记录 2、对与每一行，存储一对儿值到缓冲区，一个是排序的索引列的值，即order by用到 的列值，和执向该行数据的行指针，缓冲区的大小为sort_buffer_size大小 3、当缓...

原创 何谓云原生？

何谓云原生？技术的变革，一定是思想先行，云原生是一种构建和运行应用程序的方法，是一套技术体系和方法论。云原生（CloudNative）是一个组合词，Cloud+Native。Cloud表示应用程序位于云中，而不是传统的数据中心；Native表示应用程序从设计之初即考虑到云的环境，原生为云而设计，在云上以最佳姿势运行，充分利用和发挥云平台的弹性+分布式优势。Pivotal公司的Matt Stine于2013年首次提出云原生（CloudNative）的概念；2015年，云原生刚推广时，Matt St..

原创 JVM类加载机制

目录总结类加载器自定义类加载器双亲委托模型加载过程详解1、加载2、链接3、初始化总结类从被加载到JVM中开始，到卸载为止，整个生命周期包括：加载、验证、准备、解析、初始化、使用和卸载七个阶段。其中类加载过程包括加载、验证、准备、解析和初始化五个阶段。类加载器类加载器的任务就是根据一个类的全限定名来读取此类的二进制字节流到JVM中，然后转换为一个与目标类对应的java.lang.Class对象实例。BootstrapClassLoader、ExtClas

转载 表达式引擎Aviator

Aviator是一个轻量级、高性能的Java表达式执行引擎, 本文内容主要来自于官方文档更多干货 分布式实战（干货） spring cloud 实战（干货） mybatis 实战（干货） spring boot 实战（干货） React 入门实战（干货） 构建中小型互联网企业架构（干货） python 学习持续更新 ElasticSearch 笔记 kafka storm 实战 (干货) scala 学.

转载 Apache Kylin 云原生架构的思考及规划

原文地址：https://mp.weixin.qq.com/s/mBLeSlU-IQlYTNe9cOkFVQ各位同学，大家下午好！非常高兴今天来到这个场合，给大家介绍一下 Apache Kylin 在接下来云原生方面的变化和思考，以及我们在这方面最近的工作。01关于 Apache Kylin首先介绍一下 Apache Kylin 这个项目，Kylin 是我们五六年前在 ...

原创 大数据体系干货(一) - 数据平台与数据中台

目录数据平台数据中台数据平台与数据中台的区别与联系区别联系整体架构硬件层&虚拟化数据平台存储能力计算能力管理平台数据中台数据仓库数据集市数据开发数据运维赋能对象赋能管理者赋能业务运营赋能业务中台赋能数据变现赋能合作伙伴数据平台数据平台是在数以万计的硬件之上建立统一的基础数据存储和计算的服务,当然我们所建设的数据平台需要周边一些辅助的服务来支撑核心服务的运行,以及一些数据平台管理类工具...

原创 推荐系统系列 - 实例一 - 基于流行度的算法 - 搜索热词推荐

目录基础知识基础知识

原创 推荐系统系列 - 实例二 - 协同过滤算法-储备知识

目录基础知识基础知识

原创 Antlr - 使用antlr4实现一个计算器,配合变量可以实现程序里的复合指标运算

目录开发环境准备idea项目配置antlr配置文件代码编写测试zookeeper下载开发环境准备idea我使用idea开发,所以使用一idea作为环境参考,idea版本是打开preferences,选择plugins输入antlr,没有安装过,点击下面进入repositories点击install,等待一会安装完成重启idea,看此处插件的antlr版本是4....

转载 推荐系统系列 - 引导 - 5类系统推荐算法,非常好使,非常全

　　◆ ◆ ◆　　序言　　最近因为PAC平台自动化的需求，开始探坑推荐系统。这个乍一听去乐趣无穷的课题，对于算法大神们来说是这样的：　　　　而对于刚接触这个领域的我来说，是这样的：　　　　在深坑外围徘徊了一周后，我整理了一些推荐系统的基本概念以及一些有代表性的简单的算法，作为初探总结，也希望能抛砖引玉，给同样想入坑的伙伴们提供一些思路。　　◆ ◆ ◆　　什么是推荐系...

原创 伪分布式系列 - 第七篇 - zookeeper-环境搭建

目录zookeeper架构环境准备zookeeper配置zk启动测试zookeeper架构环境准备zookeeper配置zk启动测试

原创 伪分布式系列 - 第六篇 - flume-1.9.0-环境搭建

目录环境准备下载flumeflume配置启动测试环境准备下载flume下载地址:http://flume.apache.org/download.html http://mirror.bit.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz版本:1.9.0flume配置启动测试...

原创 伪分布式系列 - 第五篇 - flink-1.8.1-bin-scala_2.12-环境搭建on hadoop3.2.0

目录flink的三种运行模式单机模式分布式on yarn环境准备下载flinkflink配置启动测试flink的三种运行模式单机模式分布式on yarn环境准备下载flink下载地址:https://flink.apache.org/downloads.html http://mirror.bit.edu.cn/apache/flink/flink-1.8.1/flink-1.8...

转载 建设企业的数据化引擎，网易严选数据中台的经验和方法论

转自：https://www.infoq.cn/article/Zyq4a*yEI1Uz2iwHFJuF?from=timeline数据中台最早是阿里提出的，但真正火起来是 2018 年，我们能感受到行业文章谈论数据中台的越来越多。大量的互联网、非互联网公司都开始建设数据中台。为什么很多公司开始建设数据中台？尽管数据中台的文章很多，但是一千人眼里有一千个数据中台，到底什么是数据中台？数据中台包...

转载 UML示例图

转载 TiDB简介

由于目前的项目把mysql换成了TiDb，所以特意来了解下tidb。其实也不能说换，由于tidb和mysql几乎完全兼容，所以我们的程序没有任何改动就完成了数据库从mysql到TiDb的转换，TiDB 是一个分布式 NewSQL (SQL 、 NoSQL 和 NewSQL 的优缺点比较 )数据库。它支持水平弹性扩展、ACID 事务、标准 SQL、MySQL 语法和 MySQL 协议，具有数据强一致...

原创 伪分布式系列 - 第四篇 - datax环境搭建,hive导入mysql测试

目录基础环境搭建spark配置spark启动测试基础环境搭建spark配置spark启动测试

原创 伪分布式系列 - 第三篇 - spark-2.4.3环境搭建on hadoop3.2.0

目录基础环境搭建spark配置spark启动测试基础环境搭建spark配置spark启动测试

原创 伪分布式系列 - 第二篇 - hive-2.3.5环境搭建on hadoop3.2.0

目录基础以来环境搭建hive搭建hive测试基础以来环境搭建hive搭建hive测试

原创 伪分布式系列 - 第一篇 - hadoop-3.2.0环境搭建

Hadoop的三种运行模式单机模式伪分布式模式全分布式集群模式环境准备安装包下载Hadoop配置启动服务简单使用

转载 YARN Federation

介绍众所周知，YARN可扩展到数千个节点。 YARN的可伸缩性由Resource Manager确定，并且与节点数，活跃的应用程序，活跃的容器和心跳频率成比例。降低心跳可以提高可扩展性，但对利用率有害。本文档描述了一种基于联邦（federation）的方法，通过联合多个YARN子集，将单个YARN集群扩展到数万个节点。所提出的方法是将大的（10-100k节点）集群划分为称为子集群的较小单元，每...

转载 使用Eclipse Memory Analyzer Tool（MAT）分析线上故障(一) - 视图&功能篇

Eclipse Memory Analyzer Tool（MAT）是一个强大的基于Eclipse的内存分析工具，可以帮助我们找到内存泄露，减少内存消耗。 工作中经常会遇到一些内存溢出、内存泄露等问题，同时还可能导致CPU使用率也很高，因为在频繁的进行GC垃圾回收，这时候就需要分析导致问题的原因，MAT是一个比较好用的工具，但刚开始使用时对于其提供的一些功能还是不太了解，故在此总结...

转载 浅谈ROLAP、MOLAP和HOLAP区别

对没有使用过数据仓库的人，对这三个概念确实是有点混淆不清。包括我自己本身不是做数据仓库出身，所以实际上是从实践出发，理论基础是有点匮乏的。一、基本概念1. OLAPOLAP(on-Line Analysis Processing)是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。OLAP的核心概念是“维”（di...

转载 Kylin优化-Cube裁剪优化(聚合组,联合维度,层级维度,强制维度)

随着维度数目的增加，Cuboid 的数量会爆炸式地增长。为了缓解 Cube 的构建压力，Apache Kylin 引入了一系列的高级设置，帮助用户筛选出真正需要的 Cuboid。这些高级设置包括聚合组（Aggregation Group）、联合维度（Joint Dimension）、层级维度（Hierachy Dimension）和强制维度（Mandatory Dimension）等。”众所周...

转载 权限系统设计模型分析（DAC，MAC，RBAC，ABAC）

此篇文章主要尝试将世面上现有的一些权限系统设计做一下简单的总结分析，个人水平有限，如有错误请不吝指出。术语这里对后面会用到的词汇做一个说明，老司机请直接翻到常见设计模式。用户发起操作的主体。对象（Subject）指操作所针对的客体对象，比如订单数据或图片文件。权限控制表 (ACL: Access Control List)用来描述权限规则或用户和权限之间关系的数据表...

原创 Kylin cube构建过程优化

Kylin将Cube构建任务分解为几个依次执行的步骤，这些步骤包括Hive操作、MapReduce操作和其他类型的操作。如果你有很多Cube构建任务需要每天运行，那么你肯定想要减少其中消耗的时间。下文按照Cube构建步骤顺序提供了一些优化经验。创建Hive的中间平表这一步将数据从源Hive表提取出来(和所有join的表一起)并插入到一个中间平表。如果Cube是分区的，Kylin会加上一个时...

原创 Kylin SQL 快速参考 支持JOIN LEFT JOIN操作

Apache Kylin 使用 Apache Calcite 做 SQL 解析和优化。作为一款 OLAP 引擎, Kylin 支持SELECT操作，而不支持其它操作例如INSERT，UPDATE和DELETE，因此 Kylin 的 SQL 语法是 Apache Calcite 支持语法的一个子集。本文列举了 Kylin 支持的 SQL 语法、函数以及数据类型，但可能并不完整。您可以查看...

转载 数仓建模：范式建模+维度建模

范式建模 Inmon提出的集线器的自上而下（EDW-DM）的数据仓库架构。操作型或事务型系统的数据源，通过ETL抽取转换和加载到数据仓库的ODS层，然后通过ODS的数据建设原子数据的数据仓库EDW，EDW不是多维格式的，不方便上层应用做数据分析，所以需要通过汇总建设成多维格式的数据集市层。优势：易于维护，高度集成；劣势：结构死板，部署周期较长 范式建模应用在EDW层 一个符合第三范式的关...

原创 MAC IDEA修改git的用户名和密码

问题：GIT账户的密码有更改，导致GIT拉取和提交代码报错原因：MAC对git用户和密码有记忆功能，记住的是错误的解决方案：用钥匙串去更改用户名和密码第一步：找到你的钥匙串的位置应用程序----实用工具-----双击钥匙串----右上角搜索git------双击登陆-----点击显示密码-----输入两次你的开机密码-----然后更改xxx用户名就可以了。1.2....