- 博客(28)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 阿里云 - MaxCompute研究
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，提供离线和流式数据的接入，支持大规模数据计算及查询加速能力。MaxCompute适用于100 GB以上规模的存储及计算需求，最大可达EB级别，适用于大型互联网企业的数据仓库和BI分析、网站的日志分析、电子商务网站的交易分析、用户特征和兴趣挖掘等。
2023-01-13 15:42:53
1230
1
原创 分布式缓存系统 Ignite、Hazelcast、Ehcache
本文对Apache Ignite、Hazelcast、Ehcache的情况进行简单的对比分析。
2023-01-06 19:11:41
2217
原创 什么是RPC？
RPC指远程过程调用（Remote Procedure Call），通俗一些理解就是两台服务器A、B，一个应用部署在A服务器上，想要调用B服务器上应用提供的函数/方法，由于不在一个内存空间，不能直接调用，需要通过网络来表达调用的语义和传达调用的数据。
2023-01-06 19:06:10
324
原创 数仓知识12：PostgreSQL预写日志(WAL)和逻辑解码方案
了解PostgreSQL预写日志(WAL)是什么，研究分析PostgreSQL各种逻辑解码方案间的差异
2022-09-19 21:17:05
1174
原创 数仓知识11：Hadoop生态及Hive、HBase、Impala、HDFS之间的关系
Hive、HBase、Impala、HDFS是Hadoop生态体系中常用的开源产品，各个产品间是一个什么样的关系，许多人都搞不清楚，本文将进行研究分析。
2022-09-16 20:40:16
3166
1
原创 数仓知识10：数据库存储的两种方式-行存储和列存储
目前大数据存储主要有两种方案可供选择：行存储（Row-Based）和列存储（Column-Based）。业界对两种方案有许多争持，争论的焦点是：谁能够更有效地处理海量数据，且兼顾安全、可靠、完整性。
2022-06-19 18:24:36
5049
翻译 论文翻译：从传统数据仓库到实时数据仓库
英文名：From Traditional Data Warehouse To Real Time Data Warehouse译者：维克先生（首发于CSDN，转载请私信）摘要：传统的数据仓库不包含像今天这样的数据。在传统数据仓库中检索数据并处理它们是很困难的。此外，它的内容也不是高频更新的，这可能会导致错误的决策。数据通常从传统业务系统加载。鉴于当今商业世界的决策对实时性要求越来越高。因此，人民越来越推崇支持实时决策的系统。在本文中，我们从传统的数据仓库到实时数据仓库进行了调查分析。本综述首先关注
2022-05-22 20:33:01
737
原创 数仓知识09：数据仓库的概念
1.数据仓库概念数据仓库，Data Warehouse，简写为DW或DWH。定义：面向主题的，集成的，相对稳定的，反映历史变化的数据集合，用于支持管理决策。面向主题：在较高层次上将企业信息系统的数据综合归并进行分析利用的抽象的概念。每个主题基本上对应一个相应的分析领域 集成的：企业级数据，同时数据要保持一致性、完整性、有效性、精确性 稳定的：从某个时间段来看是保持不变的，没有更新操作、删除操作，以查询分析为主 变化的：反映历史变化2.数据仓库和数据库的区别3.不...
2022-05-01 16:17:13
1933
原创 数仓知识08：数据中台概念
1.中台是什么？中台这个概念早期是由美军的作战体系演化而来的，技术上所说的“中台”主要是指学习这种高效、灵活和强大的指挥作战体系。中台就是：通过制定标准和机制，把不确定的业务规则和流程通过工业化和市场化的手段确定下来，以减少人与人之间的沟通成本，同时还能最大程度地提升协作效率。原则：集中管控，分布式执行目标：提高企业快速低成本创新的能力，减少沟通成本，提升协作效率2. 数据中台是什么？数据中台是数据服务(Data API)工厂,打造高数据响应力的企业。数据中台是指通过数据技术，.
2022-05-01 16:12:12
688
原创 数仓知识07：数据增量更新的几种方式
1、增量更新的几种方式增量更新的本质，其实是获取源表中数据变化的情况（增、删、改），然后将源表中发生的变化同步至目标表中。不同的方式，获取源表中数据变化的情况不一样，受技术的限制、表结构的限制，某些方式可能无法获取到完整的数据变化情况，因此只能适用于特定的场景。方式 简述 适用场景 详述 优点 缺点 时间戳增量1 记录每次读数完成时的最大时间戳，后续读数时只获取源头表中新增的数据，将其增量写入到目标表。 源表只增不删不改
2022-05-01 16:08:50
8589
2
原创 数仓知识06：什么是元数据？
1.概念元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。举几个简单例子:如果一本书是一个“数据"，那么它的书名、封面、出版社、作者、总页码就是它的“元数据”。 如果一个电影是一个“数据”，那么它的总时长、制作人、总导演、演员列表就是它的“元数据”。 如果数据库中某个表是一个”数据”，那么它的列名、列类型、列长度、表注释就是它的"元.
2022-05-01 16:05:11
7223
3
原创 数仓知识05：事实表和维度表的概念
数仓中通常有两种表：事实表、维度表，这两种表是什么含义，有哪些区别，今天进行讲解。事实表数据仓库架构中的中央表，它包含联系事实与维度表的数字度量值和键。事实数据表包含描述业务（如银行事务或产品销售）内特定事件的数据。维度表数据仓库中的表，其条目描述事实数据表中的数据。维度表包含创建维度所基于的数据。举个实际的例子。银行对存款记账，A表中存放实际数据，包括账号、所属机构号、存款金额等，B表存放机构号和机构名称的对应关系。则A是事实表，B是维表。其他说明：每个数据仓库都包含一个或者多
2022-05-01 14:52:59
1238
原创 数仓知识04：行转列、列转行的含义及SQL示例
在构建数仓或做数据分析时，需要对原始数据的结构进行一定的处理，有时涉及到“行转列”，有时涉及到“列转行”，那么这两个转换的方式具体是什么，有什么差异，今天给大家做一下讲解。
2022-05-01 14:28:49
1921
原创 计算机知识02：Linux 操作系统简介
1 Linux简介Linux 内核最初只是由芬兰人林纳斯·托瓦兹（Linus Torvalds）在赫尔辛基大学上学时出于个人爱好而编写的。Linux 是一套免费使用和自由传播的类 Unix 操作系统，是一个基于 POSIX 和 UNIX 的多用户、多任务、支持多线程和多 CPU 的操作系统。Linux 能运行主要的 UNIX 工具软件、应用程序和网络协议。它支持 32 位和 64 位硬件。L...
2020-02-01 16:32:57
1523
原创 虚拟机知识01：VMware虚拟机网络配置
1 虚拟机网络编辑器查看1.1 打开虚拟网络编辑器编辑 >> 虚拟网络编辑器1.2 查看NAT和DHCP信息部分用户需获取权限，若提示“需要具备管理器特权才能修改网络配置”，则点击“更改设置”并确认选定NAT模式，然后点击NAT设置可以查看到子网IP、掩码和网关，点击确定回到上一步，再点击DHCP设置这里注意查看起始IP地址和结束IP地址，如本文中是：192......
2020-02-01 15:56:37
12238
4
原创 计算机知识01：计算机基础知识入门
1. 计算机运行流程如果不是很了解电脑运行流程的话，我们可以类比一下，假设电脑是一个人体，那么每个元件对应到哪个地方呢？可以这样思考：CPU=脑袋：每个人会做的事情都不一样（微指令集的差异），但主要都是通过脑袋来进行判断与控制身体各部分的活动；内存=脑袋中放置正在被思考的数据的区块：在实际活动过程中，我们的大脑需要有外界刺激的数据 （例如光线、环境、语言等） 来分析，那这些互动数据暂时存放的...
2020-02-01 14:57:55
3538
原创 Linux知识06：Linux系统常用命令集合
Linux命令大全：http://man.linuxde.net一、关闭防火墙CentOS 7.0默认使用的是firewall作为防火墙firewall-cmd --state #查看防火墙状态systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动...
2018-11-06 12:12:31
156
原创 Linux知识05：centos6.9卸载自带的openjdk
[root@livedvd ~]# java -versionjava version "1.7.0_131"OpenJDK Runtime Environment (rhel-2.6.9.0.el6_8-x86_64 u131-b00)OpenJDK 64-Bit Server VM (build 24.131-b00, mixed mode)[root@livedvd ~]# ...
2018-10-24 19:17:58
474
原创 Linux知识04：Centos6.8/Centos7安装配置redis3.2.9
说明：本文全部操作的截图在centos6.8系统下操作进行，在centos7上也验证过可以完美实现。1.利用X-shell创建redis文件夹mkdir /usr/redis2.进入redis目录cd /usr/redis3.安装依赖包和常用包yum install gcc gcc-c++ make zlib-devel readline readline-devel tkut...
2018-10-08 15:01:46
553
原创 Linux知识03：Centos6.8/Centos7安装配置nginx1.13.7
部署集群时经常会用到nginx负载均衡，本文将在centos6.8系统下安装nginx的流程详细记录一下，希望对各位有所帮助。顺便提一下，部署集群时安装JDK，tomcat的教程可以看这两个文档：Centos6.8/Centos7下安装JDK8以及环境变量配置Centos6.8/Centos7安装配置tomcat8.5.34第一步：创建安装目录mkr /usr/nginxcd /...
2018-09-30 17:24:10
986
原创 Linux知识02：Centos6.8/Centos7安装配置tomcat8.5.34
说明：本文全部操作的截图在centos6.8系统下操作进行，在centos7上也验证过可以完美实现。安装tomcat的前提是您的服务器上已经安装好了JDK，安装JDK的教程可以看我这篇文档：Centos6.8/Centos7下安装JDK8以及环境变量配置第一步：从官网下载tomcat，下面有链接：tomcat官网下载8.5.34地址第二步：利用Xshell工具进行Linux命令处理，...
2018-09-30 16:14:42
2443
1
原创 Linux知识01：Centos6.8/Centos7下离线安装JDK8以及环境变量配置
说明：本文全部操作在centos6.8系统下操作进行，在centos7上也验证过可以完美实现。第一步：去官网上下载JDK8的安装包，注意是以tar.gz结尾的呀。我下载的是jdk-8u181-linux-x64.tar.gz下载地址：JDK8安装包官网下载地址[注：我的是centos64位的系统，所以下载Linux x64对应的压缩包，如果您的Linux系统是32位的，则下载Linux...
2018-09-30 15:01:53
2392
【解决方案】win10系统更新后，遇到VMware Workstation Pro无法运行的情况
2020-02-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人