- 博客(1340)
- 资源 (79)
- 收藏
- 关注
RSS订阅
原创 大数据Doris（七十）：全球电商狂欢节万亿级实时大屏解决方案
2020年6月1日0时至6月18日24时，京东618全球年中购物节累计下单金额达到2692亿元，创下新的纪录。上市首日，京东股价报收于234港元，较发行价上涨3.54%，市值超过7200亿港元。2018年6月1日0点到6月18日24点，京东全球年中购物节累计下单金额达1592亿元。每年6月是京东的店庆月，每年6月18日是京东店庆日。从2019年6月1日0点到6月18日24点，累计下单金额达2015亿元，覆盖全球。1998年6月18日，刘强东在。活动，以“火红六月”为宣传点，其中6月18日是。
2024-03-25 22:25:29
105
2
原创 大数据学习指南从入门到精通
利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的为什么选择学习大数据开发，不选择Java开发？借棋弈做比喻，智商高的不要选择五子琪，要选择围棋，它能长久地吸引你。不都是在棋盘上一颗黑子一颗白子地下吗?因为围棋更复杂，能够掌握如此复杂的技艺、产生稳定输出的棋手、让我们更佩服。选择学习大数据开发也如此，能让你的职业生涯走得更远，少走弯路。
2022-05-21 15:57:40
19225
183
原创 大数据Doris（六十九）：项目线上表现
从测试和线上的表现来看，Doris引擎的表现还是非常优秀的。多维分析聚合查询场景对比Druid引擎有很大的性能优势，再加上Doris on ES的加持和上层业务的抽象，可以即拥有ES引擎强大的分词检索能力，又不失Olap场景海量数据的聚合分析性能。两者的结合可以为这类需求提供全新的解决方案与思路。在快手商业化业务场景里面，维度数据与事实数据Join查询是非常普遍的，有了比较不错的实践成果，后续会在Doris on ES解决方案上继续投入。
2024-03-16 11:39:00
302
1
原创 大数据Doris（六十八）：基于Doris on ES的架构实现总结
总结来说，如果要支持维度数据存储，并且支持Join，目前开源的各类引擎或多或少都存在一些局限性。Doris和Clickhouse这里引擎都支持Join，并且支持明细数据存储，但是如要要高频Update，也是没办法做到。如果跳出Olap引擎，在应用层做Join实现，也是一种解法，但是实现成本高。Doris on ES构建在这个能力之上，并且对查询做了大量的优化，这给对ES原理理解不深的同学带来了方便。目前Doris on ES还不支持聚合下推，但是对于我们维度数据查询场景其实是用不到聚合操作。
2024-03-13 13:18:08
205
2
原创 大数据Doris（六十七）：Doris on ES在快手商业化的架构实现
进而导致每个KIS task包含了所有取值的数据(我们生成环境KIS task数目与topic的partion数是一一对应的)，造成KIS task的segment文件大幅膨胀（两种区别的理论值为key By处理生成的segment大小为不做key by的 1/partion总数），影响实时数据的查询性能(这里如果没太看明白可以参考阅读Druid官方文档，了解Druid数据聚合、索引构建原理)。ES拥有强大的分词检索能力，支持较高频率的update操作，和很好的横向扩展能力。屏蔽复杂的跨引擎管理查询逻辑。
2024-03-07 23:13:45
356
3
原创 大数据Doris（六十六）：Doris on ES在快手商业化的业务场景介绍
大宽表，空间换时间。理论上都是维表主键为唯一ID来填充所有维度，这样只是冗余存储了多条维度数据，但是在OLAP引擎里，不管是DRUID、KYLIN还是DORIS都不会造成数据量的基数膨胀。优势：维度数据与事实数据完全分离，维度数据用专门的引擎存储(如mysql、elasticsearch等等)，可以支持高频update操作，查询时通过主键关联查询维度数据。劣势：对应的弊端就是如果有维度数据update场景，支持的代价非常大。优势：应用层查询的时候非常方便，无需关联额外的维表，直接面向大而全的宽表查询。
2024-02-28 11:08:29
289
2
原创 MySQL数据库基础（十五）：PyMySQL使用介绍
如果使用之前学习的MySQL客户端来完成这个操作，那么这个工作量无疑是巨大的，我们可以通过使用程序代码的方式去连接MySQL数据库，然后对MySQL数据库进行增删改查的方式，实现100000条数据的插入，像这样使用代码的方式操作数据库就称为数据库编程。注：PyMySQL是基于事务进行操作的，所以在数据库增删改操作时，必须通过conn.commit() 方法将事务操作提交到数据库，如果事务操作没有成功，则可以通过conn.rollback()进行回滚（返回到数据的原始状态）。
2024-02-25 18:08:23
1675
2
原创 MySQL数据库基础（十四）：E-R模型及表间关系
对于大型公司开发项目，我们需要根据产品经理的设计，先使用建模工具, 如：power designer，db desinger等这些软件来画出实体-关系模型(E-R模型)1、E-R模型由 实体、属性、实体之间的关系构成，主要用来描述数据库中表之间的关系和表结构。📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨。2、开发流程是先画出E-R模型，然后根据三范式设计数据库中的表结。E-R模型就是描述数据库存储数据的结构模型。E-R模型即实体-关系模型。
2024-02-25 17:51:23
382
原创 MySQL数据库基础（十三）：关系型数据库三范式介绍
设计关系数据库时，遵从不同的规范要求，设计出合理的关系型数据库，这些不同的规范要求被称为不同的范式，各种范式呈递次规范，越高的范式数据库冗余越小。
2024-02-23 23:17:58
1269
1
原创 MySQL数据库基础（十二）：子查询（三步走）
在一个 select 语句中,嵌入了另外一个 select 语句, 那么被嵌入的 select 语句称之为子查询语句，外部那个select语句则称为主查询。
2024-02-20 18:45:00
779
3
原创 MySQL数据库基础（十）：DQL数据查询语言
之前我们做的查询都是横向查询，它们都是根据条件一行一行的进行判断，而使用聚合函数查询是纵向查询，它是对一列的值进行计算，然后返回一个单一的值；分页查询在项目开发中常见，由于数据量很大，显示屏长度有限，因此对数据需要采取分页显示方式。例如数据共有30条，每页显示5条，第一页显示1-5条，第二页显示6-10条。having作用和where类似都是过滤数据的，但having是过滤分组数据的，只能用于group by。聚合查询函数：count()，sum()，max()，min()，avg()。
2024-02-19 22:31:41
1180
2
原创 MySQL数据库基础（九）：SQL约束
遵循原则：创建主键约束：创建表时，在字段描述处，声明指定字段为主键删除主键约束：如需撤销 PRIMARY KEY 约束，请使用下面的 SQL我们通常希望在每次插入新记录时，数据库自动生成字段的值。我们可以在表中使用 auto_increment（自动增长列）关键字，自动增长列类型必须是整型，自动增长列必须为键(一般是主键)。下列 SQL 语句把 "Persons" 表中的 "Id" 列定义为 auto_increment 主键向persons添加数据时，可以不为Id字段设置值，也可以设置成nul
2024-02-19 00:06:38
1405
3
原创 MySQL数据库基础（八）：DML数据操作语言
特别注意：在SQL语句中，除了数字，其他类型的值，都需要使用引号引起来，否则插入时会报错。案例：修改username='马鹏'这条记录，将其性别更新为男，家庭住址更新为广东省深圳市。案例：今年是2020年，假设到了2021年，现在存储的学员年龄都差1岁，整体进行一次更新。特别说明：如果在更新数据时，不指定更新条件，则其会把这个数据表的所有记录全部更新一遍。删除大量记录速度慢，只删除数据，主键自增序列不清零。
2024-02-18 16:49:08
689
原创 MySQL数据库基础（七）：DDL数据表操作
特别注意：创建数据表必须有一个前提，首先要明确选择某一个数据库。创建 => create数据表 => table创建 + 数据表 = create table 数据表名称案例：创建一个admin管理员表，拥有3个字段（编号、用户名称、用户密码）use在MySQL中的含义代表选择，use 数据库名称相当于选择指定的数据库。而且use比较特殊，其选择结束后，其尾部可以不加分号；但是强烈建议所有的SQL语句都要加分号，养成一个好习惯。
2024-02-18 09:59:14
1013
2
原创 MySQL数据库基础（六）：DDL数据库操作
如博客系统中的用户管理功能，就需要一个user数据表、博客中的文章就需要一个article数据表、博客中的评论就需要一个message数据表。一个MySQL DBMS可以同时存放多个数据库，理论上一个项目就对应一个数据库。编写SQL语句是一个比较细致工作，不建议大家直接在终端中输入SQL语句，可以先把你要写的SQL语句写入一个记事本中，然后拷贝执行。创建 + 数据库 = create database 数据库名称(字母+数字+下划线组成，以字母开头，不能出现中文以及特殊字符)
2024-02-17 09:59:52
970
2
原创 MySQL数据库基础（五）：SQL语言讲解
结构化查询语言(Structured Query Language)简称SQL，是关系型数据库管理系统都需要遵循的规范，是数据库认识的语句。不同的数据库生产厂商都支持SQL语句，但都有特有内容。
2024-02-17 00:05:30
1221
原创 MySQL数据库基础（四）：图形化开发工具DataGrip
DataGrip是JetBrains公司推出的管理数据库的产品，功能非常强大，可以兼容各种数据库，另外,JetBrains公司还有一款知名的IDE开发工具IDEA，用户体验非常不错。
2024-02-16 15:50:57
937
原创 MySQL数据库基础（三）：Linux系统下的MySQL安装与使用
① MySQL的特点：免费，支持大型数据库，标准的SQL语言形式，跨平台。② 本文使用的版本是。
2024-02-16 06:30:00
876
3
原创 MySQL数据库基础（二）：MySQL数据库介绍
MySQL是一个关系型数据库管理系统，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件，它是由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下产品，MySQL 是最流行的关系型数据库管理系统中的一个。选择新建，将刚才的赋值的mysql文件的地址粘贴到文本框中，点击确定，完成环境变量配置。下载完成后打开安装包，稍等片刻后，选择开发者默认的安装方式，点击下一步即可。
2024-02-15 14:02:52
1117
2
原创 MySQL数据库基础（一）：数据库概述
数据库就是存储数据的仓库，其本质是一个文件系统，按照特定的格式将数据存储起来，用户可以对数据库中的数据进行增加，修改，删除及查询操作。随着互联网的高速发展，大量的数据在不断的产生，伴随而来的是如何高效安全的存储数据和处理数据，而这一问题成为了信息时代的一个非常大的问题，而使用数据库可以高效的有条理的储存数据。可以结构化存储大量的数据；可以有效的保持数据的一致性、完整性；读写效率极高。二、数据库分类数据库又分为关系型数据库和非关系型数据库。
2024-02-15 10:21:57
1061
原创 Linux操作系统基础（十五）：Shell编程
1、简介Shell 是一个用 C 语言编写的程序， 通过 Shell 用户可以访问操作系统内核服务。它类似于 DOS 下的 command 和后来的 cmd.exe。Shell既是一种命令语言，又是一种程序设计语言。Shell script 是一种为shell编写的脚本程序。Shell编程一般指shell脚本编程，不是指开发shell自身。2、Shell解释器Shell编程跟java、php编程一样，只要有一个能编写代码的文本编辑器和一个能解释执行的脚本解释器就可以了。
2024-02-14 18:22:26
949
1
原创 Linux操作系统基础（十四）：集群服务器搭建
通过链接克隆，可以轻松的为不同的任务创建一个独立的虚拟机。安全增强型 Linux（Security-Enhanced Linux）简称 SELinux，它是一个 Linux 内核模块，也是 Linux 的一个安全子系统。案例：创建shop文件夹及readme.txt文件，然后把shop文件夹连同内部的readme.txt文件一起上传到node2服务器。完整克隆是和原始虚拟机完全独立的一个复制，它不和原始虚拟机共享任何资源。注意：不要修改文件原来的内容，三台虚拟机的配置内容都一样。
2024-02-14 15:03:46
955
原创 Linux操作系统基础（十三）：Linux安装、卸载MySQL
查看mariadb版本卸载mariadb删除mariadb默认配置文件重启机器reboot将安装包上传到/export/software目录解压mysql安装包到/export/server目录必须安装(注意顺序)
2024-02-13 09:30:14
1008
1
原创 Linux操作系统基础（十二）：yum软件包管理器
基于RPM包管理，能够从指定的服务器自动下载 RPM 包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软件包，无须繁琐地一次次下载、安装。options：可选，选项包括-h（帮助），-y（当安装过程提示选择全部为 "yes"），-q（不显示安装的过程）等等、command：要进行的操作、package：安装的包名。yum 提供了查找、安装、删除某一个、一组甚至全部软件包的命令，而且命令简洁而又好记。仅安装指定的软件命令：yum install
2024-02-13 00:07:38
466
1
原创 Linux操作系统基础（十一）：RPM软件包管理器
rpm（英文全拼：redhat package manager） 原本是 Red Hat Linux 发行版专门用来管理 Linux 各项软件包的程序，由于它遵循GPL规则且功能强大方便，因而广受欢迎。RPM 套件管理方式的出现，让Linux易于安装升级，间接提升了 Linux的适用度。📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨。示例1：查询已安装的rpm列表，通常通过管道命令配合grep进行查找。命令格式：rpm -参数 软件包名。示例3：显示软件包中的文件列表。
2024-02-12 13:02:25
502
原创 大数据Doris（六十五）：基于Apache Doris的数据中台2.0
对于明细数据在TiDB或者ES的，我们选择了在Flink中进行窗口聚合写入到下游Doris或者ES中。需要对监听的源表以及变更字段进行配置，在配置的interval时间窗口内多个源表进行扫描，然后将结果进行merge后生成参数，根据配置的threshold对参数进行拆分后传入多个insert sql中，并在每天凌晨进行T+1的全量聚合，修复微批计算的错误数据。由于之前我们的实时数仓只有ES，所以在使用Doris的初期，我们选择了通过Doris创建ES外表的方式来完善我们的Doris数仓底表。
2024-02-12 11:48:26
1685
1
原创 Linux操作系统基础（十）：Linux系统信息
本篇文章内容主要是为了方便通过远程终端维护服务器时, 查看服务器上当前。学习终端命令都是查询命令, 通过这些命令对系统资源的使用情况有个了解。
2024-02-11 17:41:23
392
1
原创 Linux操作系统基础（九）：Linux用户与权限
Linux操作系统是多任务多用户操作系统，每当我们使用用户名登录操作系统时，Linux都会对该用户进行认证、授权审计等操作。操作系统为了识别每个用户，会给每个用户定义一个ID，就是UID。为了方便用户管理，Linux允许把多个用户放入一个用户组；在Linux系统中，用户组也有一个ID，GID。在Linux操作系统中，root的权限是最高的，相当于windows的administrator，拥有最高权限，能执行任何命令和操作，而其他用户都是普通用户。
2024-02-11 10:34:23
1899
1
原创 Linux操作系统基础（八）：Linux的vi/vim编辑器
vi是visual interface的简称, 是Linux中最经典的文本编辑器vi的核心设计思想：让程序员的手指始终保持在键盘的核心区域, 就能完成所有编辑操作vi的特点：只能是编辑文本内容, 不能对字体段落进行排版不支持鼠标操作没有菜单只有命令vim 是从vi发展出来的文本编辑器, 支持代码补全、编译及显示效果等方面编程的功能提别丰富, 在程序员中被广泛使用, 被称为编辑器之神。二、打开文件vi a.txt #直接打开文件vim a.txt #vim是vi的增强版。
2024-02-10 22:34:41
515
1
原创 Linux操作系统基础（七）：Linux常见命令（二）
注：在Linux操作系统中，虽然我们通过useradd命令可以快速创建一个账号，但是这个账号默认没有密码，所以不能进行登录操作。管道命令主要功能就是将管道前面的命令的执行结果传递给管道后面的命令作为参数。作用：clear命令用来清屏，可以使用Ctrl + L 来替换。-横岗：代表切换用户的同时，把当前的目录切换到用户的家目录。作用：ps命令用来列出系统中当前运行的进程。作用：kill命令用于终止执行中的程序。
2024-02-10 11:25:50
944
2
原创 Linux操作系统基础（六）：Linux常见命令（一）
作用：cd 是英文单词 change directory 的缩写, 其功能为 更改当前的工作目录, 也是用户最常用的命令之一。作用 ：ls 是英文单词list的简写, 其功能为列出目录的内容，是用户最常用的命令之一。📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨。代表从==/根目录==开始一级一级向下查找，直到找到我们想要访问的目录位置。当前位置：/usr目录下面，切换到/根目录的下方，可以使用..来实现。② 除了命令以外，还有选项，但是没有参数。
2024-02-09 22:20:18
1048
1
原创 Linux操作系统基础（五）：Linux的目录结构
Linux的目录结构是一个树型结构 Windows 系统 可以拥有多个盘符, 如 C盘、D盘、E盘 Linux 没有盘符 这个概念, 只有一个根目录 /, 所有文件都在它下面。Linux系统中的程序目录，安装软件、程序默认都会自动安装到此目录，类似Windows中的Program files文件夹。普通用户：lanson，普通用户的家 => /home，如lanson家目录 => /home/lanson文件夹。超级管理员：root，超级管理员的家 => /root。
2024-02-09 10:40:15
498
原创 Linux操作系统基础（四）：Linux连接工具使用
我们需要远程连接虚拟机，如果使用随机IP我们再重启或更改网络环境后，IP会随机变化，需要频繁修改网络连接配置，为方便学习，我们将其修改为固定IP。答：IP只能保障两台计算机互相通信，如果想进行连接，除了有Linux的IP地址以外，还需要一个Linux的账号与密码。选择DHCP设置，将起始IP设置为192.168.88.1，终止IP设置为192.168.88.254，点击确定。点击NAT设置，将网关IP设置为192.168.88.1，点击确定后，返回上一级点击确定，设置生效。但是操作时一定要特别小心。
2024-02-09 06:30:00
1915
1
原创 Linux操作系统基础（三）：虚拟机与Linux系统安装
软件没有什么过多的注意事项，直接双击软件包进行安装即可。但是需要特别注意：当VMware软件安装完毕后，在计算机的网络中会出现两张虚拟网卡（VMnet1和VMnet8），有些时候想模拟出一个真实的电脑环境，碍于使用真机安装代价太大，因此而诞生的一款可以模拟操作系统运行的。鼠标右键，使用VMware Workstation打开。安装后尽量不要卸载，否则后果自负！输入默认密码：123456。默认管理员账号：root。、oracle 出品的。选择我已移动该虚拟机。
2024-02-08 13:09:16
461
1
原创 Linux操作系统基础（二）：Linux操作系统概述
广义：广义上的Linux 是指由Linux内核衍生的各种Linux发行版本。Linux的吉祥物是企鹅（因为林纳斯小时候被企鹅咬过，印象深刻）Linux的特点：开源、免费、拥有最为庞大的源码贡献者。Linux 诞生于1991年，作者上大学期间实现的。狭义：由Linus 编写的一段内核代码。Linux创始人——林纳斯 · 托瓦兹。
2024-02-08 12:46:08
433
原创 Linux操作系统基础（一）：操作系统概述
操作系统（Operating System，简称OS）是管理和控制计算机硬件与软件资源的计算机程序，是直接运行在“裸机”上的最基本的系统软件，任何其他软件都必须在操作系统的支持下才能运行。所以大数据组件都是基于Linux系统安装的，所以Linux操作系统是我们大数据学习的必备技能。计算机一般分为个人计算机（笔记、台式机）与 企业级服务器（1U、2U、机柜、塔式、刀片）两种形式。软件可以操作硬件（听音乐）、硬件也可以操作软件（玩游戏，人物的移动），它们之间是如何交互的呢？
2024-02-07 22:46:51
830
2
原创 大数据Doris（六十四）：Doris on ES在快手商业化的业务场景介绍
理论上都是维表主键为唯一ID来填充所有维度，这样只是冗余存储了多条维度数据，但是在OLAP引擎里，不管是DRUID、KYLIN还是DORIS都不会造成数据量的基数膨胀。维度数据与事实数据完全分离，维度数据用专门的引擎存储(如mysql、elasticsearch等等)，可以支持高频update操作，查询时通过主键关联查询维度数据。业务场景主要为两大块——传统型的OLAP分析查询场景+星型模型join场景下的OLAP多维分析查询。应用层查询的时候非常方便，无需关联额外的维表，直接面向大而全的宽表查询。
2024-02-07 10:22:14
949
原创 大数据Doris（六十三）：基于Doris的有道精品课数据中台建设实践
Doris的引入推进了有道精品课数据分层的构建，加速了实时数仓的规范化进程。数据中台团队在此基础上一方面向全平台各业务线提供统一的数据接口，并依托于Doris生产实时数据看板，另一方面定时将实时数仓数据同步至下游离线数仓供分析师进行自助分析，为实时和离线场景提供数据支撑。
2024-02-04 09:17:10
220
3
原创 大数据Doris（六十二）：Spark Doris Connector代码操作
Spark Doris Connector 可以支持通过 Spark 读取 Doris 中存储的数据。编译成功后，会在 output/ 目录下生成文件。将此文件复制到 Spark 的 ClassPath 中即可使用 Spark-Doris-Connector。例如：Local 模式运行的 Spark，将此文件放入 jars/ 文件夹下。Yarn集群模式运行的Spark，则将此文件放入预部署包中。--Doris FE http 地址，支持多个地址，使用逗号分隔--
2024-01-31 11:09:11
183
1
NiFi文档资料与软件包下载
2023-02-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人