锵锵锵锵~蒋-CSDN博客

原创 Python中numpy数组切片：print(a[0::2])、[::-1]、[::2]、[:,2]、[1:,-1:]、[ : ,: -1]，[:,-2:]、[ : n]、[m : ]等含义（详细）

numpy 一维、二维数组切片操作，附详细示例。数组切片用到的负数值怎么理解附了很多例子！a[:-1],a[::-1],a[-2:-1]，a[-2::-1]、X[ : , :-1]，X[ : ,-1: ]，x[:,-2:]，x[:,-2:-1]可以自己试一试就懂了。

2019-09-21 22:44:33 168702 20

原创 Hive 常见数据倾斜场景及解决方案(Map\Join\Reduce端)

Hive 中常见的数据倾斜场景及解决方法

2023-09-27 23:09:08 716

原创窗口函数-分组排序：row_number()、rank() 、dense_rank()、ntile()

select ROW_NUMBER()over(order by name) as 排序,* from temp— 排序，即使值一样，也不会重复排序。例如1,2,3,4,5select RANK()over(order by name) as 排序,* from temp— 排序，值一样，就重复排序，有间隙。例如1,1,3,4select DENSE_RANK()over(order by name) as 排序,* from temp— 排序，值一样，就重复排序，没有间隙。

2023-09-04 16:22:11 785

原创两表union 如何保证group by 字段唯一

当要计算的指标可能来源多个表时，可能会使用到union all把不同的表中计算的指标合起来。写法一：group by之后union all ，之后再次group by保证分组字段的唯一。Union：对两个结果集进行并集操作，不包括重复行，同时进行默认规则的排序；写法二：开始不分组，将查到的分组字段union all 之后group by。Union All：对两个结果集进行并集操作，包括重复行，不进行排序；另外，回顾union和union all的区别：union会自动。

2023-09-04 15:21:17 1144

原创数仓中的维度、度量、指标、事实、属性几个概念如何区分？有何异同？

数仓中维度、指标、度量等概念的区分

2023-08-31 11:39:51 1011

原创数仓数据建模中的概念总结（数据域、主题域、总线矩阵、指标...）

概念归纳业务分类：业务板块是某一大类业务的指标和维度的集合，如电商，文娱。数据域：数据域是指一个或多个业务过程或者维度的集合，如交易域，日志域。业务过程：业务过程指企业的业务活动事件，如下单，支付。数据集市：面向某个应用场景或者产品的数据组织，一般会依赖数据公共层。主题域：将数据集市按照分析视角进行切分，比如在电商行业，通常分为会员、交易、商品等。维度：维度是用于分析数据的一个角度，一方面对维度进行可控管理，另一方面指导维度表的设计，如地理维度，时间维度。维度属性：维度属性隶属于一

2023-08-31 11:17:53 655 1

原创数仓建模之维度表&指标表

对数仓中的维度&指标进行解释

2023-08-31 10:57:24 502

原创数仓中怎么做模型设计--关于分层建模（结合阿里OneData规范）

结合阿里OneData规范，对数仓的维度建模方法进行整理，关于分层建模的一些注意点。

2023-07-27 19:12:47 416

原创操作HDFS文件系统常用命令(启停、创建、查看、上传、下载、追加、删除.etc)

操作HDFS文件系统常用的命令行

2023-04-22 10:15:02 1465 2

原创 HDFS集群部署成功但网页无法打开如何解决（显示配置通过浏览器访问hdfs的端口）

HDFS集群部署成功（3台虚拟机）但是网页端无法打开，通过显示指定端口解决！！

2023-04-19 23:36:36 4388 1

原创【黑马2023大数据实战教程】VMWare虚拟机部署HDFS集群详细过程

【黑马2023大数据实战教程】VMWare虚拟机部署HDFS集群详细过程:包括1.配置workers:2.配置hadoop-env.sh文件3.配置core-site.xml文件4.配置hdfs-site.xml文件准备数据目录分发Hadoop文件夹配置环境变量授权为hadoop用户格式化文件系统错误排查方法!!

2023-04-19 21:19:11 2939 1

原创【黑马2023大数据实战教程】使用3台虚拟机搭建大数据集群详细步骤

2023新版黑马程序员大数据教程中的集群配置步骤记录

2023-04-17 21:54:45 1563

原创【大数据Hive3.x数仓开发】数仓中数据发生变化如何实现数据存储--拉链表详解

拉链表专门用于解决在数据仓库中==数据发生变化如何实现数据存储==的问题。拉链表的设计是==将更新的数据进行状态记录==，没有发生更新的数据不进行状态存储，用于存储所有数据在不同时间上的所有状态，==通过时间进行标记每个状态的生命周期==，查询时，根据需求可以获取==指定时间范围状态的数据==，默认用9999-12-31等最大值来表示最新状态。

2023-04-09 00:01:16 496

原创【大数据Hive3.x数仓开发】HiveSQL如何使用explode&lateral view实现单列转多行

列转行的应用案例，附重要函数explode的详细解释

2023-04-08 11:43:25 252

原创【大数据Hive3.x数仓开发】HiveSQL行转列应用-多行转多列case when&多行转单列concat_ws,collect

关于多行转多列，多行转单列的应用场景及实现，涉及case when,concat_ws，collect等函数。

2023-04-08 11:20:04 818

原创 Neo4j初学者使用记录（在更）

打开Neo4jcmd+R 输入neo4j console浏览器中输入框中网址：http://localhost:7474/即可打开新建库服务器版需要更改配置文件，若neo4j服务正在运行，则按Ctrl+c，停止该服务。配置完后，再重新开启服务，刷新网页即可。桌面版直接界面上新建数据库即可。找到neo4j安装目录，编辑conf文件夹中的neo4j.conf然后再次启动neo4j,重新打开网页：http://localhost:7474/，可以看到新数据库被添加进neo4j了:

2023-04-05 23:24:26 283