自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

自律

没有难学的技术,只是还没学到,切忌临时抱佛脚

  • 博客(181)
  • 资源 (4)
  • 收藏
  • 关注

原创 百度sql面试题

方法1:排序,dt列求出本行和前面第2行的日期差,等于2则三天连续。方法2:排序,dt减去排序序号的日期差相等的数量大于等于3 (user登陆表数据如下,求出连续登录3天及以上的用户。

2023-08-14 18:37:08 794

原创 维度建模中的缓慢变化维

通常使用方法为:跑批时间>=start_dt and 跑批时间

2023-07-12 12:09:11 261

原创 mysql用cast转字符类型报错

它们支持 BINARY、CHAR、DATE、DATETIME、DECIMAL、DOUBLE、FLOAT、JSON、NCHAR、REAL、SIGNED [INTEGER]、TIME、UNSIGNED [INTEGER]。CAST() and CONVERT() functions不支持 VARCHAR 作为类型。cast(age as varchar)报错。

2023-07-11 15:42:56 1203

原创 mysql小表驱动大表

小表驱动大表原理

2023-06-13 22:12:51 1350

原创 元数据、数据元、元模型、数据字典及数据模型的区别

元数据:描述数据的数据数据元:数据的最小单元(字段元数据+值)数据模型:由数据元组合而成(分为概念、逻辑、物理模型)元模型:关系建模中的实体、关系、属性,是相对于数据模型的概念,离开了模型元模型就没有了意义。数据字典:表和字段的元数据集合,包括约束、数据类型、默认值、长度、转换规则和业务定义,供技术团队使用。

2023-04-07 14:04:02 2271

原创 数据仓库(分层和建模方法梳理)

数据仓库的核心是展现层和提供优质的服务。ETL 及其规范、分层等所做的一切都是为了一个更清晰易用的展现层。

2023-03-28 14:02:09 879

原创 维度建模(星型、雪花、星座)

事实表、维度表、维度模型、核心四步骤。

2023-03-27 16:29:34 664

原创 mysql计算环比的方法(多种情况)

历史、当前月环比。

2023-03-24 17:04:23 1767

原创 OLAP与OLTP的区别(详解)

现代工程界普遍认为,数据库系统可以在广义上分为联机事务处理(Online Transaction Process,OLTP)和联机分析处理(Online Analyze Process,OLAP)两种面向不同领域的数据库,OLAP数据库也被称为数据仓库。

2023-03-16 14:55:39 557

原创 数据库三范式举例详解

关系型数据库一共有6种范式,越高的范式数据库冗余越小。一般情况下,在关系型数据库中。

2023-03-16 10:36:37 440 1

原创 数据、数据资源及数据资产管理的区别

数据、数据资源、数据资产。

2023-03-10 14:54:55 840

原创 什么是主数据

可以在企业内跨越各个业务部门被重复使用,和交易数据实时变化相比,主数据是处于相对高价值,高共享,相对稳定的状态,如产品、物资、设备、组织机构、员工、供应商、客户。2)主数据整合:主要利用数据清洗工具及扩展功能,将各系统生成的主数据进行汇集、依据主数据标准和主数据模型定义的规则进行校验、清洗、发布,实现对主数据的全生命周期管理,并整合出统一的、可信任的主数据。消除数据冗余,提升数据质量:主数据打通各业务链条,统一数据语言,统一数据标准,实现数据共享,最大化消除了数据冗余,提升数据质量。

2023-02-24 10:58:23 7109

原创 元数据概述

元数据概述总结

2023-02-23 11:36:17 313

原创 数仓、数据湖、湖仓一体、数据网格的探索与研究

数据建设发展探索

2023-02-22 11:41:13 789

原创 sql server新建用户并授权

新建用户授权

2022-12-23 17:39:25 707

原创 mysql的cmd命令行表格不整齐解决办法

解决表格不齐

2022-12-18 13:51:01 601

原创 mysql存储过程、存储函数练习题

存储过程,函数

2022-11-29 21:32:23 1043

原创 mysql修改数据报错Error Code: 1175. You are using safe update mode

SQL_SAFE_UPDATES = 1,ON时开启安全更新模式。SQL_SAFE_UPDATES =0,OFF时关闭安全更新模式。更改只在当前生效,退出mysql,再次登录后恢复为默认。正在使用安全更新模式。

2022-11-22 22:16:58 632

原创 Navicat 连接MySql报错:1251 - Client does not support authentication protocol....

navicat连接mysql报错

2022-11-16 22:57:17 282 1

原创 mysql创建用户并赋权(亲测)

创建用户赋权

2022-11-11 13:52:05 1109

原创 mysql命令行导入csv文件(各种类型文件),涵盖各种报错解决(亲测)

导数的各种报错全部涵盖

2022-11-10 00:06:04 3359

原创 mysql用cmd时中文乱码问题ERROR 1366 (HY000): Incorrect string value: ‘\xCE\xF7\xD3\xCE\xBC\xC7‘ for column

cmd中文乱码问题

2022-11-09 23:35:53 298

原创 sqlserver导入excle文件,其他类型文件也可(亲测)

文件自动和student库下的表对应,应该是名字一样的自动检测到。选择平面数据源,有的是中文显示的。可以点击预览查看数据样式。

2022-10-18 18:47:27 252

原创 两台电脑mysql数据迁移,各版本mysql迁移(亲测)

mysql数据迁移

2022-10-17 18:14:29 6125 11

原创 Mysql Workbench的使用(亲测)

http://dev.mysql.com/downloads/workbench/ 选择跟你mysql一致的版本选择好安装路径,一路next即可2.安装mysql8.0时会自带安装。

2022-10-16 15:13:28 4448

原创 mysql5中文字符问题

mb4就是most bytes 4的意思,专门用来兼容四字节的unicode。而utf8编码最多三个字节,所以utf8mb4完全向下兼容。因为之前建的库字符集没变,需要重新建库建表,新的库默认的字符集是utf8。mysql8默认是utf8mb4,可以存储中文,这是8版本特有的。语句查看SHOW VARIABLES LIKE ‘char%’原因,5.0字符编码是拉丁,插入中文会报错或者乱码。utf8mb4和utf8区别,比如Emoji 表情。

2022-09-20 15:53:27 219

原创 mysql5.0安装,同时安装8.0和5.0

mysql安装非常简单,基本就是无脑安装,网上有些教程实在误导初学者,并不是写的越复杂证明文章水平多高,用zip安装各种配置不累吗。

2022-09-19 15:42:23 1609

原创 MySQL导出数据为csv的方法(亲测),导出数据为各种文件类型

mysql导出csv文件到本地

2022-09-09 15:03:49 11196

原创 pgsql执行脚本并传参

pgsql执行脚本

2022-09-04 11:23:44 1852

原创 mysql启动服务的两种方式

mysql启动的两种方式

2022-09-01 18:12:49 1926

原创 mysql8.0卸载

mysql8.0卸载

2022-08-30 16:02:44 496

原创 mysql各个版本修改root用户密码

mysql修改密码

2022-08-30 15:56:00 532

原创 mysql安装8.0详细操作(根本没有网上说的那么复杂,简单清晰)

mysql8

2022-08-30 11:41:15 1981

原创 hive自定义udf函数

show functions查看所有udf函数,命令和impala一样,但impala只能查看当前库下的

2022-06-21 17:53:58 208

原创 impala和大表关联时,大表限制语句写在on里,或者写在子查询里,哪个sql查询的速度快?

相同,执行计划完全一样,都是扫描大表时加上限制条件,然后去做关联

2022-06-21 15:10:08 303

转载 impala刷新元数据的两种方式

impala有两种刷新元数据的方法,invalidate metadata和refresh。invalidate metadata是用于刷新全库或者某个表的元数据,包括表的元数据和表内的文件数据,它会首先清楚表的缓存,然后从metastore中重新加载全部数据并缓存,该操作代价比较重。refresh只是刷新某个表或者某个分区的数据信息,它会重用之前的表元数据,仅仅执行文件刷新操作,它能够检测到表中分区的增加和减少,主要用于表中元数据未修改,数据的修改。1 # invalidate metadata

2022-04-18 11:13:03 5103

原创 impala的优化策略:广播,hash与straight_join

查看执行计划,避免大表被广播,表关联顺序如果被impala优化器修改导致hint失效,使用straight_join固定顺序。关于hintThe Impala query planner chooses between different techniques for performing join queries, depending on the absolute and relative sizes of the tables. Broadcast joins are the default,

2022-02-28 16:33:07 644

原创 compute stats表和列统计信息

全表扫描compute stats 表分区表扫描compute incremental stats 表 partition(biz_date=20220218)compute incremental stats 表 partition(biz_date<=20220218)compute incremental stats 表 partition(biz_date >= 20211230 and biz_date <=20220218)compute increm

2022-02-21 10:40:42 1441

原创 left join时on和where条件的区别

数据库在通过连接两张或多张表来返回记录时,都会生成一张中间的临时表,然后再将这张临时表返回给用户。在使用left join时,on和where条件的区别如下:1.on条件是在生成临时表时使用的条件,它不管on中的条件是否为真,都会返回左边表中的记录。2.where条件是在临时表生成好后,再对临时表进行过滤的条件。create table IF NOT EXISTS ljh.test_20220124_1(id String,age String)STORED AS PARQUET;

2022-01-26 17:58:14 543

原创 查看当前目录下所有.log文件,返回后10行中带有关键字error或exception的文件名

1.汇总需要检查的文件名到filename.txt2.创建最终结果文件re,一天一个(也可以精确到秒,看情况吧)3.清空结果文件re,免得重跑时结果文件re有内容4.遍历文件列表filename.txt,查看后10行内容到临时文件tmp.txt,查看临时文件tmp.txt是否包含关键字(这里变量用“”,因为正好是字符串比较,省的总出现比较失败的情况,很棒),包含则输出对应文件名到结果文件re。5.依次遍历,最终结果文件re里是包含关键字的文件名列表#!/bin/bashls *.log>

2022-01-17 17:38:39 958

mapreduce案例代码及案例涉及文件

了解map和reduce工作原理,以及排序,分组,分区设置,有详细的注释,方便查看学习,适合入门初学者练手

2020-11-24

员工表增删改查springjdbc,springboot

项目介绍https://blog.csdn.net/qq_39331255/article/details/109010385 所用技术 jsp + servlet + springboot + springJdbc + druid + mysql 员工列表 ID 姓名 性别 入职日期 所属部门 部门地址 操作 1 张三 男 1982-2-2 开发部 北京 修改|删除 2 李四 男 1982-2-2 开发部 北京 修改|删除

2020-10-11

SecureCRT.zip

https://editor.csdn.net/md/?articleId=107218979安装介绍详解,欢迎下载

2020-07-09

javaweb注册登陆到主页示例代码

采用javaweb阶段所学到的所有技术,用代码实现整个流程,可以用来学习和练手,包含html,tomcat服务器,servlet,request,response,jsp,EL,js,ajax,jquery,session,cookie,jstl,过滤器,监听器,json

2020-06-13

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除