- 博客(199)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 nginx502 Bad Gateway错误解决办法
在web端访问网页，tail -f /var/log/nginx/error.log 命令打印日志，发现报错为2024/04/24 03:26:49 [crit] 29714#29714: *2 connect() to 192.168.0.204:2828 failed (13: Permission denied。查询nginx的error日志，一般路径在/var/log/nginx/error.log，可以通过nginx的配置文件/etc/nginx/nginx.conf查看error日志路径。
2024-04-23 20:10:00
126
原创 mac激活pycharm，python环境安装和包安装问题
华为云：https://repo.huaweicloud.com/repository/pypi/simple。清华大学：https://pypi.tuna.tsinghua.edu.cn/simple。阿里云：http://mirrors.aliyun.com/pypi/simple/4. 如果包下载不下来可以换个源试试。5.Pycharm激活 可以参考。或者使用下面的方式修改下载源地址。都会默认去这个镜像源下载包。
2024-03-13 10:49:31
472
原创 大数据时代，数据治理
在大数据平台阶段，用户对数据信息的需求持续上升，用户范畴从数据信息部门拓展到全企业，数据治理无法再仅仅面向数据信息部门了，需用变为面向全企业用户的办公环境，需用以全企业用户为中心，从给用户提供服务的角度，管控好数据信息的同时为用户提供自助式获得大数据的能力，幫助企业实现数字化转型。通过这四个阶段的建设，使数据治理平台由数据部门的工作环境，转变成为全企业的数据工作环境，以用户为中心，让用户能够直接使用大数据，并通过用户的使用来管理数据，持续优化数据质量，在达到治理数据目标的同时，也最大限度发挥了数据的价值。
2023-09-25 17:28:51
425
原创 Mysql导入数据报：Row size too large (＞ 8126). Changing some columns to TEXT or BLOB may help.
导入SQL文件时报错（在执行创建表或者增加字段时，发现row size长度过长，会导致出现以下错误）再导入数据试试已经成功了！重启mysql数据库。
2023-06-19 11:29:44
882
原创 元数据，指标，标签，规则，模型
规则：规则一般是不同业务领域的专家，根据业务经验，对几个指标组合，形成一个规则。规则是基于指标，进行业务支撑。即将14-15岁，15-16岁两个指标进行组合。模型：模型基于指标，进行建模。模型与规则不同的是，规则的生成是业务专家根据业务经验，组合多个指标制定的，规则不具有预测能力。模型的生成是应用科学的算法对指标进行计算，同时模型具有预测能力。标签：标签可以基于元数据做整理，也可基于指标做整理。例如：标签可以把14-15岁，15-16岁这两个指标，统一归纳为，"青少年"标签。14-15岁，15-16岁……
2023-05-30 09:50:48
466
原创 十一、数据仓库详细介绍（应用）
数据仓库是一种数据管理的方法论，理论概念很早就提出来了，而且各个行业都有广泛深入的应用。因此到目前为止该方法论的理论和实践体系已经非常完善了。深入了解过数仓而且有一定实践经验的人，应该能够在数据中台、数据治理、数据资产管理、数据中心，以及 DAMA、DCMM 等知识体系中，看到许许多多的数据仓库的知识。
2023-05-24 10:17:51
674
原创 十、数据仓库详细介绍（数据质量）流程与工具
做为数据人必须对数据质量保持足够的重视。数据质量管理是通过划分数据资产等级和分析元数据的应用链路，对不同资产等级的数据采取相对应的质量管理方式。数据质量管理流程图如下：原文内容可以翻阅阿里巴巴大数据之路，第 15 章数据质量部分。也可以查看阿里云文档：https://help.aliyun.com/document_detail/114560.html包含两部分内容：数据资产等级的定义根据资产等级分析数据处理链路1、数据资产等级的定义。
2023-05-24 10:14:53
698
1
原创 十、数据仓库详细介绍（数据质量）理论与经验
数据质量管理是对数据从计划、收集、记录、存储、回收、分析和展示生命周期的每个阶段里可能引发的数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。数据质量管理的终极目标是通过可靠的数据提升数据在使用中的价值，并最终为企业赢得经济效益。”——以上内容摘自百度百科。笔者观点：“数据质量管理不单纯是一个概念，也不单纯是一项技术、也不单纯是一个系统，更不单纯是一套管理流程，数据质量管理是一个集方法论、技术、业务和管理为一体的解决方案。
2023-05-24 10:08:13
889
原创 九、数据仓库详细介绍（元数据）
元数据（Meta-data）是描述数据的数据（The data about data），更准确点应该叫 The information abut data。如何理解这句话？就是描述信息、实体、系统的数据。举几个例子175，大家有概念吗？如果我说这是一个男孩儿的身高大家是不是就懂了。如果我再加一个他才 14 岁信息量是不是更大了？因此：数据+元数据(描述数据的数据)=信息。遥控器，上边一堆按键如果没有文字说明大概率是没人会用的。
2023-05-24 09:58:10
2403
原创 八、数据仓库详细介绍（监控告警）
在前边的章节，我们设计完存储模型，开发了 ETL 任务，并且配置好流程依赖，然后上调度系统，至此我们的数据仓库基本搭建完成，而且所有流程任务都可以自动化运转了。随着公司上线的数据处理任务越来越多，我们可以安排专门的运维人员定时监控任务执行情况，定时去检查终端应用，尽最大可能的发现问题（比如源数据迟到、数据量突增、异常数据或者开发考虑不周、有人修改代码且测试不充分、服务器异常、调度宕机等等），并且赶在业务使用前解决掉。不过技术人嘛，这种全靠人肉去监控的方法总感觉太低端，而且心里很不踏实。
2023-05-24 09:54:41
1360
原创 七、数据仓库详细介绍（调度）
在之前的文章，我们规划了数仓架构，制定了数仓规范，然后在架构和规范的指导下设计了存储模型、构建了 ETL 系统。数仓模型解决了数据存储问题，ETL 解决了数据同步集成计算问题，而调度解决的是自动化问题。我们通过配置调度去周期性定时触发执行各种任务或流程（同步、集成、计算、校验、测试等）并监控他们的运行情况，及时、保质、自动化的满足各种数据使用需求。最后调度还有一个附加的用途，对于新接手的维护项目，我们想要快速了解其数据流转，线上运行的调度任务就是最好的切入点了。
2023-05-24 09:50:15
727
原创 六、数据仓库详细介绍（ETL）经验篇
日常工作中大多数时候都是在做数据开发，ETL 无处不在。虽然最近两年主要做的大数据开发，但感觉日常干的这些还是 ETL 那点事儿，区别只是技术组件全换了、数据量大了很多。前几年数仓势微，是因为传统的那些工具数据库等无法解决数据量进一步膨胀带来的计算问题，大数据火爆也是因为当时大数据开发门槛很高。可是最近两年随着大数据技术的成熟开发门槛越来越低了，数据仓库反而重新火起来了。ETL 的事情就跟 SQL 一样入门很简单，但真要熟练运用也没那么容易，因为这两类技能仅靠理论学习很难掌握，必须不断的实践堆积才行。
2023-05-24 09:43:17
2679
原创 六、数据仓库详细介绍（ETL）工具篇下
上篇，我们介绍了五种传统 ETL 工具和八种数据同步集成工具。数据仓库详细介绍（五.ETL）工具篇上本篇，我们接着介绍两种新型 ETL 工具、大数据发展不同阶段产生的六种主要计算引擎、五种流程控制组件。最后我们简单讨论两个话题：这么多组件我们该如何抉择？如何快速将工具引入生产实践？0x01 新型 ETL 工具MapReduce 将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数：Map 和 Reduce。
2023-05-23 11:07:31
985
原创 六、数据仓库详细介绍（ETL）工具篇上
Datastage 操作界面对元数据的支持：Datastage 是自己管理 Metadata，不依赖任何数据库。参数控制：Datastage 可以对每个 job 设定参数，并且可以 job 内部引用这个参数名。数据质量：Datastage 有配套用的 ProfileStage 和 QualityStage 保证数据质量。定制开发：提供抽取、转换插件的定制，Datastage 内嵌一种类 BASIC 语言，可以写一段批处理程序来增加灵活性。修改维护：提供图形化界面。这样的好处是直观、傻瓜式的；
2023-05-23 11:04:55
1756
原创 六、数据仓库详细介绍（ETL）方法篇
上文我们把数据仓库类比我们人类自身，数据仓库“吃”进去的是原材料（原始数据），经过 ETL 集成进入数据仓库，然后从 ODS 开始逐层流转最终供给到数据应用，整个数据流动过程中，在一些关键节点数据会被存储存储下来落入数仓模型。在数仓这个自运转的大生态系统中 ETL 扮演了原材料加工转化和能量传输两个重要角色，有了 ETL 的加持这个生态系统才开始活起来了。在数据仓库领域，ETL 的重要性有时候甚至比数仓模型还高，ETL 水平的高低通常能决定数仓的下限（决定上限的主要是数据应用和源端数据质量）。
2023-05-23 11:03:34
1721
原创 五、数据仓库详细介绍（建模）实践篇
到这里，由于数仓模型设计的复杂性，我们需要多人合作共同完成建模工作，这时候架构师或者建模师可以结合之前分层分域的成果，按层按域将模型设计任务进行拆解后分发给不同的人完成。DW 层，数据仓库的核心存储层，这一层数仓建模的核心，相对标准的思路是我们在明细层采用范式建模的思路自顶向下设计把 ODS 层的数据完整的整合进来，打破孤岛（ID 映射）、消除冗余，再往上层可以采用维度建模的思路，基于 DWD 层做轻度汇总、重度汇总，主要以满足业务需求为主，后期如有需求新增或变化可以基于 DWD 层的完整数据重新汇总。
2023-05-23 11:02:07
1256
原创 五、数据仓库详细介绍（建模）理论篇
说到模型，还有另外一个比较容易搞混的概念：什么是模式?从字面的意思理解，“模”一种标准，或者一种套路，“式”方式，方法，形式。两个字连接在一起就可以解释为，一种可以重复使用，具有参考性的方法、知识体系。在互动百科中定义为：模式是指从生产经验和生活经验中经过抽象和升华提炼出来的核心知识体系。模式（Pattern）其实就是解决某一类问题的方法论。把解决某类问题的方法总结归纳到理论高度，那就是模式。模式是一种指导，在一个良好的指导下，有助于你完成任务，有助于你作出一个优良的设计方案，达到事半功倍的效果。
2023-05-23 10:58:03
886
原创 数据仓库漫谈-前世今生
上世纪 90 年代（大概 1993-1995 年之间吧），沃尔玛尝试将 Aprior 算法引入到 POS 机数据分析中（实际上是一种商品的关联分析算法），当时发现跟尿布一起购买最多的商品竟然是啤酒，最后经过进一步市场调研发现，美国的太太们经常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫在买完尿布后又随手带回了他们喜欢的啤酒。但随着数据集市的不断增多，这种架构的缺陷也逐渐显现：公司内部独立建设的数据集市由于遵循不同的标准和建设原则，导致多个数据集市的数据混乱和不一致。第三阶段：灵者为先，两种建模思想的融合。
2023-05-23 10:56:53
769
原创 四、数据仓库详细介绍（规范）
发行稿，从大面上应该不会有啥问题，但细节上可能会有考虑不周的情况，在宣讲阶段、执行阶段遇到问题阻碍的时候，应该根据实际情况对规范做出调整，唯有经过实践检验才能愈发完善，相信经过一段时间的持续实践，规范会成为组织文化的一部分，进而降低沟通成本、提高开发效率、保证交付质量，从而实现团队和个人的双赢。本篇写作的初衷，就是找到一种合理的分类方式，把数据规范详尽穷举的罗列给大家，让大家了解全貌。由于只是一家之言，大家如有不同的见解、更好的方案或者有可以再补充的，欢迎拉到文章底部，加我微信，大家共同研究。
2023-05-23 10:54:58
1704
原创 三、数据仓库实践-拉链表设计
由此带来了大量的存储、计算资源的开销，并且随着该表的持续膨胀，里边数据也没有清退机制，快照会越滚越大，而且还清贷款的数据，所有属性状态是不会再变动的。该场景，我们的数据起止日期（t_start_date、t_end_date）就不适用了，因为理论上，商品价格一天可能会变更多次，必须改成数据起止时间（t_start_time、t_end_time），由此带来的数据处理逻辑的变化，上边 4.4 增量更新的处理逻辑就不适用了，必须改用 4.3 历史数据初始化方式了。奥，看了好久，下边 SQL 的数据止期有问题。
2023-05-23 10:52:15
2459
原创 二、数据仓库详细介绍
我们在工作中会遇到一些问题，例如研发人员说需求分析做得不到位，而做需求的人员会质疑需求做到怎样才算到位，为什么开发出的产品和用户想要的不一致，这些从根上来说，都是因为没有将业务架构梳理清楚，没有达成共识。公用数据层，主题域的划分最好依据对实际业务的抽象，需要保持一定的稳定性、兼容性、前瞻性，主题域的划分需要保证整体数据完整，且数据无重叠。上图是流批一体的架构。需要清晰的了解组织的真实诉求、实际的服务对象。应用架构，是战术，承接业务架构落地，影响技术架构选型，业务架构里的每一个模块在这里都有对应的模块。
2023-05-23 10:50:32
920
原创 一、数据仓库详细介绍
Inmon 提出数据仓库的构建过程，应该是自顶而下的（注意：这里的顶不是架构图的上层，而是数据流的上游，也就是数据源）。从数据源到数据仓库再到数据集市，采用范式建模的方法构建数据仓库，遵从第三范式（1.每一个属性都是不可分割的原子项，而不是集合数组记录等，2.每个属性都有且仅依赖于主键，3.每个属性都不能传递依赖于主属性，如果有就拆分成两张表）。Kimball 提出数据仓库的构建过程，采用维度建模的方法，根据业务需求优先构建数据集市，数据再从各个不同的数据集市汇集到数据仓库。标准规则及编码不统一。
2023-05-23 10:47:10
697
1
原创 若依VUE前端打包到测试环境
先给安装webpack和servecmd打开窗口如果你没有装这个，num run build 你就会报错：Class extends value undefined is not a constructor or null成功提示：如果不装就不能serve dist 就会报错。
2023-05-09 11:32:05
1239
原创 Centos7下忘记root密码找回
按ctrl+d或者输入exit退出这个环境。没错，现在的环境和原来系统的环境是一模一样。而我们的系统文件全部在/mnt/sysimage目录下。5.重置密码后按ctrl+d 重启，进入到正常系统中。1.开机时，grub菜单，选择第1个, 手要快按。2.然后找到linux16这行，在这一行的末尾编写。4.重新设置root密码， passwd设置即可。4. 拯救一个CentOS系统，回车。3. 发现并排查故障，回车。
2023-04-13 19:30:31
214
原创 阿里 Arthas Java诊断工具
Arthas 是一款线上监控诊断产品，通过全局视角实时查看应用 load、内存、gc、线程的状态信息，并能在不修改应用代码的情况下，对业务问题进行诊断，包括查看方法调用的出入参、异常，监测方法执行耗时，类加载信息等，大大提升线上问题排查效率。
2023-03-31 09:43:48
152
原创 安装ZIMG 图片服务器 和 go-fastdfs文件服务器
zimg是图像存储和处理服务器。您可以使用URL参数从zimg获取压缩和缩放的图像。zimg的并发I / O，分布式存储和时间处理能力非常出色。
2022-12-20 13:53:39
976
原创 oracle监听命令响应慢，无法启动 ，ORA-12541
一般在路径：$ORACLE_HOME\diag\tnslsnr\机器名\listener\trace\listener.org。修改文件名或者删除 启动监听就可以了。后来发现监听日志过大了。
2022-10-18 13:34:16
650
1
原创 Linux下使用systemctl 开机自动启动项目
服务进程不会fork。如果该服务要启动其他服务，不要使用此类型启动，除非该服务是socket激活型。RemainAfterExit如果设置这个选择为真，服务会被认为是在激活状态，即使所以的进程已经退出，默认的值为假，这个选项只有在Type=oneshot时需要被配置。Type=dbus若以此方式启动，当指定的BusName出现在DBus系统总线上时，systemd认为服务就绪。Restart这个选项如果被允许，服务重启的时候进程会退出，会通过systemctl命令执行清除并重启的操作。......
2022-07-27 14:38:35
3656
原创 mysql的sql_mode设置
sql_mode是个很容易被忽视的变量,默认值是空值,在这种设置下是可以允许一些非法操作的,比如允许一些非法数据的插入。在生产环境必须将这个值设置为严格模式,所以开发、测试环境的数据库也必须要设置,这样在开发测试阶段就可以发现问题.......
2022-07-21 15:45:24
4869
原创 从初级开发者到资深架构师，看这
（Toc generated by simple-php-github-toc ）《java队列——queue详细分析》《LinkedList、ConcurrentLinkedQueue、LinkedBlockingQueue对比分析》每个节点最多有两个叶子节点。左右两个子树的高度差的绝对值不超过1，并且左右两个子树都是一棵平衡二叉树。二叉查找树（Binary Search Tree），也称有序二叉树（ordered binary tree）,排序二叉树（sorted binary tree）。MySQL是
2022-07-11 14:01:00
1243
1
原创 架构师设计图
什么是系统架构师？系统架构师是一个既需要掌控整体又需要洞悉局部瓶颈并依据具体的业务场景给出解决方案的团队领导型人物。一个架构师得需要足够的想像力,能把各种目标需求进行不同维度的扩展，为目标客户提供更为全面的需求清单。架构师在软件开发的整个过程中起着很重要的作用。如何才能成为系统架构师？而设计图，它不是简单的供你欣赏，他其实是架构师，产品经理，开发工程师，测试工程师等各种角色之间进行沟通的语言，沟通的一个桥梁，让整个团队更能有效的协调工作。设计图不单单是架构师要掌握的，在一个产品的开发过程中，任何一个环节，任
2022-07-11 13:52:10
110
原创 CentOS 6 yum update 源无效
1.查看 linux版本 cat /etc/centos-release2.失败一般都是 yum源的问题在 /etc/yum.repos.d 文件下 先备份 CentOS-Base.repo下载下面文件：wget https://www.xmpan.com/Centos-6-Vault-Aliyun.repo3. 好了试试吧 yum update...
2022-05-13 17:48:48
690
转载 Spring Cloud Alibaba 新一代微服务解决方案
1、Spring Cloud Alibaba 是什么Spring Cloud Alibaba 是阿里巴巴提供的微服务开发一站式解决方案，是阿里巴巴开源中间件与 Spring Cloud 体系的融合。马老师左手双十一，右手阿里开源组件，不仅占据了程序员的购物车，还要攻占大家的开发工具。先说说 Spring Cloud提起微服务，不得不提 Spring Cloud 全家桶系列，SpringCloud 是若干个框架的集合，包括 spring-cloud-config、spring-cloud-bu
2021-12-13 10:01:23
303
原创 yum 源报404
Loaded plugins: securitySetting up Update Processhttp://mirrors.aliyun.com/centos/6/os/x86_64/repodata/repomd.xml: [Errno 14] PYCURL ERROR 22 - "The requested URL returned error: 404 Not Found"Trying other mirror.To address this issue please refer t...
2021-12-02 18:14:25
571
原创 推荐 DBeaver 数据库管理工具 PD数据库建模
1.dbeaver 支持windows 和mac Linux ，界面有点像navicat ，但是操作起来是基本不一样下载地址 Download | DBeaver Communityhttps://dbeaver.io/download/2.数据驱动下载经常失败可以更改配置maven仓库地址 数据库-->驱动管理器选择需要连接的数据库类型，下载更新配置maven地址仓库服务 https://...
2021-11-03 15:31:27
1942
原创 PLSQL常用快捷键及使用技巧
1、类SQL PLUS窗口:File->New->Command Window，这个类似于oracle的客户端工具sql plus，但比它好用多了。2、设置关键字自动大写:Tools->Preferences->Editor，将Keyword case选择Uppercase。这样在窗口中输入sql语句时，关键字会自动大写，而其它都是小写。这样阅读代码比较容易，且保持良好得编码风格，同理，在Tools->Preferences->Code Assistant(助手)里可
2021-10-23 10:55:12
15528
原创 mysql创建定时任务清理表数据
-- 首先先查看mysql是否开启定时任务开关SHOW VARIABLES LIKE 'event_scheduler'-- 未开启设置开启SET GLOBAL event_scheduler = ON;-- 查看已经设置好的定时任务select * from mysql.event;-- 创建定时任务 删除100天前的数据DELIMITER $$ DROP EVENT IF EXISTS deleteLog; CREATE EVENT deleteLog O..
2021-07-05 20:05:31
501
原创 nginx负载均衡之ip_hash 和 一致性Hash
资料很多，这里只总结下ip_hash算法，在增加和服务器宕机时会导致会话和缓存丢失一致性hash算法则最大程度的减小影响
2021-03-23 15:18:30
1756
1
MacOS 好用的 Notepad++ NotepadNext-v0.7.dmg
2024-03-27
NotePad++的NppFTP插件
2023-04-06
Java连接db2 数据库jar包 db2jcc.jar db2jcc_license_cu.jar
2021-11-18
鸟哥的Linux私房菜-基础篇》第四版—高清完整版.pdf
2018-01-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人