- 博客(266)
- 收藏
- 关注
RSS订阅
原创 部门工资前三高的所有员工
Employee表包含所有员工信息，每个员工有其对应的工号Id，姓名Name，工资Salary和部门编号DepartmentId。Department表包含公司所有部门的信息。编写一个SQL 查询，找出每个部门获得前三高工资的所有员工。例如，根据上述给定的表，查询结果应返回：解释：IT 部门中，Max 获得了最高的工资，Randy 和 Joe 都拿到了第二高的工资，Will 的工资排第三。销售部门（Sales）只有两名员工，Henry 的工资最高，Sam 的工资...
2021-03-05 10:49:41
856
4
原创 SQL面试题：经典排名问题(相同分数是否要并列，排名是否有间隔)
【题目】下图是"班级"表中的内容，记录了每个学生所在班级，和对应的成绩。现在需要按成绩来排名，如果两个分数相同，那么排名要是并列的。正常排名是1，2，3，4，但是现在前3名是并列的名次，排名结果是：1，1，1，2。【解题思路】1.涉及到排名问题，可以使用窗口函数2.专用窗口函数rank, dense_rank, row_number有什么区别呢？它们的区别我举个例子，你们一下就能看懂：select *, rank() over (order by 成绩 desc)
2021-03-04 14:03:02
2785
4
原创 7年了，为什么智慧城市还不智慧？
2020年，智慧城市正在进行一轮“闯关”。早在2014年8月，国家发改委、工信部、住建部、交通运输部等八部委就提出了一个智慧城市的建设目标：到2020年，建成一批特色鲜明的智慧城市。按这一目标，今年正好是智慧城市亮成绩的时候。此前，这一领域早已成为兵家必争之地，竞争“刀刀见肉”：比如2017年，先有腾讯云以1分钱中标厦门政务云，随后在同年的云栖大会上阿里云宣布产品大降价，最高降幅达53%。此外，华为、百度、平安等巨头也纷纷下场竞争。截止至今年，中国共有约500座智慧城市正在建设中。202..
2020-12-17 13:17:19
9173
5
原创 大数据平台比较-CDH、HDP、CDP
说到大数据，不得不提一下Hadoop。先来谈一谈Apache Hadoop与CDH、HDP的比较一、Hadoop版本综述不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hortonworks版本(Hortonworks Data Platform，简称HDP），对于国内而言，绝大多数选择CD
2020-08-24 12:51:29
45082
17
原创 关于内存、外存、磁盘、硬盘、软盘、光盘的区别
计算机存储器分为两大类：内存存储器和外部存储器（简称内存或内存条和外存）。内存:是暂时存储进程以及数据的地方，又称主存，是CPU能直接寻址的存储空间，由半导体器件制成。特点是内存容量小，存取速度快，只能临时保存信息（经cup处理后的数据），断电后信息就会消失，这就需要另一种存储器——外存储器。外存储器:外存容量大，存取速度比内存慢，能永久保存信息，断电后信息不会消失。它好比是数据的外部仓库一样，相当于有了记忆功能，外存主要是磁盘。光盘:是用激光打上去的数据，区别于磁盘。磁盘:
2020-08-10 13:35:04
25121
2
原创 力扣（LeetCode）怎么刷题，以排序算法为例
掌握 LeetCode 刷题方法再开始刷题，属于磨刀不误砍柴工。掌握正确方法是非常重要的。如果你在刷题的时候发现怎么也写不出来，别担心，这是正常的。如果你还发现，之前明明刷过的题，过段时间再做的时候，自己还是不会。别担心，这也是正常的。在这我分享一下我的刷题经验，希望对你有帮助。如果你时间比较紧迫，为了找工作而刷题，我建议你先刷热门推荐，一共两百多道题。在 LeetCode中文版 页面的右侧。先刷热题 HOT 100，再刷精选 TOP 面试题，之后刷其他的题。如果你时间比较充裕，那我建议
2020-08-06 11:09:40
11948
原创 消息中间件(RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ等)的定义、组成、特点、优缺点、应用场景&面试题
大家都参与过网上电商平台的秒杀活动吧，一般的秒杀活动辄几百万的参与人数，而“双十一”的参与人数更是已“亿”为计量单位。那么这些电商平台的系统架构是怎样的，它们是如何做到承担每秒几万、几十万的并发访问请求的，所有的请求都是直接落到数据库的吗？当然，数据库不可能承担如此高的负载请求，那这些系统架构引入了哪些“大杀器”呢？这篇文章将讲解其中的关键技术之一消息中间件，并在文章中进一步对消息中间件做详细的讲解。1. 消息队列1.1什么是消息队列消息队列（Message queue，简称MQ），是指利用
2020-08-03 14:59:49
16729
1
原创 shell脚本解决scp需要输入密码问题
场景：客户要求把96服务器上的数据复制到86服务器上，但是要自动复制，不要人为干预，然后我就登录96服务器，使用ssh命令，登录到86服务器，发现需要输入密码，要想写shell脚本，使用scp命令复制数据的话，需要手动输入密码。基于此场景，有两个方案。方案一：96和86服务器配置免密登录步骤：1.生成无密码的密钥对ssh-keygen -t rsa一路回车2.将公钥添加到本地认证文件中cat /root/.ssh/id_rsa.pub >> /root/.ssh/
2020-07-15 16:00:35
18396
原创 Mysql到Hbase数据实时增量同步案例（框架：MySQL-binlog+Maxwell+Kafka+python+Hbase）
导语之前写过几篇博客（canal与Maxwell比较、Kafka、hbase等），有童鞋私信我，问我如何通过MySQL binlog数据同步到其他数据库（比如：Hbase、Hive等），今天我就这里做一个案例实践操作。系统环境CentOS Linux、JDK、zookeeper、kafka、Maxwell、MySQL、Hbase本次可以学习如下知识：1)、MySQL binlog启用配置与使用2)、binlog查看提取方案maxwell3)、zookeeper基本使用4)、K
2020-07-10 12:23:42
2728
原创 Kettle连接Oracle
kettle通过域名或者IP连接Oracle，因为今天可以要求把数据库由原来的MySQL切换到Oracle，历史数据的迁移。本篇博客主要讲解kettle连接Oracle数据库。本机不需要安装Oracle，但是要把Oracle的驱动jar包复制到kettle的lib目录下：Oracle驱动jar包：（包括：ojdbc5.jar、ojdbc6.jar、ojdbc7.jar、ojdbc8.jar、ojdbc10.jar、ojdbc14.jar）链接: https://pan.baidu.com/s/1DM
2020-07-06 14:11:26
24687
20
原创 什么是网络爬虫？爬虫有什么好处？
简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。你可以简单地想象：每个爬虫都是你的「分身」。就像孙悟空拔了一撮汗毛，吹出一堆猴子一样。你每天使用的百度，其实就是利用了这种爬虫技术：每天放出无数爬虫到各个网站，把他们的信息抓回来，然后化好淡妆排着小队等你来检索。抢票软件，就相当于撒出去无数个分身，每一个分身都帮助你不断刷新 12306 网站的火车余票。一旦发现有票，就马上拍下来，然后对
2020-06-30 10:47:58
5682
原创 Eclipse启动失败原因与解决办法
今天启动eclipse时，发现启动不了，并报错A Java Runtime Environment(JRE) or Java Development Kit(JDK) must be available in order to run Eclipse.....打开eclipse.ini解决办法：打开eclipse.ini添加如下内容：（换成你的jdk目录）-vmE:\Java\jdk1.8\bin\javaw.exe-vmE:\Java\jdk1.8\jre\b
2020-06-19 10:25:53
7604
1
原创 MySQL-binlog日志（日志管理&案例：使用binlog日志进行数据恢复）
Binlog概念Binlog其实是（binary log）MySQL的二进制日志，以二进制的形式记录了对于数据库的变更操作，不包括select和show操作。用来查看MySQL变更 MySQL的备份恢复 MySQL的主从复制文件位置Binlog默认放置在数据目录下Binlog的命名方式mysql-bin.000001binlog文件的生成方式MySQL启动的时候会产生binlog MySQL服务器在执行flush logs；可以产生新的binlog文件关于binlog的
2020-05-30 21:10:36
8660
原创 CDH6.3.1安装
CDH6.3.1安装遇到很多问题，我想主要是由于条件有限，毕竟自己的电脑内存不如专业集群的内存大（如果是内存和硬盘充足，有些是可以避免的，甚至不会出现报错的情况），这里就介绍一下我用VMware安装的虚机中搭建CDH集群的辛酸历程。为了避免多次、重复安装不成功，所以需要具备以下条件：1. 内存要足够大我的电脑内存是8G：使用虚拟机安装Cloudare server：4GCloudare agent：分别为1G电脑最后很卡，而且内存98%。官方推荐最小内存为10G，所以最好还是听从官方的建...
2020-05-28 17:16:46
5471
2
原创 9 DataNodes are required for the erasure coding policies: RS-6-3-1024k
刚装的CDH6.2.1版本的集群172.30.81.203 manager172.30.81.204 node1172.30.81.205 node2172.30.81.206 node3存在隐患：9 DataNodes are required for the erasure coding policies: RS-6-3-1024k.The number of DataNodes is only 3.解决方案使用RS-6-3-1024k编码纠删码策略至少需要9个DataNode
2020-05-26 14:50:22
8651
6
原创 kettle在Linux上的安装、案例，调优
2.4 Linux下安装使用2.4.1 单机1)jdk安装2)安装包上传到服务器，解压注意：1. 把mysql驱动拷贝到lib目录下 2. 将本地用户家目录下的隐藏目录C:\Users\自己用户名\.kettle，整个上传到linux的家目录/home/atguigu/下3)运行数据库资源库中的转换：[atguigu@hadoop102 data-integration]$./pan.sh -rep=my_repo -user=admin -pass=admin ...
2020-05-24 14:56:12
2848
1
原创 kettle在windows上安装与实践案例
第1章 kettle概述1.1 什么是kettleKettle是一款开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。1.2 Kettle核心知识点1.2.1 Kettle工程存储方式1) 以XML形式存储2) 以资源库方式存储(数据库资源库和文件资源库)1.2.2 Kettle的两种设计简述：Transformation（转换）：完成针对数据的基础转换。 Job（作业）：完成整个工作流的控制。...
2020-05-24 00:12:28
2658
原创 MapReduce经典4幅图（数据流向图、word count过程图、shuffle工作流程图（map端、reduce端）、MapReduce原理图）
MapReduce经典4幅示意图第一幅示意图：数据流向图数据流首先进行了分片（与HDFS的分块大小一致），然后每个分片会分配给一个map进行处理，之后针对reduce的数量产生对应的输出分片，这里原先的分片顺序会打乱，类似于洗牌，之后分别交给reduce处理后输出结果。第二幅示意图：word count过程图将input的文件拆分成splits，由于测试用的文件较小，所以每个文件作为一个split，并将文件按行分割。这一步由mapreduce框架自动完成。 将分割好的文件交给用户定
2020-05-20 17:08:06
5110
原创 Kafka安装与验证
把kafka_2.11-0.10.1.0.tgz上传到/usr/hadoop目录下：命令：rz解压：tar -zxvfkafka_2.11-0.10.1.0.tgz配置环境变量 /etc/profile使环境变量生效source /etc/profilecpserver.propertiesserver1.propertiescpserver.propertiesserver2.properties修改/kafka_2.11-0.10.1.0/config下的serve...
2020-05-20 12:52:45
2266
2
原创 Hive之系统内置函数&自定义函数（UDF、UDAF、UDTF）介绍和案例（附带完整代码）、IDEA运行Hive
1.1 系统内置函数1．查看系统自带的函数hive (default)> show functions;2．显示自带的函数的用法hive (default)> desc function upper;3．详细显示自带的函数的用法hive (default)> desc function extended upper;1.2 自定义函数1）Hive 自带了一些函数，比如：max/min 等，但是数量有限(大概二、三百个)，自己可以通过自定义 UDF来方便的
2020-05-13 12:31:34
4012
原创 Hive之查询JOIN、排序（order by、sort by、distribute by、cluster by）、分桶&分桶抽样查询、窗口函数及案例
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select查询语句语法：[WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only availablestarting with Hive 0.13.0)SELECT [ALL | DISTINCT] select_expr, select_expr, ...FROM table_re
2020-05-11 18:51:36
1879
原创 Maxwell与Canal
一、Canal和Maxwell对比抉择Canal（是阿里的一个中间件组件）https://github.com/alibaba/canal（服务端，需要一个客户端来配合）https://github.com/Hackeruncle/syncClient（客户端）Maxwell（一个老外写的，开源的）https://github.com/zendesck/maxwell官网：...
2020-04-28 12:33:33
4684
原创 Nifi介绍、安装、实践案例
第1章NiFi基本概念1.1 概述简单地说，NiFi是为了自动化系统之间的数据流而构建的。虽然术语“数据流”在各种环境中使用，但我们在此处使用它来表示系统之间自动化和管理的信息流。这个问题空间一直存在，因为企业有多个系统，其中一些系统创建数据，一些系统消耗数据。已经讨论并广泛阐述了出现的问题和解决方案模式。企业集成模式中提供了一个全面且易于使用的表单。NiFi的诞生，要致力于解决的问题...
2020-04-26 10:57:05
9244
原创 Hive集群安装（3个节点）-基于Hadoop
接我上一篇文章《Hadoop集群安装（3个节点）》，写上篇文章以及本篇文章的原因是：使用NiFi解决两个需求，需求一：导出MySQL数据转换为Json串并保存到本地需求二：导出Hive数据转换为csv并保存到HDFS需求一还是很容易实现的，只需要安装NiFi（下篇文件介绍安装&使用）、MySQL就可以实现了。由于是在外做项目（青岛RRS物流），没有在公司那么方便，虽然公司也...
2020-04-26 10:17:18
6557
5
原创 MacBook使用指南
1、卸载Windows系统步骤①点击下侧任务栏中的“启动台”，进入程序坞，点击"其他",选择“启动转换助理”步骤②点击“继续”，接着点击“恢复”，即可卸载Windows系统2、安装Windows系统步骤①点击下侧任务栏中的“启动台”，进入程序坞，点击"其他",选择“启动转换助理”步骤②。
2023-11-24 09:15:44
1232
原创 ERP、CRM、SRM、PLM、HRM、OA……都是啥意思
在天某微电子上班，经常会听说一些系统或平台名称，例如ERP、CRM、SRM、PLM、HRM、OA、FOL等。这些系统，都是干啥用的呢？
2023-11-22 15:24:54
197
原创 CDC实时数据同步
它通过监视源数据库的事务日志或数据库增量日志来捕获源数据库中的变更操作，并将这些操作应用于目标数据库，以保持两者之间的数据同步。它基于日志追加的原理，将数据变更操作记录到一个日志文件中，然后将该日志文件传输到目标系统，目标系统根据日志文件进行数据同步。它使用源数据库的增量日志或者事务日志作为输入源，通过Flink的流处理引擎对日志进行实时解析和处理，并将解析后的数据应用于目标数据库，以实现数据的增量传输和同步。通过解析数据库的事务日志，可以捕获到数据的变更操作，并将其传输到目标系统进行同步。
2023-10-24 14:22:36
1488
2
原创 ETL工具对比
C/S客户端模式，开发和生产环境需要独立部署，任务的编写、调试、修改都在本地，需要发布到生产环境，线上生产环境没有界面，需要通过日志来调试、debug，效率低，费时费力。C/S客户端模式，开发和生产环境需要独立部署，任务的编写、调试、修改都在本地，需要发布到生产环境；DataX是以脚本的方式执行任务的，需要完全吃透源码才可以调用，学习成本高，没有图形开发化界面和监控界面，运维成本相对高。C/S客户端模式，开发和生产环境需要独立部署，任务的编写、调试、修改都在本地，需要发布到生产环境；
2023-10-19 17:19:38
862
原创 基于Delta Lake的Upserts数据湖方案
想要实现某条记录的变更，就需要读取对应的文件并进行重写，效率极低，而且容易引起数据不一致和冲突。一方面读取找到的文件的全部内容，与待更新的表进行full outer join，并按照规则更新字段，存储到delta的数据目录，并标记为新增；传统方案需要读取所有的数据，把新的事件追加到会话中，重新写入。，change data capture 变更数据捕获：移动端和web端基于传统数据库实现低延迟的微服务，困难是各个数据库的数据如何统一分析，因此数据分析师需要构建各种ETL把数据汇总到统一的数据湖中。
2023-10-18 11:57:55
165
原创 kettle-数据库解密与各种跳接线标记含义
一个步骤可以拥有多个连接，转换中的数据流可以在其内的多个步骤间流通，在KETTLE的IDE中，跳接线由箭头表示，箭头的方向决定了数据的流向。当一个步骤的结果集被推送到多个步骤时，数据可以以复制的方式传递，也可以以分发的方式传递。复制的方式即每个后续的步骤收到的数据都是上一步骤的完整结果集，分发方式即每个后续的步骤收到的数据是上一步骤次序结果集，比如步骤A以分发的方式向步骤B和C推送数据，则B收到的数据中A结果集的1，3，5。号记录，C收到的数据是A结果集的2，4，6。将加密后的密码解密为123。
2023-10-18 11:46:36
544
原创 Hive insert插入数据与with子查询
当在hive中同时使用insert into(overwrite) table xx 与with子查询时候，需要将insert放在with as子查询后面（区分：与StarRocks不同，insert放在with as子查询前面）insert into 与 insert overwrite 都可以向hive表中插入数据，但是insert into直接追加到表中数据的尾部，而insert overwrite会重写数据，既先进行删除，再写入。注意： 当使用以下语句建表时，
2023-10-18 11:16:14
1534
原创 MySQL TIMESTAMP 不能为NULL
3、DATETIME列可以变相的设定默认值，比如通过触发器、或者在插入数据时候，将DATETIME字段值设置为now()，这样可以做到了，尤其是后者，在程序开发中常常用到。这个语句含义，a字段的默认值是CURRENT_TIMESTAMP，当纪录更新时候，自动将a字段的值设置为 CURRENT_TIMESTAMP。6、另外，下面的定义从语法角度是对的，但是没有意义，因为该字段的值不可更改，永远只能为默认值。相反，要注意的问题是，编程语言对日期范围的限制，不同的语言，有不同的限制，这里不做讨论了。
2023-10-18 09:42:19
495
原创 Hive行转列[一行拆分成多行/一列拆分成多列]
hive有张表armmttxn_tmp，其中有一个字段lot_number，该字段以逗号分隔开多个值，每个值又以冒号来分割料号和数量，如：A3220089:-40,A3220090:-40,A3220091:-40,A3220083:-40,A3220087:-40,A3220086:-40,A3220088:-40,A3220084:-40,A3220081:-40,A3220082:-40,A3220092:-40,A3220093:-40,A3220085:-40,A3220094:-40。
2023-09-14 14:07:19
1508
原创 StarRocks企业级数据库
StarRocks是新一代极速全场景MPP数据库StraRocks充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果，在业界实践的基础上，进一步改进优化、升级架构，并增添了众多全新功能，形成了全新的企业级产品。StarRocks致力于构建极速统一分析体验，满足企业用户的多种数据分析场景，支持多种数据模型(明细模型、聚合模型、更新模型)，多种导入方式（批量和实时），可整合和接入多种现有系统(Spark、Flink、Hive、 ElasticSearch)。
2023-08-11 17:09:42
1320
原创 大厂容器云实践之路（三）
• 优点- 进程内隔离，消耗资源最⼩- ⽆感扩容&缩容，⽤户⽆成本- Health&Redispatch，升级切换⽆成本• 缺点- ⽆法提供独⽴的namespace- ⽆法Build&Ship&Run。
2023-08-09 11:36:25
163
原创 大厂容器云实践之路（二）
命令无法使用(nt found)命令无法使用(not found等)命令无法正常工作(iptables,drop cache等)命令运行结果不一致(aufs,dm,overlay等)性能优化（镜像架构，编排调度，资源池等）运行规模(多租户，节点数，POD数等）掌控底层及SDN网络技术的必要性线上互联网产品稳定运行多年更多服务容器化（业界领先RDS，日志,安全等）
2023-08-08 10:00:16
214
原创 正则表达式语法
95|98|NT|2000)' 匹配"Windows 3.1"中的 "Windows"，但不匹配"Windows 2000"中的"Windows"。例如，"n"匹配字符"n"。例如，"o{2,}"不匹配"Bob"中的"o"，而匹配"foooood"中的所有 o。例如，"er\b"匹配"never"中的"er"，但不匹配"verb"中的"er"。例如，"[^abc]"匹配"plain"中"p"，"l"，"i"，"n"。"er\B"匹配"verb"中的"er"，但不匹配"never"中的"er"。
2023-08-02 15:59:14
210
元旦倒计时代码，更改上面的日期，以后年年都可以用
2022-12-14
ubuntu安装.docx
2020-07-30
HPL语法.docx
2020-07-30
Inceptor SQL语法.docx
2020-07-30
ER-图知识点归纳.docx
2020-07-30
Apache Kafka的流式SQL引擎——ksql.docx
2020-07-30
Redis指南.docx
2020-07-30
kudu1.6RPM安装包.rar
2020-06-19
什么是一致性.docx
2020-04-08
关于#测试#的问题，如何解决？
2023-06-15
如何使用kettle，程式创建临时表，里面的内容是创建表？
2023-06-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人