- 博客(71)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 我是怎样看待 “祖传代码” （浅聊）
祖传代码虽然在软件开发领域经常被戏称为老旧、难以理解和维护的代码，但实际上它也有一定的意义和价值：历史遗留和积累：祖传代码记录了项目演进的历史，包含了多个开发者在项目中所做的努力和决策。即便是过时或无用的代码，它们也反映了项目在过去的发展过程中所面临的需求和挑战。快速复用：在开发过程中，有些功能可能是重复出现的，而祖传代码提供了一种快速复用已有代码的方式，节省了开发时间和成本。可以借鉴祖传代码的实现方式来快速解决类似问题。知识传承。
2024-02-29 15:31:44
349
原创 程序员的金三银四/金九银十求职宝典
金九银十”和“金三银四”并列为一年中两个招聘求职高峰期，区别是“金三银四”招聘侧主要是企业人员结构性调整导致的人才补充和新业务方向的人才储备，求职侧主要是年初跳槽人员、准毕业生群体以及大量区域性流动人才；“金九银十”招聘侧主要是企业面向大学生的校招储备和年底生产旺季的大量人员补充，求职侧主要是大学生实习和基层人才，当然一部分跳槽人才（部分企业年中发奖金）。
2024-02-29 14:14:00
1027
原创 Sora：引领AI视频创作新时代（浅聊）
Sora作为OpenAI推出的首个AI视频模型，以其卓越的性能和前瞻性的技术，不仅能够生成单一的视频，还能合并多个视频、动画和静态图像，为创意表达提供了前所未有的灵活性，引领着AI视频领域的创新发展。尽管Sora的具体训练数据尚未公开，但OpenAI与Shutterstock的合作表明，Sora可能使用了大量免版税图片和视频进行训练，以提升其生成内容的多样性和真实性。Sora采用了先进的深度学习技术和神经网络结构，通过对海量视频数据的训练，实现了对视频内容的高度理解和智能生成。
2024-02-26 09:47:41
470
原创 程序员为什么不喜欢关电脑？（浅聊）
保存工作状态：程序员通常会在电脑上打开多个软件和文件，关机后需要重新打开这些软件和文件，耗费时间和精力。因此，他们更倾向于保持电脑开启，以便第二天可以继续工作而无需重新设置所有内容。自动化任务：有些程序员会编写脚本或设置定时任务来在电脑空闲时执行一些自动化任务，例如数据备份、代码编译等。如果关机，这些任务将中断，影响工作效率。损失数据和状态：如果他们关掉电脑，可能会丢失尚未保存的代码或应用程序状态。这可能导致需要重新编写代码或者重新设置应用程序状态。
2024-02-26 09:26:59
369
原创 计算机专业必看的几部电影（优质推荐）
1.1、- 这部电影讲述了一个虚拟现实世界和现实世界之间的概念，对计算机编程和人工智能有着深刻的思考。1.2、- 是一部2011年上映的科幻电影，由杰克·吉伦哈尔（Jake Gyllenhaal）主演。这部电影讲述了一个士兵在一个即将发生的恐怖袭击中寻找犯罪嫌疑人的故事。主人公利用一种叫做"源代码"的计算机程序，可以在一个列车爆炸案发生前的8分钟内重复体验并调查。这部电影涉及了时间循环和科技应用的悬疑元素，同时也引发了关于人类道德和选择的思考。
2024-02-23 13:27:34
836
原创 IT行业有哪些证书含金量高?
它是经原国家教育委员会(现教育部)批准，由教育部考试中心主办，面向社会，用干考察应试人员计算机应用知识与能力的全国性计算机水平考试体系。考生不受年龄，职业，学 历等背景的限制，任何人均可根据自己实际情况直接选考不同的等级。
2024-02-23 11:36:40
436
原创 Hive（15）中使用sum() over()实现累积求和和滑动求和
三列数据，分别是员工的姓名、月份和销售额功能：对每个员工的销售业绩的累积求和以及滑动求和（每个月计算其最近三个月的总销售业绩）
2024-01-29 18:13:06
867
原创 Hive学习（14）json解析get_json_object()函数
目的：在一个标准JSON字符串中，按照指定方式抽取指定的字符串。string get_json_object(string , string )参数说明1. json：必填。STRING类型。标准的JSON格式对象，格式为{Key:Value, Key:Value,...}。如果遇到英文双引号（"），需要用两个反斜杠（\\）进行转义。如果遇到英文单引号（'），需要用一个反斜杠（\）进行转义。2. path：必填。STRING类型。表示在
2024-01-08 11:12:25
661
原创 Hive学习（13）lag和lead函数取偏移量
在数据处理和分析中，窗口函数是一种重要的技术，用于在数据集中执行聚合和分析操作。Hive作为一种大数据处理框架，也提供了窗口函数的支持。在Hive中，Lag函数是一种常用的窗口函数，可以用于计算前一行或前N行的值。
2024-01-02 16:57:28
1306
原创 Hive学习（12）Hive常用日期函数
to_date、from_unixtime、unix_timestamp、weekofyear、datediff、date_add、hive返回上个月第一天和最后一天、取最近30天数据
2023-08-29 19:01:30
1166
原创 SQL学习（十）：Hive之Instr()函数
instr(sourceString,destString,start,appearPosition)源字符串，目标字符串，开始位置，第几次出现
2023-07-10 13:11:23
1562
2
原创 SQL Server 复制表及数据的两种方法
1、新表不存在（即复制数据的同时创建与旧表相同结构的新表）：select [col1,col2,col3…] into new_table from old_table where 1=12、新表已存在，从旧表从插入选择的数据（注意：表的[主键]不要复制，因为具有唯一性，否则：Sql Server提示“当 IDENTITY_INSERT 设置为 OFF 时，不能为表 ‘xxxxxx’ 中的标识列插入显式值”）insert into table1(col1,col2,col3,…)sele
2022-04-24 13:43:03
4711
原创 SQL学习（九）：Explain详解
场景：在日常工作中，我们会有时会开慢查询去记录一些执行时间比较久的SQL语句，找出这些SQL语句并不意味着完事了，些时我们常常用到explain这个命令来查看一个这些SQL语句的执行计划，查看该SQL语句有没有使用上了索引，有没有做全表扫描，这都可以通过explain命令来查看。所以我们深入了解MySQL的基于开销的优化器，还可以获得很多可能被优化器考虑到的访问策略的细节，以及当运行SQL语句时哪种策略预计会被优化器采用。– 实际SQL，查找用户名为Jefabc的员工select * from em
2022-03-01 09:28:41
2796
原创 SQL学习（八）：join关联后使用where和and条件筛选的区别
1. inner join2 left join2.1 left join … and2.2 left join … where3 right join3.1 right join … and3.2 right join … where1. inner join在 join 和 inner join 中where和and的查询结果相同，都是取连接后的结果再进行条件筛选select m.menu_id,m.sort_id,s.sort_id,s.sort_name from menu m
2022-02-09 11:17:32
2825
原创 MySQL存储过程（二）：存储过程实例（增删改查）及调用
目录MySQL的存储过程MySQL存储过程的创建分隔符参数过程体IN参数例子OUT参数例子INOUT参数例子变量数值类型日期和时间类型字符串类型变量赋值用户变量在MySQL客户端使用用户变量在存储过程中使用用户变量在存储过程间传递全局范围的用户变量注释MySQL存储过程的调用MySQL存储过程的查询MySQL存储过程的修改MySQL存储过程的删除MySQL存储过程的控制语句变量作用域条件语句IF-THEN-ELSE语句:CASE-WHEN-THEN-ELSE语句:WHILE-DO…END-WHILE 循环语
2021-12-14 17:53:01
2125
原创 MySql存储过程（一）：简介
简介SQL语句需要先编译然后执行，而存储过程（Stored Procedure）是一组为了完成特定功能的SQL语句集，经编译后存储在数据库中，用户通过指定存储过程的名字并给定参数（如果该存储过程带有参数）来调用执行它。存储过程是可编程的函数，在数据库中创建并保存，可以由SQL语句和控制结构组成。当想要在不同的应用程序或平台上执行相同的函数，或者封装特定功能时，存储过程是非常有用的。数据库中的存储过程可以看做是对编程中面向对象方法的模拟，它允许控制数据的访问方式。存储过程的优点：**(1).增强SQL
2021-12-14 16:28:44
186
原创 Sqoop（一）：MySQL导入Hive数据库时NULL值处理
场景：sqoop将mysql的一张表导入到hive中，发现以前is null的字段导入到hive的时候，被转换为了字符串’NULL’或’null’。原语句：sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true –connect jdbc:mysql://(IP地址):3306/interface –username root –password root –split-by id –target-dir /us
2021-11-11 15:33:59
5184
原创 Hive学习（10）行转列与列转行
HIVE 中内置了 EXPLODE 和 LATERAL VIEW，这两个 Function 非常的有用。尤其是在行转列的情形下。hive中的lateral view 与 explode函数的使用。【学习笔记】hive 之行拆列explode。
2021-10-08 17:18:41
897
原创 DolphinScheduler（一）：工作流任务调度系统在Windows本地安装部署，源码启动及使用
简介&特点：Apache DolphinScheduler（目前处在孵化阶段）是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，其致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。特点：DolphinScheduler提供了许多易于使用的功能，可加快数据ETL工作开发流程的效率。其主要特点如下：通过拖拽以DAG 图的方式将 Task 按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态；支持丰富的任务类型；支持工作流定时调度、依赖调度、
2021-09-30 14:32:50
4708
13
原创 PySpark（一）：pycharm使用SparkSql创建HIVE分区表时报错
异常信息：ERROR: error in [test_load]: Hive support is required to CREATE Hive TABLE报错如下：ERROR: error in [test_load]: Hive support is required to CREATE Hive TABLE (AS SELECT);;'CreateTable `part_t1`, org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSe
2021-09-26 16:45:16
675
原创 安装SQL Server2019 ：规则”Windows Management Instrumentation (WMI)服务 “失败
https://blog.csdn.net/gnd15732625435/article/details/50380206?_t_t_t=0.22374042705632746
2021-09-23 11:13:47
606
原创 Hive学习（9）使用sqoop将Hive与MySQL与HDFS数据迁移 双向
Hive与MySQL数据迁移 双向(干货)前提Hive与MySQL中有两张同结构表(可不同名)master执行检测Sqoop与MySQL连通性sqoop list-databases --connect jdbc:mysql://slave2:3306/ --username root --password 123456Hive数据迁移至MySQL① sqoop export --connect② jdbc:mysql://slave2:3306/copyy \ <-slave2表示mys
2021-08-24 13:57:25
487
原创 SQL学习（七）：怎么给一张表添加外键（四种方法）
如何添加外键方法一：直接在属性值后面添加create table score(cscore int(11),st_id int(50) references student(id),cs_id int(30) references classes(id),primary key(st_id,cs_id));方法二：create table score(cscore int(11),st_id int(50),cs_id int(30),primary key(st_id,cs_id
2021-08-17 17:28:47
13227
原创 PostgreSQL（一）：转换数据类型（int4,text,numeric）
需求：对于select 122;这个sql，得到的结果是int4类型，如果我们希望将结果转换成其他的数据类型，有以下方法(下边的{数据类型}表示占位符，要替换成数据库中的某一种数据类型)：方法一：使用cast()函数此函数不是PostgreSQL独有的，其他数据库也有类似的用法，在PostgreSQL中用法如下：select cast(122 as numeric);将122转换成numeric类型并输出到结果集。方法二：使用::{数据类型}select 122::text;将122转换成了
2021-06-11 15:24:13
7605
1
原创 Hive学习（8）时间日期格式转换&获取当前日期的几种形式
一. 日期>>>>时间戳unix_timestamp(string date,string pattern) 将指定时间字符串格式字符串转化成unix时间戳,如不符合则返回null例如：select unix_timestamp('2019-08-15','yyyy-MM-dd') --1565798400select unix_timestamp('2019-08-15 16:40:00','yyyy-MM-dd HH:mm:ss') --1565858400se
2021-05-13 10:29:54
4077
2
原创 SQL学习（六）：not exists用法
not exists是sql中的一个语法，常用在子查询和主查询之间，用于条件判断，根据一个条件返回一个布尔值，从而来确定下一步操作如何进行，not exists也是exists或in的对立面。not exists 是exists的对立面，所以要了解not exists的用法，我们首先了解下exists、in的区别和特点：exists : 强调的是是否返回结果集，不要求知道返回什么, 比如：select name from student where sex = 'm' and mark exists(
2021-03-08 17:26:04
90873
12
原创 SQL学习（五）：lastday函数（返回指定日期所在月份的最后一天）
last_day(time):函数返回指定日期对应月份的最后一天例：表test_1数据如下：获取日期对应月份的最后一天SELECT LAST_DAY(tdate) AS DATE FROM test_1结果：
2021-02-20 14:47:31
19026
原创 Hive学习（7）pmod()函数详解
pmod(int a, int b)pmod(double a, double b)返回a除b的余数的绝对值。实例1： select datediff('2018-01-02','2018-01-01') //1 select pmod(datediff('2018-01-02','2018-01-01') + 1,7) //2casewhen pmod(datediff(ref_date,'2018-01-01') + 1,7) = 2 then concat(ref_date,'(周
2021-01-29 10:36:13
25042
6
原创 Hive学习（6）hive.groupby.skewindata 和 hive.map.aggr 组合的坑
hive.map.aggr=true;在map中会做部分聚集操作，效率更高但需要更多的内存。hive.groupby.skewindata=true：数据倾斜时负载均衡，当选项设定为true，生成的查询计划会有两个MRJob。第一个MRJob 中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的GroupBy Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MRJob再根据预处理的数据结果按照GroupB
2021-01-15 17:38:28
21546
2
原创 Hive学习（5）hive任务执行进度卡在99%原因及解决
问题：hive任务执行进度卡在99%是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的分配到各个reduce中，就是解决数据倾斜的根本所在。规避错误来更好的运行比解决错误更高效。在查看了一些资料后，总结如下。1. 数据倾斜原因1.1操作：关键
2021-01-15 17:19:31
25963
2
原创 SQL学习（四）：greatest()与max() & least()与 min()的区别
GREATEST()MAX()greatest可接收多个参数max只接收一个参数取某几列的最大值，横向求最大(一行记录)纵向求最大(多行记录)least()同理min() 同理
2021-01-12 11:11:58
21849
原创 SQL学习（三）：greatest()和least()函数（最大值和最小值）
GREATEST和LEAST函数的语法：GREATEST(value1, value2, ...);LEAST(value1,value2,...);参数可能具有混合数据类型。以下比较规则适用于这两个函数：如果任何参数为NULL，则两个函数都将立即返回NULL，而不进行任何比较。如果在INT或REAL上下文中使用函数，或者所有参数都是整数值或REAL值，那么它们将分别作为INT和REAL来比较。如果参数由数字和字符串组成，则函数将它们作为数字进行比较。如果至少一个参数是非二进制(字符)字符串
2021-01-12 11:07:51
25564
原创 SQL学习（二）：concat函数（连接字符串）
concat函数（连接字符串）：使用方法：CONCAT(str1,str2,…)返回结果为连接参数产生的字符串。如有任何一个参数为NULL ，则返回值为 NULL。注意：如果所有参数均为非二进制字符串，则结果为非二进制字符串。如果自变量中含有任一二进制字符串，则结果为一个二进制字符串。一个数字参数被转化为与之相等的二进制字符串格式；若要避免这种情况，可使用显式类型 cast, 例如：SELECT CONCAT(CAST(int_col AS CHAR), char_col)concat函数
2021-01-12 10:22:22
22203
1
原创 SQL学习（一）：months_between日期函数
日期函数months_between的用法：MONTHS_BETWEEN (date1, date2)用于计算date1和date2之间有几个月。 如果date1在日历中比date2晚，那么MONTHS_BETWEEN()就返回一个正数。如果date1在日历中比date2早，那么MONTHS_BETWEEN()就返回一个负数。如果date1和date2日期一样，那么MONTHS_BETWEEN()就返回一个0。案例SQL> select months_between(to_date(
2021-01-12 10:06:57
31400
2
原创 Hive学习（4）hive锁表解决方案
1.锁表原因a.锁表发生在insert update 、delete 中b.锁表的原理是 数据库使用独占式封锁机制，当执行上面的语句时，对表进行锁住，直到发生commite 或者 回滚 或者退出数据库用户c.锁表的原因第一、 A程序执行了对 tableA 的 insert ，并还未 commite时，B程序也对tableA 进行insert 则此时会发生资源正忙的异常 就是锁表第二、锁表常发生于并发而不是并行（并行时，一个线程操作数据库时，另一个线程是不能操作数据库的，cpu 和i/o 分配原则
2021-01-08 10:35:56
23325
1
原创 Hive学习（3）order by排序时NULL值处理
分析窗口函数 order by 时，desc NULL 值排在末尾，ASC时NULL值排在首位，hive中没有类似oracle row_number () over(partition by 字段 order by 字段 desc NULLS last) 这种写法；所以使用前需要对空值做处理，否则影响最终的结果测试表数据:create table px_data_test_temp.test_stu( id int comment '学生id', name string comment '学生
2020-12-17 10:13:36
23936
1
原创 Hive学习（2）配置参数（调优）
Hive的参数设置方式1、配置文件 （全局有效）2、命令行参数（对 hive 启动实例有效）3、参数声明 （对 hive 的连接 session 有效）（1）配置文件Hive 的配置文件包括：A. 用户自定义配置文件：$HIVE_CONF_DIR/hive-site.xmlB. 默认配置文件：$HIVE_CONF_DIR/hive-default.xml用户自定义配置会覆盖默认配置。另外，Hive 也会读入 Hadoop 的配置，因为 Hive 是作为 Hadoop 的客户端启动的，Hiv
2020-12-07 18:57:30
20725
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人