- 博客(69)
- 收藏
- 关注
RSS订阅转载 SpringBoot框架中的DAO层、Entity层、Service层、Controller层
Controller-->service接口-->serviceImpl-->dao接口-->daoImpl-->mapper-->db在具体的项目中，其流程为：Controller层调用Service层的方法，Service层调用Dao层中的方法，其中调用的参数是使用Entity层进行传递的。
2024-02-11 20:09:20
103
原创 Opencv小项目——手势数字刷TIKTOK
很久没更新了，之前的实习的记录也算是烂尾了，但是好在自己的实习记录还是有的，最近也忙碌了很多，终于放假了，今天下午正好没事，闲来无事就随便做个小玩意吧。思来想去，就做个手势识别，再通过识别的数字来控制电脑端口的抖音，话不多说，让我们直接进入正题。
2024-01-18 18:02:42
563
原创 Scala关键字lazy的见解
使用lazy关键字修饰变量后，只有在使用该变量时，才会调用其实例化方法。scala也是编译成字节码跑在jvm上的，而jvm的字节码指令并没有提供对lazy这种语义的支持，所以由此可以推断，lazy只是一个语法糖，scala编译器在编译时期对其做一些包装转换，但究竟是如何转换的呢，可以写一段代码编译然后反编译看一下。在声明property时，并没有立即调用实例化方法intit(),而是在使用property时，才会调用实例化方法,并且无论缩少次调用，实例化方法只会执行一次。
2023-07-30 23:48:30
619
原创 x仔的北漂实习日记-day03-04
主要的任务处理是，表头有name，DOM ，LAT, LON，位置划分和行政代码的划分。写在最后：最近一个人在外打拼，无论是房价还是物价都让我很有压力，（BJ的物价是真的很高很高）这就是成年人的世界嘛，哎，无论怎么样，先做好作为一个程序员最开始的初心，努力学习技术，丰富自己的能力！解决思路：上面的领导和同事给出的基本思路是凸集的性质，假设从原点去射射线，看与那个区域的交点，根据交点的奇数偶数来判断区域。至此，两天的工作大致任务就是这样，当然，这其中还有很多其他的任务，哪些细枝末节的再次不做赘述啦！
2023-07-12 23:56:45
251
1
原创 x仔的北漂实习日记-day01-02
昨天和今天都是逛一逛，去公司熟悉了一下业务。负责的主要是某公司的日志采集系统，我负责的就是离线日志的采集和分析（之前学的是数仓，现在这个还用不到数仓，有点小失望，后续慢慢在看），而且用到的技术栈和之前自己学到的不太一样，一整套用的是EKL，而自己学的是阿帕奇那一套，只能后续在自己去学了。当然，来这边已经做好了吃苦的准备，技术的海洋探索还是很有意思的（hhhhhhh。。。）还有一个项目是某市的电力系统的分析，还有一个是环境空气的分析，（项目太多了，也没记住几个，去开会傻憨憨的听了一下），后续接手哪个项目，再去
2023-07-08 23:00:33
252
1
原创 java初学指南
Java是一种广泛使用的编程语言，拥有大量的功能和特性。尽管许多Java开发者都熟悉基本的语法和概念，但Java中仍然有一些相对困难的知识点，对于初学者和有经验的开发者来说，了解这些知识点可以极大地提升他们的技能水平。在本篇博客中，我们将探讨一些Java中较为难以掌握的知识点，帮助大家更好地理解和应用这些高级特性。Java中较难的知识点可能因人而异，但以下是一些建议您关注的较为复杂的Java知识点：泛型：泛型允许在编译时进行类型检查，减少类型转换的错误。
2023-05-03 21:35:08
437
1
原创 Java为什么只能单继承？？？
子类ClassC：（假设允许类与类之间多继承）上面程序的运行结果会是什么呢？输出0还是1？子类ClassC：（假设允许类与类之间多继承）上面程序的运行结果会是什么呢？A、B、C三行的输出是0还是1？正因为有以上的致命缺点，所以java中禁止一个类继承多个父类；对于一个类实现多个接口的情况，因为接口只有抽象方法，具体方法只能由实现接口的类实现，在调用的时候始终只会调用实现类的方法（不存在歧义），因此不存在 多继承的第二个缺点；
2023-03-13 22:01:11
3541
原创 windows下zookeeper和kafka的启动和关闭顺序及注意事项 _
现象：在windows的命令行里启动kafka之后，当关闭命令行窗口时，就会强制关闭kafka。这种关闭方式为暴力关闭，很可能会导致kafka无法完成对日志文件的解锁。届时，再次启动kafka的时候，就会提示日志文件被锁，无法成功启动。启动ZooKeeper后不要暴力关闭命令行，否则接下来启动kafka时会连接不上，显示Timeout错误。建议：不要暴力关闭kafka，建议通过在命令行执行kafka-server-stop命令来关闭它。先关闭kafka ，再关闭zookeeper。
2023-02-03 20:25:07
395
转载 KAFKA中的ISR是什么
这篇文章主要介绍“KAFKA中的ISR是什么”，在日常操作中，相信很多人在KAFKA中的ISR是什么问题上存在疑惑，查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”KAFKA中的ISR是什么”的疑惑有所帮助！
2023-01-29 11:05:43
826
原创 ！！！史上最全Spark常用算子总结 ！！！
leftOuterJoin(K,V)格式的RDD和(K,V)格式的RDD，使用leftOuterJoin结合，以左边的RDD出现的key为主 ，得到(K,(V,Option(W)))rightOuterJoin(K,V)格式的RDD和（K,W）格式的RDD使用rightOuterJoin结合以右边的RDD出现的key为主，得到(K,(Option(V),W))会产生shuffle,(K,V)格式的RDD和(K,V)格式的RDD按照相同的K，join得到(K,(V,W))格式的数据，分区数按照大的来。
2022-12-28 11:29:42
1619
原创 在Windows10操作系统中任务栏的网络图标消失不见了该怎么办呢
今天早晨起来准备写东西，结果一看，右下角的地球标志不见了，也没办法联网，自己摸索了好久，以下是解决办法，简单记录一下。
2022-12-27 11:04:25
2421
原创 spark 运行自带样例SparkPi、spark-examples报错
注意二：大家首先要确保自己的路径没有问题，spark-shell和spark-submit都是在bin目录下，而样例sparkPi是在examples目录下，所以要先返回到上级目录再进入examples目录中。一定要确保SparkPi的样例名称是当前版本下的spark对应的名称。还是hadoop（如果你安装了的话）等，为了确保不是路径问题引起的，所有环境路径均设为纯英文。注意五：下文中的报错信息是循序渐进的，每次报错都会修改设置 甚至 是增加环境配置。最终使用的命令如下，一定要看清楚自己的版本和文件名。
2022-12-21 11:37:15
1365
转载 Zookeeper 的恢复模式，广播模式，选举流程
leader 会为该事务生成一个 Proposal,进行广播，leader 会为每一个 Follower服务器分配一个单独的FIFO 队列，然后把 Proposal 放到队列中，每一个 Follower 收到 该 Proposal 之后会把它持久到磁盘上，当完全写入之后，发一个 ACK 给leader，我们的leader 也不傻，收到超过半数机器的ack之后，他自己把自己机器上 Proposal 提交一下，同时开始广播 commit,每一个 Follower 收到 commit 之后，完成各自的事务提交。
2022-11-30 11:38:43
309
原创 加载商店数据至商店维度表
目录1.创建转换编辑2.配置表输入编辑3.配置表输入2编辑4.配置映射（子转换）编辑5.配置数据库查询编辑6.配置维度查询/更新编辑 7.运行转换编辑编辑 编辑
2022-11-28 12:28:30
140
原创 加载用户数据至用户维度表
目录1.创建转换2.配置表输入 3.配置表输入24.创建新转换 5.配置映射输入规范6.配置数据库查询 7.配置数据库查询28.配置数据库查询3 9.配置过滤记录 10配置JavaScript代码11.配置字段选择 12.配置映射输出规范13.配置映射（子转换） 14.配置字段选择15.配置值映射 16.配置维度查询/更新 17.运行转换
2022-11-28 12:22:14
840
原创 加载用户数据至用户维度表
通过Kettle工具加载员工数据至员工维度表dim_staff。使用Kettle工具，创建一个转换load_dim_staff，并添加表输入控件、字段选择控件、值映射控件、维度查询/更新控件以及Hop跳连接线，具体如图所示。双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，如图所示。
2022-11-28 11:54:07
149
原创 加载员工数据至员工维度表
目录1.创建转换2.配置表输入 3.配置表输入2 4.配置字段选择 5.配置值映射 6.配置维度查询/更新 7.运行转换8.结果展示
2022-11-28 11:36:08
199
原创 旅游页面记录
今天在code上乱浏览，无意之间直接看到了一个非常好看的旅游网站的前端界面，虽然还是html+css+js，但是页面效果十分的惊艳，在此简单记录一下，话不多说，上代码！！！
2022-11-27 19:44:50
677
原创 第8章 综合案例—构建DVD租赁商店数据仓库
在日益激烈的商业竞争中，在线DVD租赁商店的决策者都迫切地需要更加准确的战略决策信息。每个在线DVD租赁商店的数据都存储在数据库中，因此该数据库中拥有海量的数据，并不缺乏足够的信息，但是这些数据并不是战略决策需要的信息。虽然这些海量数据对于在线DVD租赁商店的运作是非常有用的，但是对于商业的战略决策和目标制定的作用是微乎其微的。
2022-11-26 10:26:05
1015
原创 kill-9 用时一时爽，悔恨火葬场！！！
相信很多程序员对于Linux系统都不陌生，即使自己的日常开发机器不是Linux，那么线上服务器也大部分都是的，所以，掌握常用的Linux命令也是程序员必备的技能。但是，怕就怕很多人对于部分命令只是一知半解，使用不当就能导致线上故障。linux当中的这种命令使用的时候呢可以指定一个信号，比如-9 -15，你也知道kill -9会有点问题，但是为啥呢？kill的命令默认是-15，系统会发送一个终止信号给对应的程序，当程序接收到信号之后呢，具体要如何处理？
2022-11-25 11:08:47
745
原创 窗口函数简介与总结
窗口函数是 SQL 中一类特别的函数。和聚合函数相似，窗口函数的输入也是多行记录。不 同的是，聚合函数的作用于由 GROUP BY 子句聚合的组，而窗口函数则作用于一个窗口， 这里，窗口是由一个 OVER 子句 定义的多行记录。聚合函数对其所作用的每一组记录输 出一条结果，而窗口函数对其所作用的窗口中的每一行记录输出一条结果。一些聚合函 数，如 sum, max, min, avg,count 等也可以当作窗口函数使用。
2022-11-24 17:07:52
8273
原创 新冠肺炎传染病的监测措施
在新冠疫情防控过程中，能够及早的检测和排查出病毒感染者将使疫情能够得到控制从而降低损失。本文通过分析新冠病毒的传播方式及人群聚居地的动态，建立了相关数学模型，研究了不同区域、不同职业属性的人群之间的接触规律。对于问题一对于问题二关键词： 综合评价法 熵值法。
2022-11-23 13:41:37
693
转载 利用java演奏起风了
上一次用python演奏了lemon，但是效果不是特别理想，因为断断续续的，给女朋友听了都没有听出来，所以重新去用java写一个，希望她开开心心，愿她还是那个初闯世间的少年，意气风发的模样，从前初识这世间，万般流连，也甘愿赴汤蹈火去走他一遍，这种字里行间的自信和神采总会给人热血澎湃的感觉，不禁想起自己曾经的年少轻狂，一腔热血。微凉晨光里，再次见到你，笑得很甜蜜。希望她去勇敢的面对生活中的种种困难！
2022-11-23 11:08:57
1852
10
原创 unet医学肺部ct图分割简单记录
UNet医学图像分割说明：本项目采用pytorch——gpu——cuda11.6本项目用的UNet网络架构
2022-11-19 10:48:02
2021
5
原创 pytorch的gpu版本安装以及cpu版本的卸载
因为最近需要导师的指导，我开始了unet的学习，虽然之前也学习过机器学习，但是只是浅尝辄止，没有深入的去了解，这次要学习一下unet的医学图像分割，就得学习pytorch的学习，但是遇到了一点问题，就是模型训练cpu太慢了，卷积 epoch定义了200，不得不去使用gpu去做，这里记录一下我是如何卸载cpu版的pytorch 然后安装gpu版本的gpu。
2022-11-18 22:33:58
6332
原创 python爬虫——图片
代码中仅供参考，爬取的图片也为目前公开的图片，有疑问可评论讨论，共同进步。之前学习爬虫，记录了自己爬取公开的图片的过程，使用到了requests库，然后用tqdm库美化了一下爬取细节。
2022-11-16 23:56:40
333
原创 自然语言处理历史最全预训练模型(部署)
预练模型是其他人为解决类似问题而创建的且已经训练好的模型。代替从头开始建立模型来解决类似的问题，我们可以使用在其他问题上训练过的模型作为起点。预训练的模型在相似的应用程序中可能不是100％准确的。
2022-11-16 23:26:04
211
转载 Apache Flink 零基础入门（一）：基础概念解析
Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态或无状态的计算，能够部署在各种集群环境，对各种规模大小的数据进行快速计算。本文首先从 Apache Flink 的定义、架构、基本原理入手，对大数据流计算相关的基本概念进行辨析，在此基础上简单回顾了大数据处理方式的历史演进以及有状态的流式数据处理的原理，最后从目前有状态的流式处理面临的挑战分析 Apache Flink 作为业界公认为最好的流计算引擎之一所具备的天然优势。
2022-11-15 17:07:51
384
原创 HIVE和HBASE的区别和联系
Hive和HBase都是Hadoop集群下的工具，Hive是对MapReduce的优化，而HBase则是HDFS数据存储的大管家。那么，这两者各适用于哪些场景呢？
2022-11-15 16:58:30
3767
原创 SQL进阶--hive中的时间函数
带有'date'关键字的字段(比如 couponbegindate) 一般是形如 ’2012-12-29' 的数据，带有 ’time'关键字的字段(比如couponbegintime)一般是形如 '2012-12-29 10:00:00' 的数据,目前线上使用的hive没有专门的日期类型，我们使用字符串(string)来存储日期类型，比如 '2012-12-29', '2012-12-29 10:00:00'。一般数据中包含'date', 'time' 等关键字的字段可能是日期类型。
2022-11-14 18:08:01
950
原创 Hive函数入门--案例：UDF实现手机号加密--代码实现与效果演示
在企业中处理数据的时候，对于敏感数据往往需要进行脱敏处理。比如手机号。我们常见的处理方式是将手机号中间4位进行****处理。Hive中没有这样的函数可以直接实现功能，虽然可以通过各种函数的嵌套调用最终也能实现，但是效率不高，现要求自定义开发实现Hive函数，满足上述需求。通过业务分析，可以发现我们需要实现的函数是一个输入一行输出一行的函数，也就是所说的UDF普通函数。继承UDF重载evaluate注册成为临时函数（给UDF命名）；
2022-11-12 16:56:45
1247
原创 hive自定义函数
hive的udf有两种实现方式或者实现的API，一种是udf比较简单，一种是GenericUDF比较复杂。如果所操作的数据类型都是基础数据类型，如（Hadoop&Hive 基本writable类型，如Text,IntWritable,LongWriable,DoubleWritable等等）。那么简单的org.apache.hadoop.hive.ql.exec.UDF就可以做到。
2022-11-12 15:56:56
3355
转载 史上最全常用正则表达式大全
之前的博客的正则写的不够全面，在遇到需要用正则校验数据时，往往是在网上去找很久，结果找来的还是不很符合要求。所以我最近把开发中常用的一些正则表达式整理了一下，在这里分享一下。
2022-11-10 23:36:49
292
原创 各类语言的常用正则表达式
写了一些了常用正则表达式的功能，可实现诸如字符、网址、邮编、日期、中文等的正则表达式生成功能，并且提供各类常见语言如：javascript、php、Go语言、java、ruby、Python等的正则表达式测试语句供大家参考使用。
2022-11-10 23:27:33
280
转载 Two photos can be transferred to video! Flim frame interpolation model proposed by Google
最近，谷歌研究团队提出了一种新的帧插值模型FLIM，它可以插值两张运动差较大的图片。以前的帧插值模型往往非常复杂，需要多个网络来估计光流（光流）或深度，帧合成也需要单独的网络。而FLIM只是一个统一的网络，使用多尺度特征提取器，在所有尺度上共享可训练的权重，并且只需一帧就可以训练，不需要光流或深度数据。FLIM的实验结果也证明，它比以前的研究成果更好，能够合成高质量的图像，并且生成的视频更加连贯。代码和预训练模型都是开源的。
2022-11-09 21:35:49
191
原创 Hive建表时开启事务机制导致insert失败
Hive建表语句指定tblproperties('transactional'='true')，则执行插入操作时，不能直接使用insert..values语句，原因是开启了事务机制。建议使用insert..select方式。
2022-11-09 21:22:07
879
1
原创 7.2Kettle数据加载——数据的批量加载
运行转换batch_load，并查看weibo_user数据表。工具，创建batch_load转换，添加如下控件及Hop连接线。准备数据：创建源数据表'weibo_user'
2022-11-07 18:02:56
416
原创 7.1.2Kettle数据加载——全量加载
工具，创建转换full_load，并添加如下控件及Hop跳连接线。运行full_load转换，并查看目标表。源数据full_source。目标表full_target。配置“执行SQL脚本”控件。
2022-11-07 17:59:08
244
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人