- 博客(134)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 pytorch2部署（gpu版）
解压后将下面这些文件，拷贝到cuda安装目录 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1。3.安装pytorch-gpu版本。可以避免不同项目，版本不兼容问题。7.检验gpu是否可用。2.1 虚拟环境好处。
2023-06-04 11:49:36
240
原创 matlab函数编译为jar包的方法
1.部署生产本地需要部署本地最小化运行环境（去matlab官网下载：https://ww2.mathworks.cn/products/compiler/matlab-runtime.html）2.调试需要复制matlab中的库放到项目可识别的路径（javabuilder.jar）
2023-06-04 10:17:35
545
原创 数据仓库Kimball维度建模技术精华
1.事实表概念事实表用来表示业务度量，事实表的每行代表一个度量事件。2.行设计原则第一原则：每行中的数据是一个特定级别的细节数据，称为粒度。所有度量行必须具有相同的粒度，避免发生数据重复，导致重复计算。第二原则：尽可能将文本数据放入维度中，除非事实表中的数据每行都唯一。3.事实表分类第一类：事务第二类：周期性快照第三类：累积快照...
2022-02-15 15:36:51
821
原创 一文搞懂什么是数据湖(data lake)？
data lake数据湖，最早由Pentaho的CTO,James Dixon发明。他在博客中这样描述数据湖：如果你把数据集市看作是一家售卖干净的、规整包装的、便于消费的瓶装水的商店，那么数据湖就是更自然状态下的一大片水域。数据湖的内容从一个源头流入，各类用户可以前来检查，探索或者取样。数据湖最重要的特点有两个，第一个是自然，第二个是可以被各类用户使用。我们先讲何为自然，自然在这里指自然而然，未经处理，原始状态。就像一大片湖水一样，原生态。类比到数据，就是原生的数据，未经任何转换和加工。那么我们
2022-01-21 11:37:43
3837
原创 Flink默认并发度Parallelism源码解读
1.默认并发度=cpu核数（线程数）比如10核20线程的服务器，Flink的默认并发度=202.源码解读在创建Flink 执行环境的时候，会调用java本地方法获取cpu核数作为默认的并发度.
2021-08-15 18:16:10
1682
原创 Kafka解耦原理浅析
一、高度耦合大数据架构1.每一个数据源都会有四个不同流向2.每一个数据接收者都可能有四个不同来源3.系统高度耦合，系统复杂度4*4=164.不利于程序开发、维护、升级二、Kafka解耦之后架构1.所有source只流向Kafka2.所有target只从Kafka中取数据3.系统高度解耦，系统复杂度4*1*2=84.开发和维护升级成本显著降低三、传统架构对比Kafka架构复杂度...
2020-05-31 16:25:22
2697
原创 breaak和continue区别演示
continue和break通常用来控制循环的执行，本文将用两个实例来说明二者的区别。2.continue演示i < 10;i ++) {System . out . println("大循环：" + i);j < 10;} } } }大循环：0012456789大循环：1012456789大循环：2012456789大循环：3012456789大循环：401245。
2022-12-23 13:25:56
254
原创 手写常见23设计模式
【1】Erich Gamma, Richard Helm, Ralph Johnson, John Vlissides.设计模式。如果你要开发一个框架，系统，那一定要考虑设计模式，使你的框架有松散的结构、好的扩展性、低的耦合性以及较好的易用性。常见业务开发可适当考虑设计模式，从而使自己开发的业务有一定的扩展性；手写了常见23种设计模式存在github仓库，以供指正、参考、借鉴。设计模式，应该从场景和业务出发，做出合理的选择。脚本之流无需考虑设计模式，多为一次性使用；
2022-11-04 13:50:25
327
原创 Hive自定函数UDTF开发 部署 实战
1.什么时候用UDTF你可能会遇到下面这样的json字符串解析{"a":[{},{}，{}]，"b":{},"c":0, "d":null, "e": "lll",}假如，让你把字段a的数组炸裂成多行，再加一条，去掉数组的第1个元素。想一下，你要如何完成这个需求？此时，如果你使用hive提供的get_json_object或者json_tuple，甚至你再用一些nvl等函数，你发现很难解析出你想要的数据，即便勉强实现，你会发现解析效率很低，原因后面会讲到。2.开发自定义函数UDTF2
2022-10-19 18:07:47
650
原创 hive解析json字段
业务中尝尝会遇到解析json字段的情况，毕竟json是大家使用最广泛的对象传递数据结构。解析单个key用GET_JSON_OBJECT（）函数，批量解析多个key用json_tuple()函数。
2022-10-13 16:57:52
938
原创 flink1.13报错：The file STDOUT does not exist on the TaskExecutor
该报错主要是找不到STDOUT文件,原因是程序中没有sout输出，当你去web-ui点击stdout目录，就会报一个这儿样的接口请求错误，并不影响程序运行，可忽略。2.如果没有sout输出，不要点击stdout目录。1.修复flink runtime源码。3.随便加一点sout输出在程序里。......
2022-08-30 11:41:48
4614
原创 flink报错:Exception: Cannot parse input: expected \t before: \\N\t
腾讯云Oceanus1.13(对应flink1.13）centos7.5jdk8。
2022-08-23 17:18:01
2061
原创 log4j2日志输出到控制台-Maven工程
Log4J 内置的标准日志级别*如果默认的等级不能满足你的开发需求，可以自定义日志输出等级。在使用时通过 Logger.log()方法调用自定义日志级别配置log4j2.xml文件2.2 添加maven依赖3.实战测试3.1 测试类3.2 运行结果展示log4j日志管理框架可以很好的管理输出的日志内容，在调试，开发，运行等不同阶段配置不同的日志等级，有效提高了开发效率。log4j还可以配置日志输出到文件、数据库、邮件等位置，有需要的小伙伴自行探索一下，推荐参阅官方文档。https:
2022-07-07 17:03:23
1850
原创 Flink报错：Error: A JNI error has occurred, please check your installation and try again
2.解决方案将对应依赖包作用域调整为compile报错内容中找不到的类所在的依赖即为需调整内容。修改完依赖配置，记得更新依赖。
2022-06-22 18:28:07
1008
原创 flink报错：No ExecutorFactory found to execute the application
1.问题描述报错内容2.解决方案增加依赖项3.注意事项依赖版本，要和你使用的flink版本对应。
2022-06-21 14:43:48
433
原创 Kafka设置消息过期时间
2.设置方法2.1 进入配置文件目录将所有节点的配置文件均改为你需要的数值，注意不要直接同步，同步的话，节点配置会覆盖，大致集群故障。清除策略还可以按文件大小、偏移量等方式设置，但最常用的是按过期时间设置，有兴趣的可以研究一下其他策略，由于不常用，这里不做介绍。...
2022-06-21 14:30:16
1212
原创 Flink1.11.0-standalone session-本地集群模式-快速部署（适用＞=1.11版本，低版本未测试）
flink1.11.0centos7.5集群（3节点）https://archive.apache.org/dist/flink/flink-1.11.0/、 修改完后，同步至三个节点。修改完后，同步至三个节点。修改完后，同步至三个节点。6.打开flink-webUI测试地址：http://linux1:8081......
2022-06-17 11:40:10
358
原创 html5常用语法-1:标题 段落 无序列表 超链接 图片 块 表格
1.idea新建web项目新建项目选web,next随便命个名字2.html代码<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>这是Title</title></head><body><!-- 六种标题--><h1>这是标题一</h1><h
2022-04-28 23:56:48
1148
原创 docker查看当前正在运行的容器
1.docker指令docker ps该指令用来显示当前运行的所有容器，包含容器ID 状态 端口等信息。2.实操演示
2022-04-14 00:59:54
6668
原创 doris报错：Label Already Exists
1.报错场景加载数据[starcross@app1 FLink-test-LT]$ curl --location-trusted -u root:aba -T 'data_2022-04-11.csv' -H "label:testdoris201" -H "column_separator:," -XPUT http://10.22.33.69:8030/api/os/ws/_stream_load2.报错内容{ "TxnId": -1, "Label": "testdoris
2022-04-12 14:15:06
2171
原创 doris报错：too many filtered rows
1.报错场景加载数据[starcross@app1 FLink-test-LT]$ curl --location-trusted -u root:aba -T 'data_2022-04-11.csv' -H "label:testdoris201" -H "column_separator:," -XPUT http://10.22.33.69:8030/api/os/ws/_stream_load2.报错内容{ "TxnId": 831311, "Label": "testd
2022-04-12 13:42:29
12179
原创 任务调度框架-Airflow单机部署之docker方式
前言airflow支持集群部署，本文介绍单机部署方式，下图为airflow架构。1.服务器环境linux版本：centos7java版本：java8容器框架：docker2.拉取docker镜像文件docker pull puckel/docker-airflow3.启动airflow镜像docker run -d -p 8080:8080 puckel/docker-airflow webserver4.登录web-ui体验一下airflowhttp://lin..
2022-04-10 17:40:09
1982
原创 StarRocks2部署
1.下载安装包https://www.starrocks.com/zh-CN/download体验学习，选择社区版即可。2.解压并分发安装包至指定目录–StarRocks安装包目录结构–├── be # BE目录│ ├── bin│ │ ├── start_be.sh # BE启动脚本│ │ └── stop_be.sh # BE关闭脚本│ ├── conf│ │ └── be.conf # BE配置文件│ .
2022-04-05 19:18:31
746
原创 Kakfa监控工具EFAK( Kafka eagle )2.1.0详细安装步骤
3.12.1 efak下载https://www.kafka-eagle.org/3.12.2 上传解压tar包tar -zxvf kafka-eagle-bin-2.1.0.tar.gzmv efak-web-2.1.0 /opt/module/efak-web-2.1.03.12.3 配置efak3.12.4 配置efak环境变量Vim /etc/profile.d/myenv.shSource /etc/profile3.12.5 配置kafka jmx3.12.6
2022-03-18 01:15:50
3389
原创 Redis Insights安装及使用(Redis可视化操作工具-v2.0.4版本)
1.下载地址首先可以去挂网下载，不过可能很卡顿：https://redis.com/redis-enterprise/redis-insight（国外官网有点卡）如果想极速下载，可以使用csdn下载，不过要花点碎银子：https://download.csdn.net/download/qq_34321590/83320975（csdn极速下载）2.安装方式双击第一步下载的exe文件，等待自动安装完毕即可。3.连接redis数据库点击手动添加数据库，输入ip,端口信息，别名可以随意填写
2022-03-04 14:53:06
3936
2
原创 VS Code大小写转换插件使用指南：lowercase uppercase
1.安装插件lowercase和uppercase2.大写转小写（1）选中字符（2）按下快捷键alt + shift + l（3）转换结果3.小写转大写（1）选中字符（2）按下快捷键：alt + shift + u(3) 转换结果
2022-01-12 17:32:32
2946
原创 kafka查看topic和消息内容命令
1.查看topic指令（1）cd 进入kafka安装目录（2）执行下面指令，注意修改linux1为你的zookeeper集群对应的节点和端口（默认2181）bin/kafka-topics.sh --zookeeper linux1:2181 --list（3）实操演示2.查看topic内容指令(1)cd 进入kafka安装目录(2)执行下面指令，注意修改linux1为你的kafka集群对应的节点和端口（默认9092）bin/kafka-console-consumer.sh --..
2021-12-28 18:00:59
17037
原创 python安装教程（Windows系统，python3.10.1版本为例，适用所有python3.X版本）
1.下载地址官网下载地址：https://www.python.org/downloads/2.64版本或者32位选择3.安装包4.双击安装包5.自定义安装6.默认,点击Next下一步7.自定义安装目录8.点击Install安装9.等待进度条完成10.安装完成，点击Close11.进入安装目录，双击python.exe运行12.验证是否安装成功输入Hello World!程序print("Hello World!")若输出如下，则安装成功！Hell.
2021-12-27 21:44:40
7108
2
原创 kafka带kerberos和sasl安全认证：命令行消费指定topic数据
1.指令/usr/hdp/kafka/bin/kafka-console-consumer.sh ...2.注意事项1.添加对应sasl安全认证的参数正常指令后边添加参数：...2.使用命令前要刷新keberos票据指令：kinit -..
2021-12-24 16:05:03
5428
原创 java并发编程-1：线程的生命周期-5种状态
状态1：new创建状态状态2：runnable可执行状态状态3：running运行状态状态4：blocked阻塞状态状态5：terminated停止状态
2021-12-23 06:17:50
267
原创 《字符串踩坑-1》split()与包含“|“的字符串的孽缘：java字符串源码分析
1.问题描述当使用split()方法分割包含"|"的字符串时，把每一个字符都分割了！2.源码分析split()方法会调用String.java类中的split()方法,下面贴出一段源码。public String[] split(String regex, int limit) { /* fastpath if the regex is a (1)one-char String and this character is not one of the ..
2021-12-22 15:34:42
133
原创 maven踩坑：maven-assembly-plugin报红无法加载 报错：Plugin ‘maven-assembly-plugin:‘ not found
1.问题描述maven pom.xml中maven-assembly-plugin报红，无法加载2.解决方案由于，build中插件无法自动加载，在依赖中添加对应依赖更新后即可成功加载。<dependencies> <dependency> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-plugin&..
2021-12-21 16:28:47
19146
8
原创 kafka、zookeeper正常启动，创建topic:报错Replication factor: 3 larger than available brokers: 0
1.问题描述新启用了一个集群，正常启动kafka和zookeeper后，jps查看所有节点kafka和zookeeper都正常工作。当使用命令行创建topic时./kafka-topics.sh --zookeeper linux1:2181 --create --replication-factor 3 --partitions 1 --topic test-topic，报了如下错误：Error while executing topic command : Replication fac..
2021-12-21 12:02:26
2106
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人