- 博客(209)
- 资源 (15)
- 收藏
- 关注
RSS订阅原创 ubuntu 安装 anaconda
启动时不进入 conda 的 base 环境，按需激活相应的虚拟环境。环境，按需激活相应的虚拟环境 输入。安装位置 如不需要更改直接回车。回车即可，后面是步骤不需要执行。2.5 安装完成是否激活。
2024-01-05 12:38:26
36642
原创 Anaconda 国内镜像源
中国科技大学: https://pypi.mirrors.ustc.edu.cn/simple/清华大学：https://pypi.tuna.tsinghua.edu.cn/simple。阿里云：https://mirrors.aliyun.com/pypi/simple/华中理工大学：https://pypi.hustunique.com/豆瓣：https://pypi.douban.com/simple/镜像源配置文件保存在当前用户主目录下的。
2024-01-05 10:44:53
38986
原创 Flume
spooldir source 能够保证数据不丢失，且能够实现断点续传，但延迟较高，不能实时监控（原文件而非新增文件），监控目录；spooldir source 能够保证数据不丢失，且能够实现断点续传，但延迟较高，不能实时监控（原文件而非新增文件），监控目录；taildir source 既能够实现断点续传，又可以保证数据不丢失，还能够进行实时监控，监控一批文件。taildir source 既能够实现断点续传，又可以保证数据不丢失，还能够进行实时监控，监控一批文件。
2024-01-03 09:58:59
36118
原创 javafx
JavaFX是一个用于创建富客户端应用程序的图形用户界面（GUI）框架。它是Java平台的一部分，从Java 8开始成为Java的标准库。JavaFX提供了丰富的图形和多媒体功能，使开发人员能够创建具有吸引力和交互性的应用程序。它支持各种UI控件、布局和样式，以及动画、图形渲染和多媒体处理等功能。
2024-01-02 17:18:24
35854
原创 pip 国内镜像源
[global] timeout=30 index-url=https://pypi.tuna.tsinghua.edu.cn/simple/ extra-index-url= http://mirrors.aliyun.com/pypi/simple/ http://pypi.douban.com/simple http://pypi.mirrors.ustc.edu.cn/simple/
2023-12-28 17:02:26
36832
原创 ubuntu 在线安装 python3 pip
sudo apt -y install python3 python3-pippython3 -m pip install --upgrade pip
2023-12-27 20:36:56
36075
原创 kafka
kafka什么是 KafkaKafka 是一个分布式流式平台，它有三个关键能力订阅发布记录流，它类似于企业中的消息队列 或 企业消息传递系统以容错的方式存储记录流实时记录流Kafka 的应用作为消息系统作为存储系统作为流处理器Kafka 可以建立流数据管道，可靠性的在系统或应用之间获取数据。建立流式应用传输和响应数据。Kafka 作为消息系统Kafka 作为消息系统，它有三个基本组件Producer : 发布消息的客户端Broker：一个从生产者接受并存储消息的客户
2023-12-15 10:12:44
36737
原创 MySQL基础
主表更新从表同步，主表删除从表set nullc_id int auto_increment comment '专业编号',c_name varchar(20) comment '专业名称',insert into course (c_name) values ('大数据'),('人工智能');stu_id int auto_increment comment '学生编号',stu_name varchar(20) comment '学生姓名',
2023-12-12 11:53:08
36663
原创 HBase 使用JDK21
export JAVA_HOME=/opt/soft/jdk-21export HBASE_CLASSPATH=/opt/soft/hadoop-3/etc/hadoopexport HBASE_MANAGES_ZK=falseexport HBASE_HEAPSIZE=1Gexport HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP=trueexport HBASE_JSHELL_ARGS="--startup DEFAULT --startup PRINTING -
2023-12-07 17:18:04
36686
原创 Name or service not knownstname
Hadoop 或 Spark 集群启动时 报错 `Name or service not knownstname`原因时因为 `workers` 文件在windows 使用图形化工具打开过操作系统类型不对引发的 在Linux系统上删除 workers 文件 使用 vim 重新编辑后分发即可
2023-12-07 13:57:28
36416
1
原创 openEuler JDK21 部署 Zookeeper 集群
tickTime=2000initLimit=10syncLimit=5dataDir=/home/zookeeper-3/datadataLogDir=/home/zookeeper-3/datalog clientPort=2181maxClientCnxns=1000autopurge.snapRetainCount=7autopurge.purgeInterval=1minSessionTimeout=4000maxSessionTimeout=300000
2023-12-07 13:11:59
36295
原创 cannot access class sun.nio.ch.DirectBuffer (in module java.base) because module java.base does not
使用JDK21做spark开发。需要在环境变量中设置。
2023-12-07 12:09:24
37045
原创 Docker
openEuler Ubuntu Deepin UOS 安装 DockerDocker 安装 nginx mysql orcale redis minio leanotedockerfilespringboot 整合 docker
2023-12-07 11:03:21
36730
原创 Ubuntu 在线 安装 Docker
sudo apt-get updatesudo apt-get install ca-certificates curl gnupg lsb-releasesudo mkdir -p /etc/apt/keyringscurl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
2023-12-07 10:37:27
36743
原创 Java Date LocalDate LocalDateTime
Java中常用时间类型 Date LocalDate LocalDateTime 在工作中使用很频繁，但中间很多常用功能每次编写代码很繁琐，故而封装了以下三个工具类：DateUtil 日期工具类LocalDateUtil 新日期工具类LocalDateTimeUtil 新日期工具类用于日常使用。
2023-12-06 16:06:34
36831
原创 deepin v20 在线安装docker
sudo apt-get -y install apt-transport-https ca-certificates curl gnupg-agent software-properties-common \apt-transport-https \ca-certificates \curl \gnupg-agent \software-properties-common
2023-12-04 21:09:48
36919
原创 shell 脚本批量处理文件后缀名
flumes收集日常完成后会对收集的文件添加`.COMPLETED`后缀名。我仍然使用原文件名，于是萌生了编写 shell 脚本批量删除文件后缀名的想法。效果很好，但整个脚本功能太多单一，如果想按需修改文件后缀名呢？于是编写了 shell 脚本批量修改文件后缀名。
2023-12-02 12:46:23
36483
原创 直播电商数据仓库
数据仓库，简称数仓,（ Data Warehouse ）。从逻辑上理解，数据库和数仓没有区别，都是通过数据库软件实现存放数据的地方，只不过从数据量来说，数据仓库要比数据库更庞大。数仓主要是为企业制定决策，提供数据支持的。当业务简单，可以用数据库来存储，分析，制表。但当数据量几何式增长，需要跨机器整合时，数仓就是非常必要的了。
2023-12-01 15:14:34
36855
原创 finebi 新手入门案例
原始数据并没有毛利额，毛利额需要我们自己计算产生毛利额 = 销售额 - 成本额自定义图表由于纵轴指标聚合，毛利额和毛利率数值相差巨大故而毛利率显示并不明显解决方法：将纵轴指标聚合修改为指标并列设置值轴。
2023-11-30 21:20:00
36915
1
原创 VMware虚拟机Linux系统磁盘扩容
1. 虚拟机添加新磁盘2. 为新磁盘创建分区3. 格式化新创建的分区4. 为刚刚格式化的分区创建物理卷5. 将刚刚创建的物理卷添加的需要扩容的逻辑卷下6. 增加文件系统大小7. 验证扩容前后对比
2023-11-30 08:22:41
36918
1
原创 springboot3.2 整合 mybatis-plus
java.lang.IllegalArgumentException: Invalid value type for attribute 'factoryBeanObjectType': java.lang.String
2023-11-28 00:52:34
38388
19
原创 hivesql 将json格式字符串转为数组
本案例为数仓分层设计1. 创建ods层原始数据表2. 创建dwd层维度数据表3. ETL转换ods层数据插入到dwd层
2023-11-27 02:00:22
36753
原创 ubuntu 安装 jetbrains-toolbox
sudo add-apt-repository universesudo apt -y install libfuse2
2023-11-26 14:34:54
36490
原创 openEuler Linux 部署 FineBi
其中tomcat.pid文件本身不存在，设置之后，启动Tomcat会自动生成。超级用户的密码已设置并存储在错误日志文件中。–add-port=3306/tcp #添加端口，格式为：端口/通讯协议。mysql-connector-j-8.0.33.jar mysql驱动。http://服务器IP地址:8080/finebi/decision。字符集应当为 utf8 ，排序规则为 utf8_bin。解压后的目录名为 tomcat-linux-64。删除MySQL5的驱动后上传MySQL8的驱动。
2023-11-26 11:00:38
36345
原创 shell 脚本 批量 修改 文件名
#!/bin/bashinput_dir=$1if [ -z "$input_dir" ]; then echo "Usage: ./rename.sh input_directory" exit 1ficd "$input_dir" || exitfor file in *.csv.COMPLETED; do newname=$(echo $file | sed 's/\.COMPLETED//') mv "$file" "$newname"done
2023-11-23 10:28:38
36865
原创 hive sql 行列转换 开窗函数 炸裂函数
讲师表 teacher.csv课程表 course.csv分数表 score.csv员工表 emp.csv雇员表 employee.csv电影表 movie.txt订单表 order.csv创建数据库和数据表行列转换列转行行专列
2023-11-19 10:08:43
36694
2
原创 hive sql多表练习
学生表 student.csv讲师表 teacher.csv课程表 course.csv分数表 score.csv。
2023-11-19 09:10:41
36525
原创 MySQL表分区
MySQL 数据库中的数据是以文件的形势存在磁盘上的，默认放在目录下面，我们可以通过我们进入到这个目录下，就可以看到我们定义的所有数据库了，在考虑使用分区时，需要综合考虑业务需求、查询模式、数据规模和硬件资源等因素，并权衡分区带来的优势和缺点。对于特定的应用和数据场景，分区可能是一个有效的解决方案，但并不适用于所有情况。
2023-11-16 07:28:36
36719
原创 Hive 查询优化
set hive.exec.mode.local.auto=true;set mapperd.job.tracker=local;set mapreduce.framework.name=local;set hive.vectorized.execution.enabled=true;
2023-11-15 12:08:18
36657
原创 MapReduce 读写数据库
经常听到小伙伴吐槽 MapReduce 计算的结果无法直接写入数据库，实际上 MapReduce 是有操作数据库实现的本案例代码将实现 MapReduce 数据库读写操作和将数据表中数据复制到另外一张数据表中。
2023-11-09 22:00:39
36581
原创 MapReduce 排序三种实现方式
MapReduce 排序两种实现方式 都是借助重写 compareTo 方法 实现方式一：借助 MapReduce 按照 Key 排序特性，在WritableComparable实现类中 重写 compareTo 方法方式二：在 Reduce 阶段 cleanUp方法中将最终结果封装到实现JavaBean对象使用集合的排序方法方式三：在 Reduce 阶段 cleanUp方法中将最终结果封装到实现Comparable的实现类使用集合的排序方法。
2023-11-09 21:48:15
36790
Javaweb Layui RBAC 项目 小金库
2022-06-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人