- 博客(53)
- 收藏
- 关注
RSS订阅原创 ERROR StatusLogger No Log4j 2 configuration file found. Using default configuration (logging only ..
idea使用log4j简单问题记录
2024-03-21 18:51:50
307
原创 Unable to make field private final byte[] java.lang.String.value accessible: module java.base does n
完整问题：Unable to make field private final byte[] java.lang.String.value accessible: module java.base does not "opens java.lang" to unnamed module @4c40b76e。
2023-05-17 15:45:28
2085
2
原创 StarRocks 2.3.0 安装部署
StarRocks 是一个高性能、兼容 MySQL 的分布式关系列式数据库。StarRocks 利用关系在线分析处理 (OLAP) 数据库和分布式存储系统。StarRocks 致力于为企业用户提供多种数据分析场景。它支持多种数据仓库模式（平面表、预聚合、星型或雪花模式）、多种数据导入方法（批处理和流式传输），并允许直接访问来自 Hive、MySQL 和 Elasticsearch 的数据而无需导入。StarRocks 使用分布式架构将表水平划分并存储在多个副本中。这些集群具有高度可扩展性，因此支持 1
2022-08-19 16:22:53
2684
原创 Windows 解决：org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String；I)Z
org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
2022-08-04 16:45:36
387
原创 IDEA自动生成注解 及 解决 Wrong tag ‘Author‘ 等警告信息
IDEA自动生成注解 及 解决 Wrong tag ‘Author‘ 等警告信息
2022-07-29 10:39:36
1365
原创 ClickHouse MaterializeMySQL引擎
MySQL 的用户群体很大，为了能够增强数据的实时性，很多解决方案会利用 binlog 将数据写入到 ClickHouse。想要实时监听 binlog 事件，可以采用MaterializeMySQL引擎
2022-06-30 21:00:55
1097
原创 DolphinScheduler2.0.5 集群部署过程
Apache DolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。解决数据研发ETL 错综复杂的依赖关系，不能直观监控任务健康状态等问题。DolphinScheduler以DAG流式的方式将Task组装起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作............
2022-06-27 16:09:17
1767
原创 Java基础概述
1.1计算机编程语言介绍第一代语言机器语言。指令以二进制代码形式存在。第二代语言汇编语言。使用助记符表示一条机器指令。第三代语言：高级语言C、Pascal、Fortran面向过程的语言 C++面向过程/面向对象 Java跨平台的纯面向对象的语言 .NET跨语言的平台 Python、Scala…1.2 Java语言概述是SUN(Stanford University Network，斯坦福大学网络公司 ) 1995年推出的一门高级编程语言。 是一种面向I...
2021-12-19 22:09:01
123
原创 Linux 安装 Python3 步骤详解
1、安装依赖环境yum -y install gcc-c++ zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libffi-devel 2、下载python3wget https://www.python.org/ftp/python/3.8.9/Python-3.8.9.tgz
2021-12-09 16:55:45
588
原创 Hbase 2.4.8 安装部署过程
一、HBase 简介1.1 定义HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。1.2 数据模型逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从 HBase 的底层物理存储结构（K-V）来看，HBase更像是一个 multi-dimensional map。（1）逻辑结构（2） 物理存储结构（3）数据模型 1）Name Space 命名空间，类似于关系...
2021-11-04 17:15:47
2336
3
原创 Zookeeper 3.7.0 安装部署
一、简介1.1概述Zookeeper 是一个开源的分布式的，为分布式框架提供协调服务的 Apache 项目。工作机制：1.2 特点1.3 数据结构ZooKeeper 数据模型的结构与 Unix 文件系统很类似，整体上可以看作是一棵树，每个 节点称做一个 ZNode。每一个 ZNode 默认能够存储 1MB 的数据，每个 ZNode 都可以通过 其路径唯一标识。1.4 应用场景提供的服务包括：统一命名服务、统一配置管理、统一集......
2021-11-03 18:03:53
2543
原创 Hadoop 3.3.1 分布式部署
一、安装JDK1.1 下载JDK1.8链接：https://pan.baidu.com/s/1TFGr2sZO1rZdvUJ9MeqfIQ提取码：66661.2 上传至 /opt/software目录中1.3 解压到 /opt/module中tar -zxvf jdk1.8.0_201.tar.gz -C /opt/module/1.4 配置环境变量（1）新建/etc/profile.d/my_env.sh 文件 vim /e..................
2021-11-02 21:27:29
1402
原创 ClickHouse详解
一 clickhouse-简介 ClickHouse是俄罗斯的Yandex于2016年开源的一个用于联机分析(OLAP:Online Analytical Processing)的列式数据库管理系统(DBMS:Database Management System) , 主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。 ClickHouse的全称是Click Stream，Data WareHouse，简称ClickHouse实时数据 ,事件,快[外链图片转存失
2021-10-27 15:33:15
15309
3
原创 Superset 两种安装方式详解
一、superset下载安装#下载链接：https://github.com/apache/superset#进入到superset目录下直接执行如下命令python setup.py install#创建管理员账号python superset fab create-admin#初始化数据库superset db upgrade#加载例子superset load_examples #初始化superset init #启动superset 指定端口supers
2021-07-19 21:01:11
6986
原创 漏斗分析之SQL示例
分析需求条件如下注册 -> 新手引导 -> 充值 -> 退出register->guidance->recharge->logout时间跨度2021-03-30~2021-03-31 窗口期1天SQL示例如下with t1 as ( select _accountid,cast(_time as timestamp) as _time,date from register where date>='2021-03-30' and date <
2021-03-31 11:31:41
1195
原创 统计sql中连续出现的次数
条件：求在连续时间下 每个用户连胜(success=1)或连败(success=2)的次数SQL语句select a.uid,a.success,count(uid) as times from(select record_time,uid,success,row_number() over (partition by uid,success order by record_time) as row1,row_number() over (partition by uid order by re
2020-12-31 14:44:34
7984
1
原创 CDH6.2.1集成Atlas2.1.0 详解
一、Atlas源码下载官网：http://atlas.apache.org/下载地址：https://www.apache.org/dyn/closer.cgi/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz二、pom.xml文件修改<hadoop.version>3.0.0-cdh6.2.1</hadoop.version><hbase.version>2.1.0-cdh6.2.1</hbase.version
2020-11-09 17:34:46
1061
3
原创 ELK 安装部署（入门必备）
一、简介ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、
2020-10-29 20:27:08
8499
2
原创 CDH gateway 不适用
前因：在部署cdh后发现spark、hive等的gateway状态显示不适用，就搜了一下，没有找到一条合适答案，所以就去cdh的官网找，皇天不负有心人呀，被我找到了官网链接：https://docs.cloudera.com/documentation/enterprise/6/latest/topics/cm_mc_managing_roles.html#managing_roles意思大意：网关是一种特殊类型的角色，其唯一目的是指定一个主机，当该主机上没有运行任何角色时，该主机应接收特定服务
2020-10-27 17:32:11
3118
3
原创 vmware 各版本信息
官网下载地址https://my.vmware.com/cn/web/vmware/downloads/info/slug/desktop_end_user_computing/vmware_workstation_pro/15_0#product_downloads版本系列号10.x：1Z0G9-67285-FZG78-ZL3Q2-234JG11.x：YG74R-86G1M-M8DLP-XEQNT-XAHW212.x：ZC3TK-63GE6-481JY-WWW5T-Z7ATA14.x：AU1
2020-10-23 16:26:03
861
转载 深入理解HDFS Hadoop（值得一读）
文本详细介绍了HDFS中的许多概念，对于理解Hadoop分布式文件系统很有帮助。 1. 介绍 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中，引入网络，就不可避免地引入了所有网络编程的复杂性，例如挑战之一是如果保证在节点不可用的时候数据不丢失。 传统的网络文件系统（NFS）虽然也称为分布式文件系统，但是其存在一些限制。由于NFS中，文件是存储在单机上，因此无法提供可靠性保证，当很多客户端同时访问NFS Server时，
2020-10-23 16:20:47
402
原创 CDH6.2.1 hdfs 高可用配置
1.先进入HDFS集群的管理界面2. 启用 HDFS 的 High Availability3. 自定义名称4. 分配角色5. JournalNode 编辑目录6. 启用 High Availability 命令7. 访问Web UI
2020-10-22 20:50:31
1211
1
原创 Cloudera Manager 6.2.1安装详解
一、环境准备1、Linux环境1.1关闭防火墙 #Centos7查看防火墙状态 systemctl status firewalld #临时关闭防火墙 systemctl stop firewalld #永久关闭防火墙 systemctl disable firewalld1.2 关闭selinuxvim /etc/selinux/config 默认是关闭的1.3 修改Linux swapping参数 #查看 cat /proc/sys/vm/swappiness
2020-10-22 18:52:34
1819
1
原创 Cloudera Manager 配置
欢迎页初始默认账号和密码都是admin集群名称配置集群主机节点选择存储库JDK安装SSH登录凭证Agent 安装CDH 下载与安装检查集群网络环境警告信息如下：解决方法：1、改Linux swapping参数echo 0 > /proc/sys/vm/swappiness永久生效vim /etc/sysctl.conf添加vm.swappiness=02、- 禁止透明页echo never > /sys/kernel/mm/transpar
2020-10-16 14:34:17
804
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人