- 博客(25)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 记一次java项目本地正常执行，打完包之后执行发现没有对应的类或配置的问题
由于这个任务在yarn上运行的，且日志级别是warn的，导致没有过多的有用信息，只有执行程序的入参args，这个时候排查问题就需要将程序放在本地的开发工具，例如：IDEA中进行debug调试。这就更加让我确信就是这个文件内容的问题！线上有个spark的任务出了问题（该任务是通过sparkstreaming读取kafka中的数据，处理完之后推到es中），问题出在kafka中数据是有更新的，但是es中的对应索引中的数据却只更新到月初，因此我需要排查处理下这个问题。因此我先在本地跑下jar包看看结果。
2024-02-01 12:02:02
929
原创 Ubuntu配置GPU资源
1.4. 检查驱动是否安装成功，并检查支持的cuda版本。3、下载pytorch验证GPU是否可用。1.1 查看推荐的驱动版本。1、安装nvidia驱动。1.2.安装指定版本。
2023-12-21 17:56:06
490
原创 LINUX安装Oracle11g
一.准备工作通过ftp工具上传安装包到linux服务器1.1 上传oracle 11g安装文件到服务器并解压cd /home unzip linux.x64_11gR2_database_1of2.zipunzip linux.x64_11gR2_database_2of2.zip1.2 在/etc/hosts文件中增加主机名，配置host文件vim /etc/hosts192.168.233.101 hadoop1.3 关闭selinuxvim /etc/selinux
2022-05-25 00:34:36
17875
7
原创 解决Hadoop在本地(windows)操作报错：Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
1、Hadoop错误信息：Failed to locate the winutils binary in the hadoop binary path. Could not locate executable null\bin\winutils.exe in the Hadoop binaries2、原因：window本地无法获取hadoop的配置，报错是缺少winutils.exe程序。Hadoop都是运行在Linux系统下的，在windows下eclipse、Idea中运行mapreduce程序和操
2021-08-03 17:45:50
9406
原创 HDFS存储机制
1.HDFS 概念HDFS（Hadoop Distributed FileSystem），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。集群不一定是分布式的，但是分布式一定是集群。HDFS 的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据 分析，并不适合用来做网盘应用。2.HDFS 优缺点1.优点（1） 高容错性a) 数据自动保存多个副本。它通过增加副本的形式，提高容错性；b)
2021-08-03 16:47:08
2689
原创 kafka基础操作命令
1. 查看当前服务器中的所有 topic[root@datastudio02 kafka]$ bin/kafka-topics.sh --zookeeper datastudio02:2181 --list2. 创建 topic[root@datastudio02 kafka]$ bin/kafka-topics.sh --zookeeper datastudio02:2181 --create --replication-factor 3 --partitions 1 --topic firs
2021-08-03 11:53:15
102
原创 Hadoop YARN配置（RM与NM）相关参数
配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。ResourceManager相关配置参数（1） yarn.resourcemanager.address参数解释：ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。默认值：${yarn.resourcemanager.hostname}:8032（2） yarn.resourcemanager.scheduler
2021-07-23 16:57:37
1904
原创 YARN 聚合日志配置
1、 日志聚集介绍MapReduce 是在各个机器上运行的， 在运行过程中产生的日志存在于各个机器上，为了能够统一查看各个机器的运行日志，将日志集中存放在 HDFS 上， 这个过程就是日志聚集。如果打开了日志聚合的选项，即yarn.log-aggregation-enable，container的日志会拷贝到hdfs上去，并从机器中删除。可以使用yarn logs -applicationId 命令，来查看日志yarn logs命令，会打印出application对应的所有container的日志出来，当
2021-07-22 11:25:55
4100
原创 spark-submit的master参数以及Spark的部署方式
spark-submit的master参数以及Spark的部署方式参数说明参数说明–master集群的master地址。如：spark://host:port，mesos://host:port，yarn-client，yarn-cluster，local[k]本地以k个worker线程执行，k一般为cpu的内核数，local[*]以尽可能多的线程数执行。那么这个参数该如何设定？首先我们需要知道spark有哪些部署方式。我们要部署Spark这套计算框架，有多种方式，可以部署
2021-07-19 15:04:12
1924
原创 SQL（一）基础
一：相关概念DB：数据库（database）：存储数据的仓库，保存一系列有组织的数据。DBMS：数据库管理系统（database management system）：数据库是通过DBMS创建和操作的容器（又称数据库软件）。常见有：MySQL、Oracle、DB2、SqlServer等。SQL：结构化查询语言（structure query language）：专门用来与数据库通信的语言。二：初始MySQL（一）、启动MySQL服务启动：方式1：计算机右击 ——>管理——>服务
2020-07-11 08:16:34
211
原创 启动Kylin出现的问题
一、安装1.从 Apache Kylin下载网站 下载一个适用于您 Hadoop 版本的二进制文件。或者点击下载2.将下载好的压缩包上传到Linux上，并解压：tar -zxvf apache-kylin-2.5.1-bin-hbase1x.tar.gz3.改名：mv apache-kylin-2.5.1-bin-hbase1x.tar.gz kylin-2.5.14.此时，kylin就安装成功，接下来需要配置kylin环境变量,编辑文件，（因为要用到hbase、hive、hadoop，所
2020-06-14 22:24:11
3571
原创 谈谈C语言中的变量类型以及内存管理
一、变量类型：1.生命周期指的是变量值保留的期限。按照生命周期，可将变量分为两类：静态变量和动态变量。**静态变量：**静态变量存储在内存中的静态存储区，在编译的时候就分配了存储空间，在整个程序运行期间，该变量占有固定的内存单元，变量的值都始终存在，直到程序结束后，这部分空间才释放出来。因此，静态变量的生命周期为整个程序运行的时间。动态变量： 动态变量存储在内存的动态存储区，在程序运行过程中·，只有当变量所有函数被调用时，编译系统才会临时为该变量分配一段内存单元，该变量才有值，函数调用结束，变量值立
2020-05-29 16:05:40
607
原创 创建HBase表出现 "xxxxx is disabled."
用hbase shell 创建表的时候出现：“SearchCount is disabled”hbase(main):002:0> count 'SearchCount'ERROR: org.apache.hadoop.hbase.DoNotRetryIOException: SearchCount is disabled.Here is some help for this co...
2019-12-18 19:04:54
1348
原创 运行SparkStreaming+kafka遇到的坑。。。
在使用spark streaming消费Kafka实时流数据的时候，在idea上运行出现以下错误：E:\Software_DevelopmentKit\Java\jdk1.8.0_212\bin\java.exe "-javaagent:E:\Software\Work\JetBrains\IDEA\IntelliJ IDEA 2019.3\lib\idea_rt.jar=51890:E:\So...
2019-12-09 18:00:16
892
原创 Kafka建立新的topic是出现ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException
在kafka中创建新的topic时，输入命令：kafka-topics.sh --zookeeper node01:2181/kafka --create --replication-factor 1 --partitions 1 --topic t1如果出现：ERROR org.apache.kafka.common.errors.InvalidReplicationFactorExc...
2019-12-02 20:35:01
19199
3
原创 Hive格式化失败
初始化hive百度了一下是，输入后报错，如下：[root@cluster-1 conf]# schematool -dbType mysql -initSchemabash: schematool: 未找到命令…于是我就通过yum命令安装嘛，出错，报错如下：[root@cluster-1 conf]# yum -y install schematool已加载插件：fastestmirro...
2019-11-22 22:05:52
4026
2
原创 IDEA开发Spark提示：Failed to locate the winutils binary in the hadoop binary path
今天在运行Sparkstreaming时，出现了spark提示错误：19/11/19 13:14:36 ERROR Shell: Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\bin\winutils.exe ...
2019-11-19 13:34:06
535
原创 日志的级别选择
日志级别：日志记录器（logger）：是日志处理的核心文件。日志信息分类分别为：OFF、FATAL、ERROR、WARN、INFO、DEBUG、ALL或者您定义的级别。log4j建议只使用四种级别：ERROR、WARN、INFO、DEBUG。通过在这里定义的级别，您可以控制到应用程序中相应级别的日志信息的开关。1.等级由低到高：debug<info<warn<Error<...
2019-11-17 16:51:52
4427
1
原创 启动flume以及启动时出现的问题
1.启动flume1.创建flume Agent配置文件：#指定agent的sources,sinks,channelsa1.sources = s1 a1.sinks = k1 a1.channels = c1 #配置sources属性a1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sourc...
2019-11-15 17:53:52
10455
2
原创 Flume配置过程中的问题
标题flume-ng version出现错误Error: Could not find or load main class org.apache.flume.tools.GetJavaPrope的解决办法问题描述：错误: 找不到或无法加载主类org.apache.flume.tools.GetJavaProperty解决办法：原因：ng脚本问题。在bin目录下，编辑flume-ng文...
2019-11-15 15:01:12
753
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人