- 博客(12)
- 收藏
- 关注
RSS订阅
原创 TIDB探索
第1章 TIDB基本概念1.1 TiDB 整体架构要深入了解 TiDB 的水平扩展和高可用特点，首先需要了解 TiDB 的整体架构。TiDB 集群主要包括三个核心组件：TiDB Server，PD Server 和 TiKV Server。此外，还有用于解决用户复杂 OLAP 需求的 TiSpark 组件和简化云上部署管理的 TiDB Operator 组件。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dPYwhFhC-1621955238207)(file:///C
2021-05-25 23:08:40
172
原创 正则呀正则
import org.apache.hadoop.yarn.webapp.hamlet2.Hamlet;import java.util.ArrayList;import java.util.Arrays;public class demo { public static void main(String[] args) { String s1; boolean r; //匹配10位 以2开头第二位是0，第三位是1 后七位位任意字符
2020-09-14 19:32:54
103
原创 Unable to load configured region split policy ‘org.apache.phoenix.schema.MetaDataSplitPolicy‘ for
phoenix起不来具体错误如下Error: org.apache.hadoop.hbase.DoNotRetryIOException: Unable to load configured region split policy 'org.apache.phoenix.schema.MetaDataSplitPolicy' for table 'SYSTEM.CATALOG' Set hbase.table.sanity.checks to false at conf or table descri
2020-09-05 21:37:21
3499
原创 org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session
问题描述Logging initialized using configuration in jar:file:/opt/module/hive/lib/hive-common-3.1.2.jar!/hive-log4j2.properties Async: trueHive Session ID = 0c953008-3c72-4e36-bcaf-47e92a5b9759FAILED: SemanticException Failed to get a spark session: org.apac
2020-08-17 21:15:07
5504
原创 Test测试类中没有Run test()
今天小编在写代码的时候遇到了一个问题，在测试类中右键没有Run test*()的选项，同样也没有Debug，后来发现了问题并解决，今天总结一下问题长相正常的应该是这样导致问题的原因解决办法原因有二：第一种：就是在导入junit包的时候导入了如下图的包，导错了，删去或注掉即可第二种：我是在创建 .scala 文件的时候点错了这样也会导致上述现象正确的为以上便是小编，在写代码的时候遇到的问题...
2020-08-09 21:57:25
889
1
原创 Idea创建DataFrame出错：Error while instantiating ‘org.apache.spark.sql.internal.SessionStateBuilder‘:
首先在小编出现这个问题的时候很是懵逼，百度也搜不出来这样的错误。于是我就写了一篇。错误的长相出现这样的错误完全是由自己的笔误造成的，错误如下：长这个样子详细错误java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.internal.SessionStateBuilder': at org.apache.spark.sql.SparkSession$.org$apache$spar
2020-08-08 08:31:50
962
原创 语文老师说
某日老师说：姑娘，做一个白富美，白于品性，富于内在，美于心灵。小伙，做一个高富帅，高于德行，富于内涵，帅于实践。某日老实说：三十而立，四十而不惑，五十知天命，六十耳顺，七十古稀，八十…，九十…，一百期颐。某日老师说：漫随天外云卷云舒 去留无意。闲看庭前花开花落 宠辰不惊。在《记念刘和珍君》中说到：译书尚未成功，惊闻陨星，中国何人呐喊。先生已经作古，疼忆泪雨，文坛从感彷徨。在《小狗包弟》后补充：2013年感动中国人物巴金颁奖词穿越一个世纪，见证沧桑百年，刻画历史巨变，一个生命竟如此厚
2020-08-04 08:38:00
195
原创 spark中的WordCount，从搭建到运行
spark一、关于spark1.1 What is sparkSpark是一种基于内存的快速、通用、可扩展的Big Data 计算引擎1.2spark的特点快速：Spark基于内存的运算是Hadoop的MapReducer的100倍，快相对于Hadoop的MapReducer而言。、 Spark实现了高效的DAG执行引擎，可以通过基于内存来高效的处理数据流。 DAG（有向无环图）通用：Spark 结合了SQL, Streaming和复杂分析.Spark 提供了大量的类库, 包括 SQ
2020-08-01 08:30:46
239
原创 如何查看虚拟机上是否装有Yarn服务
如和查看虚拟机上是否装有Yarn服务1.最简单的办法就是测一下不管是否装过Yarn启动一下就可以了‘输入命令start-yarn.sh然后输入jps查看是否有如下进程如果有说明有Yarn，Yarn是有resourcemanager和NodeManager组成，负责...
2020-07-30 16:19:55
1765
原创 Scala中List集合中滑窗的详解
滑窗的使用详解在idea中运行val list1:List[Int] =List(1,2,3,4,5,6,7,8,9,10) println("滑窗") list1.sliding(2, 2).foreach(println)运行代码如下：list1.sliding(2, 3).foreach(println)运行代码如下：
2020-07-25 13:48:56
919
原创 初学Azkaban
azkanbanazkaban的使用场景 用于任务的调度azkaban的使用 1.创建 .project文件：azkaban-flow-version:2.0 2.创建 .flow文件 3.压缩成 .zip文件，上传.flow文件是yaml格式 1.大小写敏感 2.通过缩进来表达层次，严禁使用 \t 3.属性名：后面跟一个空格案例#1.hello world nodes: - name: job名称 type: command<job类型[com
2020-07-23 17:12:31
138
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人