- 博客(13)
- 收藏
- 关注
RSS订阅原创 datafaker教程的安装报错踩坑笔记
datafaker详细的安装使用教程：参照文档：https://blog.csdn.net/A15517340610/article/details/105623103安装前环境的准备：一、python3.4的安装（自行百度）注意：安装完后要按照对应版本呢的python3.4-develsudo yum -y install python3.4-devel二、pip3的安装1、安装epel-releasesudo yum -y install epel-release2、安装python-
2022-05-20 10:06:26
586
原创 scala-面向对象编程（高阶篇）
继承：语法-->class 子类名 extends 父类名 { 类体 }1、子类继承父类的属性和方法2、scala 是单继承3、继承的调用顺序：父类构造器->子类构造器4、Scala中属性和方法都是动态绑定，而Java中只有方法为动态绑定。换句话说，就是new的对象是谁，就调用谁的属性和方法，没有Java多态的概念，举个例子：Person teacher1 = new Teacher(),即使Teacher继承了Person父类，重写了方法和属性，那么依然使用的是Teacher的属性和方
2022-02-11 12:26:41
260
原创 scala-面向对象编程（基础篇）
包的作用：1、区分相同名字的类 2、当类很多时，可以很好的管理类 3、控制访问范围包的命名规范：com.公司名.项目名.业务模块名包的使用：1、Scala中基本的package包语法和Java完全一致，还有一种是通过嵌套的风格表示层级关系2、用package关键字可以嵌套声明使用，子包中的类可以直接访问父包中的内容，而无需导包3、Scala中package也可以看作对象，并声明属性和函数，作为其对应包下所有 class 和 object 的共享变量，可以被直接访问 如：package objec..
2022-02-11 12:13:33
215
原创 scala-函数式编程
函数基础编程：1、函数与方法区别（类中的函数称之方法，其他都叫函数，函数可以作为对象传递并且函数可以嵌套定义，方法有重载重写的概念，函数没有）2、常见函数类型：无参无返回值、无参有返回值、有单参无返回值、有单参有返回值、有多参无返回值、有多参有返回值3、函数参数：可变参数、参数默认值、带名参数（注意：可变参数与参数默认值不能共同出现在参数列表中）4、函数至简原则：（1）return 可以省略，Scala 会使用函数体的最后一行代码作为返回值（2）如果函数体只有一行代码，可以省略花括号（3）返回值类型如
2022-02-09 10:12:46
388
原创 scala-流程控制
分支控制：单分支（if）、双分支(if-else)、多分支(if-else if-else)循环控制: while、do-while、for 【循环守卫、循环步长2种方式（by、ranage）、循环嵌套2种方式、引入变量、yield关键字返回for值、倒叙打印，例如：for(i <- 1 to 10 reverse）】注意：范围数据循环to与until区别：for(i <- 1 to 3) //1,2,3for(i <- 1 until 3) //1,2循环中断：1、contin..
2022-02-09 10:07:43
277
原创 scala-运算符
常用运算符：算数运算符、关系运算符、赋值运算符（Scala 中没有++、--操作符，可以通过+=、-=来实现同样的效果）、逻辑运算符、位运算符注意：Java 和 Scala 中关于==的区别刚好相反：Java：1、==比较两个变量本身的值，即两个对象在内存中的首地址；2、equals 比较字符串中所包含的内容是否相同运算符的本质：在Scala中其实是没有运算符的，所有运算符都是方法，函数参数只有一个，或者没有参数，()可以省略，例如:1.+(100)等价于1+100...
2022-02-09 10:04:05
1048
原创 scala-变量和数据类型
快捷键：ctrl + alt + L 来进行格式化注释：单行注释、多行注释、文档注释变量：可变变量var、不可变变量val、使用前必须初始化值，可以不写类型，因为scala具有自动推导类型功能标识符：字符数字使用字母或是下划线开头，后面可以接字母或是数字，符号"$"在 Scala 中也看作为字母。字符串操作：字符串拼接、传值字符串（printf 用法：字符串，通过%s%d等传值）、插值字符串(也叫字符串模板：通过$获取变量值)、多行字符串输入输出操作：1、从屏幕中获取输入：scala.io.StdIn.r
2022-02-09 10:00:01
302
原创 Hive实际工作中常用函数
--hive常用的函数set hive.exec.mode.local.auto=TRUE;--日期函数SELECT unix_timestamp('2021/03/31 09-09-01','yyyy/MM/dd HH-mm-ss');--1617181741SELECT from_unixtime(1617181741);--2021-03-31 09:09:01SELECT current_date;--2021-03-31SELECT CURRENT_TIMESTAMP(); --2021
2021-03-31 20:12:25
132
原创 Flink之运行架构
1、先介绍一下flink主要组件：JobManager，作业管理器，它的作用有3点：1、控制一个应用程序的执行，因为一个应用程序进来，都有对应的JobManager，应用程序提交后，JobManager会把应用程序中的JobGraph转为执行图ExecutionGraph、2、会向ResourceManager请求slot插槽来执行任务3、获取资源后会把执行图发给TaskManager进行运行，并在其中进行协调工作ResourceManager，资源管理器，它的作用有2点：1、.
2021-03-25 23:44:39
250
2
原创 Sqoop在mysql、hive、hdfs之间导入导出的使用
#在sqoop的conf下配置sqoop-env.shexport HADOOP_COMMON_HOME=/opt/module/hadoop-3.1.3export HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3export HIVE_HOME=/opt/module/hive-3.1.2export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7export ZOOCFGDIR=/opt/module/zookeep
2021-03-20 20:59:42
150
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人