- 博客(76)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 scala
介绍：Scala 是 Scalable Language 的简写，是一门多范式的编程语言联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计Scala。Scala是把函数式编程思想和面向对象编程思想结合的一种编程语言。大数据计算引擎Spark由Scala编写 特点：特点Scal
2021-12-24 10:47:09
182
原创 一起重新开始学大数据-数据采集工具篇-day 58 sqoop
一起重新开始学大数据-数据采集工具篇-day 57 sqoopSqoop简介概述 将关系数据库（oracle、mysql、postgresql等）数据与hadoop数据进行转换的工具、官网： http://sqoop.apache.org/版本：（两个版本完全不兼容，sqoop1使用最多） sqoop1：1.4.x sqoop2：1.99.x同类产品 DataX：阿里顶级数据交换工具Sqoop安装 sqoop架构非常简单，是hadoop生态系统的架构最简单的框架。
2021-09-25 19:41:18
228
原创 一起重新开始学大数据-Hbase篇-day 57 Hbase调优
一起重新开始学大数据-Hbase篇-day 57 Hbase调优????文章目录????1、预分区2、Rowkey设计①设计原则②热点问题3、In memory4、Max Version5、Compact&split6、BulkLoading①代码②说明1、预分区Pre-Creating Regions（预分区） 概述： 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候， 所有的HBase客户端都向这一个region写数据，直到这个region足够大
2021-09-20 15:07:54
497
原创 一起重新开始学大数据-Hbase篇-day 56 Phoenix
一起重新开始学大数据-Hbase篇-day 56 Phoenix????文章目录????Phoenix概述1、Phoenix搭建及基本操作1、关闭hbase集群，在master中执行2、上传解压配置环境变量3、将phoenix-4.15.0-HBase-1.4-server.jar复制到所有节点的hbase lib目录下4、启动hbase ， 在master中执行5、配置环境变量2、Phoenix使用1、连接sqlline2、常用命令3、phoenix表映射3.1、视图映射3.2、表映射3、Phoeni
2021-09-20 11:57:40
148
原创 一起重新开始学大数据-Hbase篇-day 55 浅谈布隆过滤器、Hbase读写、Hbase的HA和Mapreduce读写Hbase数据
一起重新开始学大数据-Hbase篇-day 55 浅谈布隆过滤器、Hbase读写、Hbase的HA和Mapreduce读写Hbase数据目录浅谈布隆过滤器Hbase的读写Hbase的HA（高可用）Mapreduce读写Hbase数据浅谈布隆过滤器概述： Bloom Filter（布隆过滤器）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删
2021-09-16 11:28:16
133
原创 一起重新开始学大数据-Hbase篇-day 54 Hbase介绍、shell、过滤器
一起重新开始学大数据-Hbase篇-day 54 Hbase基础知识 前言 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是
2021-09-14 12:42:18
129
原创 一起重新开始学大数据-Hbase篇-day 53 Hbase安装及简析
一起重新开始学大数据-Hbase篇-day 53 Hbase安装及简析 搭建Hbase1、启动hadoopstart-all.shweb验证是否开启http://master:50070jps验证是否开启2、启动zookeeper需要在在三台中分别启动zkServer.sh start验证是否开启zkServer.sh status开始搭建hbase1、上传解压配置环境变量tar -xvf hbase-1.4.6-bin.tar.gz -C /usr/local
2021-09-12 20:56:16
175
原创 一起重新开始学大数据-hive篇-day 52 常用函数、复杂函数、行列互转、UDF自定义函数、HiveShell
Hive 常用函数关系运算等值比较 = == <=>不等值比较 != <><=>与=和==是等于的意思，<> 与!=都是不等于的意思，但是一般都是用<>来代表不等于，因为<>在任何SQL中都起作用，但是!=在sql2000中用到，则是语法错误，不兼容的（同理=和<=>也是）区间比较： select * from default.students where id between 1500100001
2021-09-08 12:56:03
281
原创 一起重新开始学大数据-hive篇-day 51 数据类型 、DDL、DML
一起重新开始学大数据-hadoop篇-day 51 数据类型 、DDL、DMLSQL的小贴士（tips）：1、count(*)、count(1) 、count(‘字段名’) 区别 count(*)：所有行进行统计，包括NULL行 count(1)：所有行进行统计，包括NULL行 count(‘字段名’)：对字段中非Null进行统计结果差距不大但是受到集群影响执行时间有差异， 执行时间：count(*)>count('字段名')count(1)2、HQL 执行优先级：fro
2021-09-07 22:17:05
1102
4
原创 一起重新开始学大数据-hive篇-day 50 hive语法及进阶
Hive建表CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name // 定义字段名，字段类型 [(col_name data_type [COMMENT col_comment], ...)] // 给表加上注解 [COMMENT table_comment] // 分区 [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] // 分桶 [CLUSTE
2021-09-06 21:47:25
348
原创 一起重新开始学大数据-hive篇-day49 Hive简介和安装
一起重新开始学大数据-hadoop篇-day49 Hive简介和安装理论部分hive概述 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL ，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理
2021-09-05 11:19:45
354
2
原创 一起重新开始学大数据-hadoop篇-day48 Yarn
一起重新开始学大数据-hadoop篇-day48 YarnYarnYarn概述yarn：资源调度系统 运算资源：运算程序jar、配置文件、cpu、内存、IO 只负责程序运行所需资源的分配回收等调度任务，与应用程序的内部运作机制完全无关，所以yarn已经成为了通用资源调度平台，许许多多的运算框架都可以借助它来实现资源管理，such as ：MR、spark、storm、TEZ、Flink…yarn核心组件功能YARN ClientYARN Client提交Application到RM
2021-09-05 10:15:58
316
原创 一起重新开始学大数据-hadoop篇-day47 mapreduce（总）
一起重新开始学大数据-hadoop篇-day47 mapreduce（总）MapReduce概述MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.MapReduce是分布式运行的，由两个阶段组成：Map和Reduce，Map阶段是一个独立的程序，有很多个节点同时运行，每个节点处理一部分数据。Reduce阶段是一个独立的程序，有很多个节点同时运行，每个节点处理一部分数据【在这先把reduce理解为一个单独的聚合程序即可】。MapRe
2021-09-05 09:22:45
260
原创 一起重新开始学大数据-hadoop篇-day46 Hdfs、yarn的HA，mapreduce（先导）
一起重新开始学大数据-hadoop篇-day46 Hdfs、yarn的HA，mapreduce（1）HA(高可用)HDFS的HA相较于Hadoop1.x ，Hadoop2.x中的HDFS增加了两个重要特性，HA和Federation。HA即为High Availability，用于解决NameNode单点故障问题，该特性通过热备的方式为主NameNode提供一个备用者，一旦主NameNode出现故障，可以迅速切换至备NameNode，从而实现不间断对外提供服务。Federation即为“联邦”，该
2021-09-01 21:24:58
275
2
原创 一起重新开始学大数据-hadoop篇-Day45-hdfs解析和zookeeper安装
一起重新开始学大数据-hadoop篇-Day45-hadoop启动脚本详细启动脚本介绍第一种：全部启动集群所有进程启动：sbin/start-all.sh停止：sbin/stop-all.sh第二种：单独启动hdfs【web端口50070】和yarn【web端口8088】的相关进程启动：sbin/start-dfs.sh sbin/start-yarn.sh停止：sbin/stop-dfs.sh sbin/stop-yarn.sh每次重新启动集群的时候使用第三种：单独启动某一个进程
2021-08-30 09:30:16
414
原创 HDFS常用命令与命令大全及其用法
最常用命令-ls 查看hdfs上目录，如 hdfs dfs -ls /-put 将本地文件上传到hdfs，如hdfs dfs -put 本地文件路径 hdfs路径-get 将hdfs文件下载到本地，如 hdfs dfs -get hdfs文件路径 本地文件路径-mkdir 在hdfs 上创建文件夹，如hdfs dfs -mkdir /test-cp 将hdfs文件或目录复制 如 hdfs dfs -cp /test.txt /a/-cat 查看hdfs上文件内容
2021-08-30 09:23:02
11010
原创 一起重新开始学大数据-hadoop篇-Day44-Hadoop、hdfs概述架构简析，Hadoop集群搭建
一起重新开始学大数据-hadoop篇-Day44-Hadoop、hdfs概述架构简析，Hadoop集群搭建科普环节概念、名词科普Apache基金会是专门为支持开源软件项目而办的一个非盈利性组织服务器(节点)可以理解为我们的一台笔记本/台式机在这里可以认为是我们的一台虚拟机后面学习中，我们会把一台服务器称为一个节点机架负责存放服务器的架子Hadoop概述：Hadoop是一个适合海量数据的分布式存储和分布式计算的平台。作者Doug Cutting 受Google三篇论文的启发
2021-08-28 18:25:29
339
原创 一起重新开始学大数据-hadoop先导篇-Day43-Redis的主从复制和集群搭建
一起重新开始学大数据-hadoop先导篇-Day42-Redis的主从复制和集群搭建目录主从复制 Replication主从复制 Replication概述主从复制创建主从复制具体步骤主从复制演示主从复制注意Redis集群Redis集群节点复制Redis集群故障转移（哨兵机制）Redis集群分片Redis集群Redirect转向Redis集群搭建集群搭建具体步骤：Redis集群总结主从复制 Replication主从复制 Replication概述特点：一个Redis服务可以有多个该服务的复
2021-08-28 17:10:56
177
原创 一起重新开始学大数据-hadoop先导篇-Day42-Redis的列表、散列、set集合、Sorted和Redis持久化
一起重新开始学大数据-hadoop先导篇-Day42-Redis的列表、散列、set集合、Sorted和Redis持久化列表特点基于Linked List实现元素是字符串类型列表头尾增删快，中间增删慢，增删元素是常态元素可以重复出现最多包含2^32-1元素列表的索引从左至右，从0开始从右至左，从-1开始增加左右或者头尾压入元素LPUSH key value [value ...]LPUSHX key valueRPUSH key val
2021-08-24 17:50:54
239
1
原创 一起重新开始学大数据-hadoop先导篇-Day41-Redis安装及字符串类型基本命令
一起重新开始学大数据-hadoop先导篇-Day41-Redis安装及基本命令科普环节Redis是什么？开源的（BSD协议），使用ANSI C 编写，基于内存的且支持持久化，高性能的Key-Value的NoSQL数据库支持数据结构类型丰富，有如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围- 查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。
2021-08-24 14:34:10
275
原创 一起重新开始学大数据-hadoop先导篇-Day40-初识Springboot
一起重新开始学大数据-hadoop先导篇-Day40-初识Springboot科普环节什么是springbootSpring框架是java平台上的一种开源应用框架。尽管Spring框架自身对编程模型没有限制，但其在Java应用中的频繁使用让它备受青睐，以至于后来让它作为EJB（EnterpriseJavaBeans）模型的补充，甚至是替补。SpringBoot是Spring社区发布的一个开源项目，在帮助开发者快速并且更简单的构建项目。它使用习惯优于配置的理念让你的项目快速运行起来，使用Spring
2021-08-18 22:16:01
393
原创 一起重新开始学大数据-hadoop先导篇-Day39-JAVA三层结构
科普环节java三层架构表现层（JSP）采用MVC模式。M称为模型，也就是实体类。用于数据的封装和数据的传输。V为视图，也就是GUI组件，用于数据的展示。C为控制，也就是事件，用于流程的控制。业务层（逻辑层、service层）采用事务脚本模式。将一个业务中所有的操作封装成一个方法，同时保证方法中所有的数据库更新操作，即保证同时成功或同时失败。避免部分成功部分失败引起的数据混乱操作。持久层（DAO）采用DAO模式，建立实体类和数据库表映射（ORM映射）。也就是哪个类对应哪个表，哪个属性对应
2021-08-17 22:03:37
157
转载 一起重新开始学大数据-hadoop先导篇-day39_特别篇_ 互联网架构变迁(转)
互联网架构变迁转载自-https://segmentfault.com/a/1190000008016139–作者：黄庆兵互联网在变，架构也在变，架构的变迁亦是互联网的变迁。所以，我们有必要来聊聊互联网的架构及其变迁。何为架构？往大的说，宇宙有架构，社会有架构，往小的说，建筑要有架构，软件要有架构，往玄乎的说，它由分工而来，回归整体而去，往实际的说，架构的核心就是为了解决问题，包括业务的问题、人的问题。立足互联网行业，架构通常指的是技术架构，更具体一点的说是系统架构、软件架构，或者是最常见的网站架
2021-08-16 22:26:16
120
原创 一起重新开始学大数据-hadoop先导篇-Day38-安装配置maven，Git
一起重新开始学大数据-maven篇-Day38-maven先导篇科普部分-mavenmaven 概述如今,我们构建一个项目需要用到很多第三方的类库，如写一个使用Spring的Web项目就需要引入大量的jar包。一个项目Jar包的数量之多往往让我们瞠目结舌，并且Jar包之间的关系错综复杂，一个Jar包往往又会引用其他Jar包，缺少任何一个Jar包都会导致项目编译失败。以往开发项目时，程序员往往需要花较多的精力在引用Jar包搭建项目环境上，而这一项工作尤为艰难，少一个Jar包、多一个Jar包往往会.
2021-08-15 13:36:26
285
原创 一起重新开始学大数据-MySQL篇-Day37-sql(5)-shell操作MySQL，java操作MySQL、附带JDBC的NullPointerException
一起重新开始学大数据-MySQL篇-Day37-sql(5)shell操作mysqlshell操作mysql#!/bin/shMYSQL="mysql -hmaster -uroot -p123456"sql="select * from shujia.student where sex='0'"result="$($MYSQL -e "$sql")"echo -e "$result"java操作mysql导入第三方工具包file->project structure-&
2021-08-13 21:31:31
135
原创 一起重新开始学大数据-MySQL篇-Day36-case值替换，备份表，稍微了解一下视图，事务
一起重新开始学大数据-MySQL篇-Day36-sql(4) case:值的替换格式:case when 条件 then 为true的结果 [when 条件 then 为true的结果] [else 为false的结果] end背景：发现查询性别的时候，写的是0或1解决：使用case，进行值得替换SELECT name, CASE WHEN sex=1 THEN ‘女’ ELSE ‘男’ END AS 性别 FROM students;从其他表加载数据（备份，复制）格式1:crea
2021-08-12 21:15:04
274
原创 一起重新开始学大数据-MySQL篇-Day35-练习题
一起重新开始学大数据-MySQL篇-Day35-练习题练习： 将下列数据插入mysql表,完成所给查询需求 创建员工表DROP TABLE IF EXISTS `emp`;CREATE TABLE `emp` ( `EMPNO` int(4) NOT NULL, `ENAME` varchar(10) DEFAULT NULL, `JOB` varchar(9) DEFAULT NULL, `MGR` varchar(10) DEFAULT NULL, `HIREDATE`
2021-08-11 20:53:24
403
原创 一起重新开始学大数据-MySQL篇-Day34-日期函数、计算、排序分组筛选、连表联查等
一起重新开始学大数据-MySQL篇（2）日期函数获取当前日期:current_timestamp;–所有current_timestamp();–所有CURRENT_DATE();-- 年月日CURRENT_DATE;-- 年月日CURRENT_TIME();-- 时分秒CURRENT_TIME;-- 时分秒时间转str格式:date_format(date,format)date:时间format:格式SELECT DATE_FORMAT(CURRENT_DAT
2021-08-10 20:09:55
337
原创 一起重新开始学大数据-MySQL篇-Day33-SQL、建库建表、增删查改、聚合函数等
一起重新开始学大数据-MySQL篇-(1)什么是数据库数据库是数据的仓库与普通的数据仓库不同的是,数据库依据数据结构来组织数据,因为数据结构的存在,所以看到的数据时条理化的数据库和普通文件系统的区别在于:数据库拥有数据结构,能都快速查找对应的数据常说的XX数据库,其实就是XX数据库管理系统:数据库管理系统是一个软件,是数据库服务的体现数据库分为关系型数据库和非关系型数据库：.关系型:以行作为记录,列数相同.非关系型:以列作为记录,行数随便什么是关系型数据库关系型数据库是依据
2021-08-09 21:35:59
300
原创 一起重新开始学大数据-Linux篇-Day32-shell脚本（2）、时间、定时器、安装MySQL
一起重新开始学大数据-Linux篇-Day32-shell脚本（2）、时间、定时器、安装MySQLshell 脚本（2）函数格式:function 方法名(){方法体return 数字;}注意:function和return可加可不加$0…$n表示接收参数,$0永远是脚本名称(忽略)方法的调用直接使用方法名不加()return只能返回数字范围在0-255之间$?接收返回值只能接收一次案例：[root@tt shell]# cat fun.sh #!/bin/en
2021-08-07 21:12:13
146
原创 一起重新开始学大数据-Linux篇-Day31-shell脚本（1）
一起重新开始学大数据-Linux篇-Day31-shell脚本（1）Shell 介绍前言：计算机只能认识（识别）机器语言(0和1)，如（11000000 这种）。但是，我们的程序猿们不能直接去写01这样的代码，所以，要想将程序猿所开发的代码在计算机上运行，就必须找"人"（工具）来翻译成机器语言，这个"人"(工具)就是我们常常所说的编译器或者解释器。编译和解释型语言区别1. 编程语言分类编译型语言： 程序在执行之前需要一个专门的编译过程，把程序编译成为机器语言文件，运行时不需要重新翻译，
2021-08-06 21:20:38
166
原创 一起重新开始学大数据-Linux篇-Day30-克隆虚拟机（续）-修改ip，添加映射关系，配置ssh免密，启动模式
Day30-克隆虚拟机（续）-修改ip，添加映射关系，配置ssh免密，启动模式????克隆两台虚拟机加master 三台组成一个集群所克隆的虚拟机需要修改主机名,ip永久修改主机名hostnamectl set-hostname node1或node2例如：(在node2的虚拟机中)ip方式1:通过可视化界面直接修改方式2:vim /etc/sysconfig/network-scripts/ifcfg-ens33然后重启网络:service network resta
2021-08-04 10:45:24
163
2
原创 一起重新开始学大数据-Linux篇-Day29 shell命令（2）、用户组、Linux下jdk、克隆虚拟机
day29 shell命令（2）、用户组、Linux下jdk、克隆虚拟机使用工具：xshell链接：https://pan.baidu.com/s/1KTMbmVLfszkHwepgYiT88g提取码：fztdxftp链接：https://pan.baidu.com/s/1_OjPjk-Fsf5eK_dDmUSNQg提取码：1i38安装提示：先安装Xshell，再装Xftp,防止冲突打不开使用Xshell、xftp用户和用户组用户在/etc/passwd中用户组在
2021-08-03 22:35:02
397
3
原创 一起重新开始学大数据-Linux篇-DAY28-shell命令、编辑模式和配置映射文件
DAY28-shell命令、编辑模式和配置映射文件linux目录结构bin: 存储普通命令sbin: 存储超级命令home: 存储普通用户root: 存储超级用户usr /usr/local:下存储数据或软件tmp: 临时目录 迎来存放临时数据关于网络常用命令 ifconfig: 查看网络–.service network restart :重启网络hostname: 查看主机名hostnamectl set-hostname 主机名:永久修改主机名s
2021-08-02 21:29:58
195
原创 一起重新开始学大数据-Linux篇-DAY27-安装VMware,linux系统，配置网络
day27-开始学系统得shell命令需要得工具VMwarecentOS（本案例用的是，VMware14 和centOS7）个人觉得有点好，Vmware16也不错没有软件工具的，这里搞个分享:VMware链接：https://pan.baidu.com/s/1C7Cd2LDiPgMQZ_HZVa3rCw 提取码：wareVMware14密钥链接：https://pan.baidu.com/s/1Fn1JmH79rbhhk5ldXk2Z9g 提取码：warecentOS7
2021-07-31 22:04:40
163
3
原创 一起重新开始学大数据-java篇-DAY26反射，正则表达式
1.1类加载当程序要使用某个类时，如果该类还未被加载到内存中，则系统会通过类的加载，类的连接，类的初始化这三个步骤来对类进行初始化。如果不出现意外情况，VM将会连续完成这三个步骤，所以有时也把这三个步骤统称为类加载或者类初始化类的加载:将class文件(源文件)读取内存,并创建对应的Class对象任何类被使用时,系统都会创建一个java.lang.Class对象类的连接验证阶段:检验被加载的类和相关类(父类/接口)内部结构是否合法准备阶段:负责为类中的变量分配内存,并设置默认值解析阶段:将
2021-07-30 22:13:26
555
原创 我慌了！我妈从床底掏出了我珍藏多年的小本本-----JAVA_Lambda表达式（笔记）
1.Lambda表达式1.1函数式编程思想概述在数学中，函数就是有输入量、输出量的-套计算方案,也就是“拿数据做操作"面向对象思想强调“必须通过对象的形式来做事情”函数式思想则尽量忽略面向对象的复杂语法:‘”强调做什么， 而不是以什么形式去做”而我们要学习的L ambda表达式就是函数式思想的体现1.2体验Lambda表达式需求：启动一个线程，在控制台输出一句话：多线程程序启动了方式1：定义一个类MyRunnable实现Runnable接口, 重写run0方法创建MyRunn
2021-07-29 09:42:46
134
原创 一起重新开始学大数据-java篇-DAY25-TCP协议
java篇-DAY25-TCP协议3.TCP通信程序3.1 TCP通信原理TCP通信协议是一种可靠的网络协议，它在通信的两端各建立一个Socket对象，从而在通信的两端形成网络虚拟链路，一旦建立了虚拟的网络链路，两端的程序就可以通过虚拟链路进行通信Java对基于TCP协议的的网络提供了良好的封装，使用Socket对象来代表两端的通信端口，并通过Socket产生IO流来进行网络通信Java为客户端提供了Socket类，为服务器端提供了ServerSocket类3.2TCP发送数据发送数据的步骤
2021-07-27 20:10:31
152
原创 一起重新开始学大数据-java篇-DAY24-网络编程入门、UDP协议
1.网络编程入门1.1网络编程概述计算机网络是指将地理位置不同的具有独立功能的多台计算机及其外部设备，通过通信线路连接起来，在网络操作系统，网络管理软件及网络通信协议的管理和协调下，实现资源共享和信息传递的计算机系统网络编程在网络通信协议下，实现网络互连的不同计算机上运行的程序间可以进行数据交换1.2网络编程三要素IP地址要想让网络中的计算机能够互相通信，必须为每台计算机指定一个标识号，通过这个标识号来指定要接收数据的计算机和识别发送的计算机，而IP地址就是这个标识号。也就是设备的标识端
2021-07-26 19:40:51
144
导一波（网页设计自己DIY的课设）.rar
2020-11-26
作业5-穿搭速递首页制作.rar
2020-11-26
作业4-儿童摄影网首页面制作.rar
2020-11-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人