- 博客(33)
- 收藏
- 关注
RSS订阅原创 python赋值、浅拷贝和深拷贝的区别
python的三种赋值方式1、直接赋值2、浅拷贝3、深拷贝直接赋值直接赋值，就是对对象的引用，复制的是对象的地址值，名字不同，操作的还是同一个对象。a = [[1,2],[3,4],5]b = aprint(b) # [[1,2],[3,4],5]浅拷贝浅拷贝，就是拷贝的是父对象，不会拷贝到内部的子对象(对象中保存的是地址值，这里直接拷贝地址值，没有递归拷贝)（b=a[:]也是浅拷贝）import copya=[1,2,[3,4],5]b=copy.copy(a)print(b
2021-02-25 11:11:31
170
原创 zsh启动hadoop时bash错误
近期将安装了hadoop的机器shell切换为zsh，启动时hdfs时报错，如图所示：网上查了一些资料，发现这句判断是在$HADOOP_HOME/libexec/hadoop-config.sh文件下，判断的是系统login-shell的版本，如下图所示：但是如果把这段判断注释掉,又会报如下的错误，学时浅薄，不知道怎么解决，有大佬知道评论区见：修改login-shell为bash后，问题解决，即使/bin/zsh到zsh下，也不报错。在网上也看到了其他的解决办法，新建一个用户，并赋予启动ha
2021-01-20 10:01:31
349
原创 centos7下部署mysql
1.先检查系统是否装有mysqlrpm -qa | grep mysql这里返回空值，说明没有安装2.下载mysql的repo源# wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm安装mysql-community-release-el7-5.noarch.rpm包# sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm安装这个包后，会获得两个my
2020-12-28 16:39:21
115
原创 ubuntu GUI中创建启动器快捷方式
当我开始使用ubuntu系统时，发现对于一些应用，总是需要到指定目录下打开终端执行文件以启动应用，这很麻烦，在这里，通过创建.desktop文件，可以在启动台启动应用程序。# 转到/usr/share/applications目录下cd /usr/share/applications# 创建文件sudo gedit idea.sh# 在文件中输入以下内容[Desktop Entry]Encoding=UTF-8Name=idea %桌面快捷方式的名称Comment=idea %注记Exe
2020-12-20 22:23:06
213
原创 ubuntu下网络时间同步
装完ubuntu后设置系统时间，发现系统时间总是与网络时间不同步解决办法：1.安装ntpdate工具sudo apt-get install ntpdate2.将系统时间与网络时间同步sudo ntpdate cn.pool.ntp.org# cn.pool.ntp.org是位于中国的公共ntp服务器# 若报出no server suitable for synchronization found，等待5分钟后再试一次3.将时间写入硬件sudo hwclock --systohc4
2020-12-20 01:48:21
577
1
原创 centos7修改主机名hostname
在 Linux 中允许设置三类主机名，它们的细节如下：静态： 这是静态主机名，由系统管理员添加。瞬时/动态： 这个由 DHCP 或者 DNS 服务器在运行时赋予。易读形式： 它可以由系统管理员赋予。这个是自由形式的主机名，以一种易读形式来表示服务器，例如 “JBOSS UAT Server” 这样的名字方法1： 通过系统自带的hostnamectlhostnamectl是系统自带的原生命令，他可以立刻改变主机名而无需重启生效# 当直接使用hostnamectl命令或如下命令 可以查询系统的主
2020-12-16 01:02:14
1164
原创 linux网络配置-VMware
对安装好的VMware进行网络配置，方便虚拟机连接网络。推荐使用NAT(网络地址转换)模式，需要宿主机的Windows和虚拟机的Linux能够进行网络连接，同时虚拟机的Linux可以通过宿主机的Windows进入互联网。网络配置”编辑“->”虚拟机网络编辑器“，对虚拟机进行网络配置选择NAT模式，更改虚拟机的子网IP地址单机“NAT设置”，查看网关设置查看Windows环境下的vmnet8网络配置修改IP地址配置修改网络IP为静态地址，避免IP地址经常变化，从而方便节点服务器间
2020-12-16 00:33:34
185
原创 spark环境搭建，en
准备首先，安装Spark需要检查是否安装jdk下载spark安装包 https://archive.apache.org/dist/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.7.tgzSpark安装不一定需要安装Hadoop，若已搭建Hadoop集群，建议下载对应版本Hadoop解压安装包# 解压Spark安装包到指定路径tar -zxf spark-2.2.0-bin-hadoop2.7.tgz -C /opt/softs# 为方便使用，可建立
2020-08-03 15:26:15
151
原创 数组、集合函数整理。。。
Array数组是一种不变的，可索引的数据集合val arr = Array(1,2,3,4) //声明一个数组对象//arr: Array[Int] = Array(1, 2, 3, 4)val first = arr(0)//读取第一个元素arr(3)=100//第三个元素val newarr = arr.map(_ * 2) //所有元素乘2println(newarr.mkString(",")) //打印数组，结果为：2,4,6,200++合并集合，并返回一个新的数组，新数组包含
2020-08-02 18:42:05
490
原创 scala学习笔记(隐式转换)
隐式函数使用implicit关键字声明的带有单个参数的函数，会自动运用，将值从一种类型转换为另一种类型implicit def fun(num:Double):Int=num.toInt+1var num:Int = 3.5//输出4.5注意：隐式转化与函数名无关，只与参数类型和返回值类型有关隐式函数可以有多个，但必须保证当前域只有一个被识别隐式值将某个形参变量标记为implicit，当编译器在方法省略隐式参数时，搜索域中的隐式值作为缺省参数implicit val str1:St
2020-07-30 19:02:37
105
原创 scala学习笔记(函数式编程1)
函数式编程基础 函数定义/声明 函数运行机制 递归//难点 [最短路径，邮差问题，迷宫问题, 回溯] 过程 惰性函数和异常函数式编程高级 值函数(函数字面量) 高阶函数 闭包 应用函数 柯里化函数，抽象控制…函数返回值问题scala函数可以根据函数体最后一行代码自动推断出返回值类型(return 可以省略)def fun (n1:Int):Int = n1在return省略的情况下，返回值类型也可以省略def fun (n1:Int)=n1如果函数中已经明确使用了return，返回值类型必须
2020-07-30 17:53:01
145
原创 scala学习笔记(oop)
类与对象定义类scala 语法中，类并不声明为 public，所有这些类都具有公有可见性(即默认就是 public)类的属性Scala 中声明一个属性,必须显示的初始化，然后根据初始化数据的类型自动推断，属性类型可 以省略(这点和 Java 不同)。如果赋值为 null,则一定要加类型，因为不加类型, 那么该属性的类型就是Null 类型如果在定义属性时，暂时不赋值，也可以使用符号_(下划线)，让系统分配默认值创建对象scala 在声明对象变量时，可以根据创建对象的类型自动推断，所以类型声明可
2020-07-30 17:34:34
157
原创 scala学习笔记（1初识）
为什么学习Scala？因为Spark是使用Spark编写的，学习Spark有助于更好的学习Scala而Spark是大数据的重要内容，大数据需要使用SparkScala环境配置下载Scala安装包：https://www.scala-lang.org/download[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5OsoYvZc-1596024135950)(…/…/…/…/Pictures/Typora/image-20200721145902016.png)].
2020-07-29 20:03:23
224
原创 linux常用的命令(初学有点用)
Linux常用命令（系统：CentOS7）目录操作结构：/系统根目录、~当前用户目录切换目录：清屏 ctrl+l、clear查看当前所在目录 pwd查看当前目录下的内容：ls:-a -i -l文件夹操作增：mkdir 目录路径删：rmdir 目录路径改：mv 原路径 新路径文件操作：增：touch 文件路径删：rm 文件路径删库跑路必备技能：rm -rf（无二次确认）改： 移动文件或修改文件名：mv 原路径 新路径 复制：cp
2020-07-23 14:07:16
95
原创 Hive中关于DML的一些事儿
CTE 和嵌套查询CTE(Common Table Express)-- CTE语法with t1 as (select ...)select * from t1；CTE嵌套写语句不需要考虑顺序嵌套查询select * from(select ...) [as] t1;joinhive仅支持等值查询问：join有几种连接方式？内连接，外连接，交叉连接，等值连接内连接(inner join)-- 左右两表都存在于连接条件相匹配的数据保留select * from e
2020-07-23 14:05:04
92
原创 Hive初体验(hello hive)
什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序Hive处理的数据存储在HDFSHive分析数据底层的实现是MapReduce执行程序运行在Yarn上Hive的优缺点优点操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。避免了去写MapReduce，减少开发人员的学习成本。
2020-07-23 14:02:55
126
原创 Hive内置函数大全（再背几遍）
数学函数round(double a) 返回对a四舍五入的bigint值round(double a,int d) 返回四舍五入值，保留d位小数bround(double a) 银行家舍入法(1-4舍,6-9进,5:前位数是偶，舍，前位数是奇，进)bround(double a,int d) 银行家舍入法，保留d位小数floor(double a) 向下取整 (取左值)ceil(double a),ceiling(double a)向上取整(取右值)rand()/rand(i
2020-07-23 13:55:30
1566
原创 phoenix安装使用(好用的呢)
Phoenix简介构建在HBase上的SQL层使用标准SQL在HBase中管理数据使用JDBC来创建表，插入数据、对HBase数据进行查询Phoenix JDBC Driver容易嵌入到支持JDBC的程序中Phoenix无法代替RDBMS缺乏完整性约束，很多领域尚不成熟作用 :使Hbase更易用Phoenix安装使用下载安装Phoenix拷贝相关Jar包到RegionServer的HBase的lib目录cd apache-phoenix-4.14.0-cdh5.14.2-bin/
2020-07-23 13:53:23
81
原创 xmind 8安装(亲测有效)
官网下载安装客户端并安装Win：http://dl2.xmind.cn/xmind-8-update4-windows.exeMac：http://dl2.xmind.cn/xmind-8-update4-macosx.dmg下载补丁网盘地址：https://pan.baidu.com/s/17Xm9JO85B1E9IrmhmibdMA提取码：bp6m将补丁复制到安装路径的根目录 （根据自己需要选择panfu）Win：如：C:\Program Files (x86)\XMindMac：应用程
2020-07-23 12:56:03
1831
原创 Sqoop 学习笔记(我也刚学)
Sqoop环境搭建下载并解压下载地址:http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/上传安装包到虚拟机解压安装tar -zxf sqoop-1.4.6-cdh5.14.2.tar.gz -C /opt/softs/创建软链接ln -s sqoop-1.4.6-cdh5.14.2.tar.gz sqoop配置环境变量vi /etc/profile ...修改配置文件sqoop-env.shcd /opt/softs/sqoop/conf #进
2020-07-23 11:22:40
92
原创 Hbase学习笔记(我太难了)
什么是Hbase？HBase是一个高可靠性，高性能，面向列，可伸缩式的分布式存储系统HBase的目标是存储并处理大型的数据(具体说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据)Hbase特点海量存储、列式存储、极易扩展( 基于上层处理能力的扩展(RegionServer) 基于存储的扩展(HDFS) 通过横向添加RegionServer机器，进行水平扩展，进行Hbase上层处理能力，即提升Hbase服务更多Region的能力)、高并发(指并发情况下，单个i
2020-07-21 20:15:41
241
原创 学习笔记:concat(),concat_ws(),group_concat()
concat()拼接字符串，若任何一个参数为空，则返回nullconcat_ws()concat_ws(separator,str1,str2),是concat()的特殊形式，第一个参数为其他参数见的分隔符，若separator=null,这函数返回nullconcat_ws函数会忽略所有的null值，但不会忽略空字符串group_concat()用于将分组中的值连接组合+----------+----+--------------------------+| locus | id |
2020-07-14 10:50:58
261
原创 Hadoop+zookeeper+Hbase+Hive(ZooKeeper+Hbase)
文章目录zookeeper修改配置文件创建datadir目录启动zookeeperHbase配置Hbase启动Hbasezookeeper修改配置文件vi /zookeeper/conf.cfg------------------------------------------# The number of milliseconds of each ticktickTime=2000maxClientCnxns=0# The number of ticks that the initial
2020-07-06 10:05:17
223
原创 Hadoop+zookeeper+Hbase+Hive(hadoop环境搭建)
文章目录准备linux环境搭建及jdk安装配置hadoop集群搭建单机版hadoop配置环境变量修改主机名和主机列表配置免密登录`/opt/hadoop260/etc/hadoop`目录下配置准备hadoop-2.6.0-cdh5.14.2.tar.gzhadoop-native-64-2.6.0.tarhbase-1.2.0-cdh5.14.2.tar.gzhive-1.1.0-cdh5.14.2.tar.gzjdk-8u221-linux-x64.tar.gzzookeeper-3.4.6
2020-07-06 10:02:47
769
原创 学习笔记-MapReduce过程
MapReduce过程最外层的黑框是一个机器的边界map task读文件InputFormat(主要是TextInputFormat)–>RecorderReader–>read()一次读一行，返回<key,value>//InputFormat抽象类,只有两个抽象方法public abstract List<InputSplit> getSplits(JobContext) throws IOException,InterruptedException
2020-07-06 02:09:44
75
原创 Linux搭建Hadoop环境
文章目录准备工作开始安装配置hadoop配置etc/hadoop目录下文件hadoop环境变量配置格式化HDFS启动Hadoop准备工作搭建好jdk环境的linux虚拟机：Linux安装jdkhadoop安装包：hadoop-2.6.0-cdh5.14.2.tar.gz 提取码：20n8开始安装把hadoop安装包导入虚拟机解压文件到/opt目录下，修改文件名为hadoop修改主机名hostname和主机列表hosts配置hadoop配置etc/hadoop目录下文件进入et
2020-06-26 14:47:08
145
原创 VMware搭建linux虚拟机(面向小白)
VMware搭建linux虚拟机文件–>新建虚拟机–下一步稍后安装操作系统–>下一步Linux–>CentOS 7 64位–>下一步修改虚拟机名称和文件所在位置–>下一步设置最大磁盘大小和磁盘存储形式–>下一步自定义硬件–>修改硬件配置(内存、CD/DVD、网络适配器…)–>关闭–>完成启动虚拟机–>Install CentOS 7设置语言为English–>continue设置时间、磁盘、网络(记住33
2020-06-25 20:36:42
353
原创 linux系统ELK集群的搭建
这篇博客是接着上一篇Linux系统安装配置dlk（面向小白）写的，具体的操作步骤也是接着上一篇完成。文章目录一、复制虚拟机二、修改主机名和主机列表一、复制虚拟机上篇博客中，已经配置完成了ELK，复制该虚拟机（√选重新初始化。。。）虚拟机复制完成二、修改主机名和主机列表...
2020-06-22 19:29:59
165
原创 Linux系统安装配置dlk（面向小白）
文章目录安装前需要准备开始安装安装完成，配置ELK配置EShead-master及node配置kibana安装配置安装前需要准备elasticsearch-6.2.2.tar.gzelasticsearch-head-master.zipkibana-6.2.2-linux-x86_64.tar.gzlogstash-6.2.2.tar.gznode-v8.9.1-linux-x64.tar.gz这里提供下网盘链接：网盘地址，提取码：unau安装dlk需要在linux系统配置jdk,jdk安
2020-06-19 16:39:18
619
原创 jdk安装及环境配置(面向小白)
jdk安装及环境配置下载jdk:环境变量配置下载jdk:网盘下载：jdk百度网盘下载地址 提取码：s9fu官网下载：jdk官网下载地址 下载完成后，安装。环境变量配置步骤：我的电脑（此电脑）–>属性–>高级系统设置–>环境变量系统变量里设置:新建JAVA_HOME: C:\program Fils\Java\jdk1.8.0_191(jdk的安装路径）新建CLASSPATH: ;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tool
2020-06-17 12:29:09
298
原创 Linux基础入门（系统：CentOS7）
Linux常用命令（系统：CentOS7）目录操作结构：/系统根目录、~当前用户目录切换目录：清屏 ctrl+l、clear查看当前所在目录 pwd查看当前目录下的内容：ls:-a -i -l文件夹操作vi编辑器查看模式、编辑模式、尾行模式vi 文件名 进入文本编辑模式（查看模式）由查看模式进入编辑模式：a在光标后面插入、A在光标所在行末插入i在光标位置插入、I在光标所在行首插入o在光标所在行下方插入、O在上方插入退出编辑模式：ESC键由查看模式进入尾行模式：输入
2020-06-16 20:09:22
442
原创 利用mybatis框架开发图书管理类项目
利用mybatis框架开发图书管理类项目图书馆里类项目需要实现的功能可能需要使用的表使用mysql建表语句完成建表操作：使用idea工具编程完成项目开发此项目，主要使用的idea、sqlyog等工具，数据库使用mysql，服务器采用tomcat，采用mybatis编程框架。图书馆里类项目需要实现的功能展示所有图书(根据条件展示图书：图书名、借书人名 模糊查询、类型查询、购买历史查询、按滞纳金从高到低查询)图书进货:购书、还书购书登录可能需要使用的表图书表：book_id | book_
2020-06-16 03:52:08
274
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人