- 博客(42)
- 收藏
- 关注
RSS订阅原创 shell脚本执行jps时：-bash: jps: command not found
shell脚本执行jps时：-bash: jps: command not found
2022-06-29 23:58:33
1014
1
原创 Hbase启动出问题 master.HMaster: Failed to become active master
ERROR [Thread-15] master.HMaster: ***** ABORTING master hadoop001,16000,1606899092790: Unhandled exception. Starting shutdown. *****java.net.ConnectException: Call From hadoop001/172.26.242.16 to hadoop001:8020 failed on connection exception: java.net....
2020-12-02 17:19:52
5011
2
原创 在使用ssh命令的时候出现了找不到JAVA_HOME的问题
在使用ssh命令的时候出现了找不到JAVA_HOME的问题报错Error JAVA_HOME is not set and could not be found通过ssh登陆之后会发现找不到JAVA_HOME ，我的JAVA_HOME是定义在/etc/profile 里面的。研究后发现远程登录和直接登录执行的文件是不一样的：/etc/profile: 当用户登录时,该文件被执行. /etc/bashrc: 当bash shell被打开时,该文件被执行.ssh作为远程登录的方式进入，当然就
2020-11-09 23:48:40
2410
原创 Centos6 升级glibc-2.17，解决Requires: libc.so.6(GLIBC_2.14)(64bit)错误解决方法
出现问题在Centos6安装mysql 5.7.x 系列提示错误如下：[root@VM_0_5_centos mysql]# rpm -ivh mysql-community-libs-5.7.17-1.el7.x86_64.rpmwarning: mysql-community-libs-5.7.17-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEYerror: Failed dependencies:l
2020-10-21 21:12:15
1522
原创 Scala中面向对象编程之trait
1.1将trait作为接口使用Scala中的trait是一种特殊的概念；首先先将trait作为接口使用，此时的trait就与Java中的接口 (interface)非常类似；在trait中可以定义抽象方法，就像抽象类中的抽象方法一样，只要不给出方法的方法体即可；类可以使用extends关键字继承trait，注意，这里不是 implement，而是extends ，在Scala中没有...
2018-11-27 12:38:12
248
原创 Scala中的下划线的应用场景
1 import导入包的所有成员，相当于java的*，而*在scala中可以作为合法的identifier。比java方便的一点是它可以导入某个类下的所有静态成员，java则需要import static。2 占位符：这个用法比较多，表示某一个参数。比如对collection或sequence调用方法map、filter、sortWith、foreach等等表示对每一个元素进行处理，甚至可以使...
2018-11-26 16:26:55
160
原创 SQOOP --hive-import 错误（Sqoop Hive exited with status 88）及解决
导入 mysql 表数据到 HIVE 表 这个需求得分两步来做：先在hive中，创建一个数据表，这个数据表和mysql中的数据表的结构一样。2、表创建完成后，就可以吧mysql表的数据，导入到hive表中了。 第1步：在hive中，创建表bin/sqoop create-hive-table --hive-table test.users --connect jdbc:m...
2018-11-23 21:12:31
2670
原创 HDFS block丢失过多进入安全模式（safe mode）的解决方法
Safe mode is ON. The reported blocks 3 needs additional 2 blocks to reach the threshold 0.9990 of total blocks 5. The number of live datanodes 2 has reached the minimum number 0. Safe mode will be tur...
2018-11-14 15:30:40
7605
3
原创 HAOOP完全分布式
一、 Hadoop介绍** HDFS:分布式存储文件 //用来存数据角色：NameNode和DataNode** YARN：分布式资源调度框架（Hadoop2.x以上才引用） //调用计算机资源来进行操作角色：ResourceManager和NodeManager** MapReduce：分布式数据处理框架 //用来对数据分析** 解压Hadooptar -zxf xx...
2018-11-13 22:15:05
269
原创 Hive安装
2.1 Hive安装地址1．Hive官网地址http://hive.apache.org/2．文档查看地址https://cwiki.apache.org/confluence/display/Hive/GettingStarted3．下载地址http://archive.apache.org/dist/hive/4．github地址https://github.c...
2018-11-12 20:08:55
243
原创 linux中vi/vim常用的快捷键
插入命令i 在光标前插入I 在光标当前行开始插入a 在光标后插入A 在光标当前行末尾插入o 在光标当前行的下一行插入新行O 在光标当前行的上一行插入新行定位命令:set nu 显示行号:set nonu 取消行号gg 到文本的第一行G 到文本的最后一行:n 到文本的第n行替换和取消命令u ...
2018-11-11 19:37:03
822
原创 Linux教程
Linux教程Vmware增强虚拟DHCP服务器 DHCP服务器：（Dynamic Host Configuration Protocol,动态主机配置协议），动态的为虚拟主机分配IP地址虚拟nat设备 NAT服务器：（Network Add...
2018-11-10 20:31:17
524
原创 阿里巴巴编码规范
一、防止NPE，是程序员的基本修养，注意NPE产生的场景 1）、返回类型为基本数据类型，return包装数据类型的对象时，自动拆箱有可能产生NPE 2）、数据库的查询结果可能为null 3）、集合里的元素即使isNotEmpty,取出的数据元素也可能为null 4）、远程调用返回对象时，一律要求进行空指针判断，防止NPE 5) 、对应Session中获取的...
2018-11-06 12:02:03
1688
原创 MapReduce常见错误及解决方案
常见错误及解决方案1）导包容易出错。尤其Text和CombineTextInputFormat。2）Mapper中第一个输入的参数必须是LongWritable或者NullWritable，不可以是IntWritable. 报的错误是类型转换异常。3）java.lang.Exception: java.io.IOException: Illegal partition for 139...
2018-11-04 21:44:05
4303
1
原创 大数据初学者需要看看的Hadoop问题及解决方案
1、namenode无法启动，不报错可能原因是：之前用root启动过，导致current文件夹的权限和所属更改了，需要更改回来解决：current文件夹位于hadoop安装目录同级目录的tmp/dfs/namesecondary2、WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfo...
2018-11-03 21:18:46
355
原创 Redis数据类型
Redis数据类型 一、String key * 查询当前库的所有键 exists <key> 判断某个键是否存在 type <key> 查看键的类型 del <key> 删除某个键 expire <key> <seconds> 为键值设置过期时间，单位秒 ...
2018-11-02 19:15:26
177
原创 Unable to connect to Redis; nested exception is io.lettuce.core.RedisConnectionException: 解决办法
项目开发的过程中，应业务需求将Redis作为缓存服务器整合进了Spring Boot的项目中，在初测试的时候，遇到连接超时的情况，错误信息如下：org.springframework.data.redis.RedisConnectionFailureException: Unable to connect to Redis; nested exception is io.lettuce.co...
2018-11-01 23:00:59
245576
29
原创 linux下安装rabbitmq
1.1.安装Erlang1.1.1.在线安装yum install esl-erlang_17.3-1~centos~6_amd64.rpmyum install esl-erlang-compat-R14B-1.el6.noarch.rpm1.1.2.离线安装上传课前资料中的安装包Erlang安装包：1、esl-erlang-17.3-1.x86_64.rpm...
2018-11-01 10:23:04
1160
1
原创 linux上安装rabbitmq及遇到的问题解决
1、安装完成后启动rabbitmq，但是不幸的是报错了，错误如下：Starting rabbitmq-server: FAILED - check /var/log/rabbitmq/startup_{log, _err}我们打开/var/log/rabbitmq/startup_log看看日志情况：ERROR: node with name "rabbit" already ru...
2018-10-31 22:46:27
2351
1
原创 完全分布式配置步骤
完全分布式：1.准备三台客户机（配置IP，配置主机名...）2.安装jdk，安装hadoop3.配置JAVA_HOME和HADOOP_HOME4.使每个节点上的环境变量生效（source /etc/profile）5.准备分发脚本 xsync6.明确集群的配置7.修改配置文件 **core-site.xml **hadoop-env.sh **hdfs-sit...
2018-10-31 14:30:06
359
原创 最全spring启动器
1. Spring Boot application startersspring-boot-starter-thymeleaf使用Thymeleaf视图构建MVC Web应用程序spring-boot-starter-ws使用Spring Web服务。1.4不推荐使用，推荐使用spring-boot-starter-web-servicesspring-boot-starte...
2018-10-30 15:53:48
515
原创 最全状态码
100—Continue —客户必须继续发出请求101—Switching Protocols—客户要求服务器根据请求转换HTTP协议版本200—OK —交易成功201—Created —提示知道新文件的URL202—Accepted —接受和处理、但处理未完成203—Non-Authoriative Information —返回信息不确定或不完整204—No Content —请求...
2018-10-30 15:52:08
253
原创 大数据面试题目第二部分
简要描述如何安装配置apache的一个开源Hadoop，只描述即可，无需列出具体步骤，列出具体步骤更好。准备三台客户机（配置IP，配置主机名…）安装jdk，安装hadoop配置JAVA_HOME和HADOOP_HOME使每个节点上的环境变量生效（source /etc/profile）准备分发脚本 xsynca) **在/user/atguigu/bin下创建脚本：xsync明...
2018-10-28 17:11:17
460
原创 大数据面试题目第一部分
一 LinuxLinux常用命令CentOS查看版本的命令linux 查看端口调用linux命令 查看内存 磁盘 io 端口 进程使用Linux命令查询file1里面空行的所在行号有文件chengji.txt内容如下:张三 40李四 50王五 60请使用Linux命令计算第二列的和并输出在Linux环境下有文件/home/dim_city.txt如何加载dim_city外...
2018-10-28 17:08:19
434
原创 Centos7常用命令
#查看服务状态systemctl status NetworkManager / network#停止服务systemctl stop NetworkManager#启动服务systemctl start NetworkManager#禁止服务开机启动systemctl disable NetworkManager#设置服务开机启动systemctl enable Network...
2018-10-24 17:24:49
110
原创 安装lasticsearch 6.3.0常见错误
lasticsearch 6.3.0 安装过程中遇到了一些问题，通过查找资料几乎都解决掉了，这里简单记录一下 ，供以后查阅参考，也希望可以帮助遇到同样问题的你。一、错误1：内核过低我们使用的是centos6，其linux内核版本为2.6。而Elasticsearch的插件要求至少3.5以上版本。不过没关系，我们禁用这个插件即可。修改elasticsearch.yml文件，在最下面添加如下配...
2018-10-23 16:38:29
585
原创 什么是Hadoop
hadoop中有3个核心组件：分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上分布式运算编程框架：MAPREDUCE —— 实现在很多机器上分布式并行运算分布式资源调度平台：YARN —— 帮用户调度大量的mapreduce程序，并合理分配运算资源3、hdfs整体运行机制hdfs：分布式文件系统hdfs有着文件系统共同的特征：1、有目录结构，顶层目录是： /2...
2018-10-19 12:00:10
132
原创 什么是大数据
基本概念《数据处理》在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！处理海量数据的核心技术：海量数据存储：分布式海量数据运算：分布式这些核心技术的实现是不需要用户从零开始造轮子的存储和运算，都已经有大量的成熟的框架...
2018-10-19 11:58:06
130
原创 Linux三种网络模式
Host-OnlyHost-only 仅主机模式1，虚拟机网络设置配置虚拟机的网络设置为hostonly2，虚拟软件网络设置选择vmware - 编辑 – 虚拟机网络编辑器3,配置虚拟软件中vmnet1的IP为VMnet1选择一个网段，不修改0号ip地址。4,查看win7 VMnet1网络此时，win7机器上的vmware vmnet1网络已经改变这个IP地址其实...
2018-10-19 11:54:07
610
原创 乐优商场开发第九天笔记
0.学习目标了解商品规格数据结构设计思路实现商品规格查询了解SPU和SKU数据结构设计思路实现商品查询了解商品新增的页面实现独立编写商品新增后台功能1.商品规格数据结构乐优商城是一个全品类的电商网站，因此商品的种类繁多，每一件商品，其属性又有差别。为了更准确描述商品及细分差别，抽象出两个概念：SPU和SKU，了解一下：1.1.SPU和SKUSPU：Standard Prod...
2018-10-19 11:46:24
1162
2
原创 乐优商场开发第八天笔记
0.学习目标 独立实现品牌新增 实现图片上传 了解FastDFS的安装 使用FastDFS客户端实现上传 1.品牌的新增昨天我们完成了品牌的查询，接下来就是新增功能。1.1.页面实现1.1.1.初步编写弹窗当我们点击新增按钮，应该出现一个弹窗，然后在弹窗中出现一个表格，我们就可以填写品牌信息了。我们查看Vuetify官网，弹窗是如何...
2018-10-19 11:44:04
868
原创 乐优商场开发第七天笔记
0.学习目标 使用资料搭建后台系统 会使用nginx进行反向代理 实现商品分类查询功能 掌握cors解决跨域 实现品牌查询功能 1.使用域名访问本地项目1.1.统一环境我们现在访问页面使用的是：http://localhost:9001有没有什么问题？实际开发中，会有不同的环境： 开发环境：自己的电脑 测试环境...
2018-10-12 16:43:35
1171
1
原创 乐优商场开发第六天笔记
0.学习目标 使用资料搭建后台系统 会使用nginx进行反向代理 实现商品分类查询功能 掌握cors解决跨域 实现品牌查询功能 1.搭建后台管理前端1.1.导入已有资源后台项目相对复杂，为了有利于教学，我们不再从0搭建项目，而是直接使用课前资料中给大家准备好的源码：我们解压缩，放到工作目录中： 然后在Intelli...
2018-10-12 16:42:10
2008
原创 乐优商场开发第五天笔记
学习目标 会创建Vue实例，知道Vue的常见属性 会使用Vue的生命周期的钩子函数 会使用vue常见指令 会使用vue计算属性和watch监控 会编写Vue组件 掌握组件间通信 了解vue-router使用 了解webpack使用 会使用vue-cli搭建项目 0.前言前几天我们已经对后端的技术栈有...
2018-10-12 16:40:54
371
原创 乐优商场开发第四天笔记
0.学习目标 了解电商行业 了解乐优商城项目结构 能独立搭建项目基本框架 能参考使用ES6的新语法 1.了解电商行业学习电商项目，自然要先了解这个行业，所以我们首先来聊聊电商行业 1.1.项目分类主要从需求方、盈利模式、技术侧重点这三个方面来看它们的不同1.1.1.传统项目各种企业里面用的管理系统（ERP、HR、OA、CRM、物...
2018-10-12 16:39:50
1676
原创 乐优商场开发第三天笔记
0.学习目标 会配置Hystix熔断 会使用Feign进行远程调用 能独立搭建Zuul网关 能编写Zuul的拦截器 1.Hystrix1.1.简介Hystix，即熔断器。主页：https://github.com/Netflix/Hystrix/ Hystix是Netflix开源的一个延迟和容错库，用于隔离访问远程服务、第三方库...
2018-10-12 16:38:58
335
1
原创 乐优商场开发第二天笔记
0.学习目标 了解系统架构的演变 了解RPC与Http的区别 掌握HttpClient的简单使用 知道什么是SpringCloud 独立搭建Eureka注册中心 独立配置Robbin负载均衡 1.系统架构演变随着互联网的发展，网站应用的规模不断扩大。需求的激增，带来的是技术上的压力。系统架构也因此也不断的演进、升级、迭代。从单一...
2018-10-12 16:37:15
717
2
原创 乐优商场开发第一天笔记
0.学习目标 了解SpringBoot的作用 掌握java配置的方式 了解SpringBoot自动配置原理 掌握SpringBoot的基本使用 了解Thymeleaf的基本使用 1. 了解SpringBoot在这一部分，我们主要了解以下3个问题： 什么是SpringBoot 为什么要学习SpringBoot Sp...
2018-10-12 16:36:18
959
1
原创 @EnableDiscoveryClient与@EnableEurekaClient区别
1，@EnableDiscoveryClient注解是基于spring-cloud-commons依赖，并且在classpath中实现； 2，@EnableEurekaClient注解是基于spring-cloud-netflix依赖，只能为eureka作用；其实用更简单的话来说，就是如果选用的注册中心是eureka，那么就推荐@EnableEurekaClient，如果是其他的注册中心，那...
2018-10-10 20:14:28
5573
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人