3 Alex_81D

尚未进行身份认证

我要认证

修身,赚钱,助人,玩天下

等级
TA的排名 4w+

CentOS7安装CDH6.2.0以及CDH安装过程的坑

Can't open /var/run/cloudera-scm-agent/process/261-hdfs-DATANODE/supervisor.conf: Permission denied.这个问题先处理权限问题,处理完事儿后再试,sduochmod-R777/usr/local/hadoop/logschown-Rcloudera-scm:cloudera-scm/var/*不行再用第二种方法;怀疑是权限问题,上网查询了之后,才知道看起来...

2020-06-03 16:17:23

Spring Boot配置文件放在jar外部

springboot读取外部配置文件的方法,如下优先级:第一种是在执行命令的目录下建config文件夹。(在jar包的同一目录下建config文件夹,执行命令需要在jar包目录下才行),然后把配置文件放到这个文件夹下。第二种是直接把配置文件放到jar包的同级目录。第三种在classpath下建一个config文件夹,然后把配置文件放进去。第四种是在classpath下直接放配置文件。springboot默认是优先读取它本身同级目录下的一个config/application.properties

2020-06-03 15:13:26

svn没有绿色的对勾处理

在java开发过程中,通常会用到版本管理工具svn,可是在安装好checkout文件后经常会发现没有小绿勾,很不自然,以下是几种解决方案,一种不行可以多试几种。第一步:进入任意一个svn checkout下来的文件夹,鼠标右键,依次进入TortoiseSVN---Settings 。如图:第二步:在打开的设置窗口内找到“图标叠加(Icon overlays)”,将状态缓存(...

2020-05-07 13:52:13

js onclick传递 对象

在html onclick中如果参数直接传递一个参数js会报错。如果想要onclick传递参数需要这么做:var obj = {id: 1, name: 'jimc', age: 20};传json对象var jsonObj = '<a onclick="show(' + JSON.stringify(obj).replace(/"/g, '"') + ...

2020-04-03 15:25:55

H2数据库入门

一、H2简介  1、H2是一个用Java开发的嵌入式数据库,它本身只是一个类库,可以直接嵌入到应用项目中。  H2最大的用途在于可以同应用程序打包在一起发布,这样可以非常方便地存储少量结构化数据。  它的另一个用途是用于单元测试。启动速度快,而且可以关闭持久化功能,每一个用例执行完随即还原到初始状态。  H2的第三个用处是作为缓存,作为NoSQL的一个补充。当某些场景下数据模型必须为关系型...

2020-04-03 15:20:05

kafka单机搭建及操作--做个记录

最近一直在搞springboot整合kafka,于是自己搭建了一套单机的kafka环境,以便用于测试环境搭建1.下载解压kafka_2.11-1.1.0.tgz,创建移动到kafka文件夹中wget http://archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgztar -xzvf kafka_2.11-1.1.0.tg...

2020-03-31 13:44:21

Hadoop YARN中内存优化的设置---yarn.scheduler.maximum-allocation-mb

在YARN中,资源管理由ResourceManager和NodeManager共同完成,其中,ResourceManager中的调度器负责资源的分配,而NodeManager则负责资源的供给和隔离。ResourceManager将某个NodeManager上资源分配给任务(这就是所谓的“资源调度”)后,NodeManager需按照要求为任务提供相应的资源,甚至保证这些资源应具有独占性,为任务运行提...

2020-03-31 13:29:14

[Apache软件下载]-- apache各种版本的软件和源码下载网址(包含历史版本)

一、链接:http://archive.apache.org/dist/二、举例1、spark下载:http://archive.apache.org/dist/spark/2、hadoop下载:http://archive.apache.org/dist/hadoop/3、flume下载:http://archive.apache.org/dist/flume/4、kafka...

2020-03-27 10:34:01

Docker基础学习--搭建环境

Docker 是一个开放源代码软件项目,让应用程序布署在软件容器下的工作可以自动化进行,借此在 Linux 操作系统上,提供一个额外的软件抽象层,以及操作系统层虚拟化的自动管理机制。1、Docker安装相对而言,Linux 上安装 Docker 是最容易的,其次是 Mac ,最后是 Windows ,Windows 因此要装的东西比较多,官方也提供了两个不同的安装包,支持不同的 Windo...

2020-03-25 14:15:43

Could not initialize class sun.awt.X11GraphicsEnvironment异常处理

原因导致:经过Google发现很多人也出现同样的问题。从了解了X11GraphicEnvironment这个类的功能入手,一个Java服务器来处理图片的API基本上是需要运行一个X-server以便能使用AWT(Abstract Window Toolkit,抽象窗口工具集)。所以,问题肯定出在启动server时,未能实现X-Server功能。root用户未启动XServer,mm...

2020-03-25 13:34:22

Spark集群无法停止的原因分析和解决(Hadoop集群也有这个问题)

今天想停止spark集群,发现执行stop-all.sh的时候spark的相关进程都无法停止。提示:no org.apache.spark.deploy.master.Master to stopno org.apache.spark.deploy.worker.Worker to stop上网查了一些资料,再翻看了一下stop-all.sh,stop-master.sh,stop-s...

2020-03-25 13:24:03

centos7挂载磁盘-五步走

首先解释一下磁盘挂载的含义:挂载通常是指给磁盘分区(包括被虚拟出来的磁盘分区)分配一个盘符。 第三方软件,如磁盘分区管理软件、虚拟磁盘软件等,通常也附带挂载功能,通俗的说一下,就说给Linux分一块盘,LInux是用目录管理盘符的,跟windows刚好相反:windows是用盘符管理目录的1.查询出增加的硬盘,使用fdisk -l,下图中有影射的是已经存在的2.硬盘分区。新添加...

2020-03-23 11:10:26

oracle或mysql获取分组后每组的前三条数据

mysql :select a.* from(select t1.*,(select count(*)+1 from 表 where 分组字段=t1.分组字段 and 排序字段<t1.排序字段) as group_idfrom 表 t1) awhere a.group_id<=3oracle:SELECT t.* FROM (SELE...

2020-03-16 15:57:58

关于Mysql关键字报错 (`这个符号在mysql中的作用)

`这个符号在mysql中的作用` 是MySQL的转义符,避免和 mysql 的本身的关键字冲突,只要你不在列名、表名中使用mysql的保留字或中文,就不需要转义。所有的数据库都有类似的设置,不过mysql用的是`而已。通常用来说明其中的内容是数据库名、表名、字段名,不是关键字。例如:select from from table;第一个from是字段名,最后的table...

2020-03-13 10:17:31

随笔

pg 语法上和其他数据库还是有些许不同,工作中常用的操作语句分享给大家!-- 建表语句create table ods.ods_b_bill_m (acct_month text,user_id text,city_code text)WITH (appendonly=true,orientation=column,--列存 行存为 rowcompres...

2020-03-12 15:42:54

Linux下分卷Zip文件的合并并解压缩

有时候给项目上发包是分好几个压缩包发过去的,在Linux下怎么去解压合并方法:首先 cat piflow-server-0.9.zip* > piflow-server-0.9.zip #合并为一个zip包然后 unzip piflow-server-0.9.zip #解压zip包就可以了,方法不错,记录保存...

2020-02-12 09:57:25

RDD和DataFrame和DataSet三者间的区别

https://blog.csdn.net/deng624796905/article/details/80216168https://blog.csdn.net/weixin_43087634/article/details/84398036这两篇文章讲的很详细,大神级别的,可以拜读DataFrame多了数据的结构信息,即schema。RDD是分布式的Java对象的集合。DataFr...

2020-01-07 16:27:11

Kafka Consumer深入理解

最近项目需要进行实时读取服务端信息,在网上看到kafka可以解决这个问题,开发完成后对kafka做一个简单的整理,希望可以帮助到刚开始学习kafka 的同学,给自己也做个笔记:首先说一下kafka是个什么东西:kafka是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需...

2019-12-23 08:39:49

java 读取hdfs上的文件内容

用java读取hdfs的文件直接撸代码:package com.nature.base.util;import com.nature.component.process.vo.DebugDataResponse;import org.apache.commons.lang3.StringUtils;import org.apache.hadoop.conf.Configurati...

2019-12-20 16:00:41

关于 工具连接 mysql1045,本地Linux连接正常的问题解决

缘由:一直连接mysql都好好的,结果早上刚到发现mysql 在我本地和程序突然连接不上,报了个1045错误,网上有很多都说是我的用户名密码错误,都不是我想要的答案,因为我在虚拟机里面mysql -uroot -p*** 是OK的,所以排除这种可能,原因:各种查找,说是其他ip地址没有访问这个库的权限,解决办法:进行授权1.如果想root用户使用password从任何主...

2019-12-17 08:55:18

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。