9 阿啄debugIT

尚未进行身份认证

我要认证

1、精通java,及spring,熟练shell脚本,掌握python、scala、C++的编写; 2、熟悉掌握oracle、db2、mysql、PostgreSQL等优化,熟练操作cdh系列的hadoop集群,熟练运用Impala、hive、flume、Kafka、spark等HADOOP组件,掌握dubbo、SpringCloud等微服务开发; 3、熟悉掌握SpringBoot、Spring、Mybatis等框架开发; 4、掌握 java多线程高并发编程; 5、熟悉liunx操作命令,熟练操作Docker容器及镜像,理解掌握openstack原理和操作;

等级
TA的排名 2w+

基于K8S,spark访问hadoop集群的共享层hive表数据历险记

前言由于Spark的抽象设计,我们可以使用第三方资源管理平台调度和管理Spark作业,比如Yarn、Mesos和Kubernetes。基本原理基本原理当我们通过spark-submit将Spark作业提交到Kubernetes集群时,会执行以下流程:Spark在Kubernetes pod中创建Spark driver Driver调用Kubernetes API创建executor pods,executor pods执行作业代码 计算作业结束,executor pods回收并清理

2020-07-07 10:52:14

在CDH集群中,添加新的CDH节点导致数据丢失问题解决记录

前言CDH节点操作,按理是可以动态添加,或减少的,但是在实际操作过程中,却不是这样,因为不管添加或减少数据节点,都会涉及到配置文件的变化,因此在添加或减少过后都需要做服务重启,才能使操作生效,而且没有操作快照,使问题操作或者误操作不能返回,这或许是开源产品的一个不足之处。问题在添加节点时,原数据节点(例:hadoopOld)的数据存储目录(/home/data/hadoop),和新数据节点(hadoopNew)的数据存储目录(/home/data/0)不同。在添加节点过程中,在原数据节点的数据

2020-07-02 16:50:04

启动spark服务,解决端口占用的踩坑过程及使用Phoenix操作hbase数据表

前言在尝试运行sparksql,发现spark服务没有启动,且发现其端口占用!问题处理过程在liunx系统中,搜索以下是否有spark服务?[root@A ~]# ps -ef|grep spark root 16970 25666 0 18:19 pts/2 00:00:00 grep --color=auto spark没有,就去启动spark服务启动spark服务[root@A sbin]# cd /home/software/spark2.2/sbi

2020-07-01 19:14:16

在IT开发工作中,应该如何Debug代码?如何尽快的定位问题?如何尽快的解决问题?

前言在IT开发工作中,写代码或者编程,只是其中的一部分,而更重要的是,自己觉得完美的代码,被测试,或者客户,或者领导怼出一堆BUG,刚刚还没有得意的笑脸,霎时间乌云密布,该怎么办?都是什么啊?这些问题,需求里有吗?怎么不早说?真想骂***……毕竟是自己代码的问题,甩锅是一种解决方案,但是不是最佳方案,最好的,还是从自己的代码找问题,这就避免不了在IDE上,进行反复的Debug代码,去定位问题,去解决问题……把自己洗干净了,摸清问题,再甩锅不迟啊,否者自己就变成了背锅侠……如何Debug代码?

2020-07-01 11:50:25

cloudera-manager-el6-cm5.7部署流程,及踩坑过程和解决方案

概述CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。安装文件准备CDH下载地址:http://a.

2020-06-26 17:19:33

Centos6.4的内核是2.6.32系统内核升级到3.0.88的详细步骤

前言目前centos6.4的内核是2.6.32,对于网络间数据的采集层,如果要使用万兆网卡进行原始信令的采集处理,需要使用netmap对万兆网卡的数据包做采集。而经过测试,netmap依赖的linux内核是3.0.88,所以所有的采集服务器,内核必须安装|升级到3.0.88。步骤新装服务器为centos 6.4的内核是2.6.32,后续10GE采集需要用的netmap模块加载需要升级内核只3.0.88(1) 上传linux_3.0.88.tar至服务器/root/目录下;(2) ...

2020-06-22 19:51:10

后台报com.mysql.cj.jdbc.exceptions.CommunicationsException: Communications link failu问题的解决方案

问题:今早,发现昨天部署的JAVA-WEB服务,不正常启动了,于是查看后台日志,发现11:07:05.358 [Druid-ConnectionPool-Create-1102883776] ERROR com.alibaba.druid.pool.DruidDataSource - create connection holder errorcom.mysql.cj.jdbc.exceptions.CommunicationsException: Communications link f

2020-06-19 11:44:29

在IntelliJ IDEA的IDE,为类自动配置上公司的Copyright信息及配置项目和IDEA全局设置

前言IntelliJ IDEA是Java语言开发的集成环境,IntelliJ在业界被公认为优秀的Java开发工具之一,尤其在智能代码助手、代码自动提示、重构、J2EE支持、Ant、JUnit、CVS整合、代码审查、 创新的GUI设计等方面的功能可以说是超常的。配置1、Copyright信息?用来添加文件时说明版权归属。2、配置选择File->Settings->Appearance & behavior -> Scopes(1)新增一个scope,设置

2020-06-17 11:50:08

Ceph集群升级,存储引擎改用了bluestore,创建wal&db分区,并创建OSD,指定wal&db使用分区作高速缓存

目录前言:DB WAL分区wal & db 的大小问题创建wal & db分区创建OSD其他前言:ceph集群分别有两个HDD和SSD存储池,一般来说,缓存层构建在昂贵/速度更快的SSD磁盘上,这样才能为客户提供更好的I/O性能。在缓存池后端通常是存储层,它由复制或者erasure类型的HDD组成。在这种类型的设置中,客户端将I/O请求提交到缓存池,不管它是一个读或写操作,它的请求都能够立即获得响应。速度更快的缓存层为客户端请求提供服务。一段时间后,缓存.

2020-06-16 18:19:49

OpenStack的Ceph存储支持的CephFS分布式存储系统配置和挂载

1. 前言在研究k8s持久化存储时发现OpenStack的Ceph RBD存储不能满足ReadWriteMany的场景需求,即多个节点同时读写。如下图是k8s支持的存储插件,支持ReadWriteMany的插件包括CephFS、Glusterfs、Quobyte、NFS。NFS不支持分布式存储,首先排除。其他如Gluesterfs、Quobyte等方案没有部署过,需要时间去部署测试,而Ceph存储支持CephFS,所以优先考虑CephFS方案。2.CephFS部署2.1创建mds要运行

2020-06-12 20:08:28

CentOS 7配置Nginx代理服务,搭建视频点播服务器

前言:在 CentOS 7 系统上,基于RMTP 协议或 HTTP 协议,搭建的视频点播服务,能够提供给 VR 设备 ,进行视频在线观看。环境依赖:安装gcc 依赖由于采用安装 Nginx 的方式,所以需要添加模块 nginx-rmtp-moudle,故采用源码编译安装,因此需要 安装gcc 依赖yum -y install gcc gcc-c++安装PCREPCRE(Perl Compatible Regular Expressions) 是一个 Perl 库,包括 per

2020-06-12 17:55:12

centos下NTP服务安全部署,及版本升级配置的过程记录

前言:NTP是网络时间协议(Network Time Protocol),它是用来同步网络中各个计算机的时间的协议。NTP服务一般是集群/服务器搭建之时,就已经安装配置好,但是NTP本身存在对外开放的接口,导致服务被人为恶意攻击的可能。对于软件程序漏洞,一般的做法是升级到高阶版本,即可修复漏洞。下文即NTP服务安装配置与升级的操作手册。NTP服务配置服务器端vim /etc/ntp.conf需要修改以下几项:restrict:表示设置客户端连接到本NTP服务器的权限其规则为:r

2020-06-05 19:33:08

基于注解使用AOP,实现实时刷新Shiro 过滤器链,验证用户每次访问API接口权限

前言:后端接口的调用,必须受到用户权限的限制,对某个用户是否有权限访问该接口,其角色,部门,等都是影响因素,还有一个用户的状态,也是变化的等,需要做到每次调用接口,都要实时刷新一下,该用户是否有权限访问?步骤:从需求出发,既然是需要做到每次调用接口,都要实时刷新一下,该用户是否有权限访问?肯定要用注解!建自定义注解@Target(ElementType.METHOD)@Retention(RetentionPolicy.RUNTIME)public @interface Refre

2020-06-04 18:39:21

安全删除Git远程的Submodule管理子模块,重新加入springcloud子模块

前言:今天提交代码,发现springcloud模块中一个模块,没有真正的提交,登陆gitlab,点击,没有代码提交,一查是Submodule管理子模块,这个是我从另一个git中拉取放到springcloud中,当时没有删除子模块的原带git地址,导致的!删除Git远程的Submodule管理子模块:首先把该子模块备份,然后执行git rm -r --cached AAAAA_businessgit commit -a -m 'remove AAAAA_business submodu

2020-06-02 17:46:44

spring boot配置pom及assembly分离lib和resources及执行jar一起整合到tar.gz包,便于部署,及修改配置资源

前言由于项目中,要求配置太多,又涉及Java调用python等,要根据实际生产环境进行配置,不能像以前直接打个可执行jar完事,故考虑配置pom及assembly分离lib和resources及执行jar,便于部署,及修改配置资源。网上有很多参考资料,鱼龙混杂,反复配置修改,最终成功!工作目录修改pom.xml在pom.xml中,修改build配置项,根据自己的项目实际情况,进行适当修改!<build> <plugins> <plugin&

2020-05-31 14:06:18

安装gitlab及配置等常见问题,及解决对策

前言GitLab 是一个用于仓库管理系统的开源项目,使用Git作为代码管理工具,并在此基础上搭建起来的web服务。安装方法是参考GitLab在GitHub上的Wiki页面,但是安装gitlab,经常遇到各种问题,故梳理记录1. 安装完成后访问,提示502;sudo gitlab-ctl tail 发现unicorn的8080端口被占用,vi /etc/gitlab/gitlab.rb 找到nginx监听端口的配置项,把8080修改为9090然后保存退出#unicorn['p

2020-05-30 19:39:08

centos安装Anaconda3,及conda安装pymysql的填坑记录

前言网上有很多,安装Anaconda3的版本,由于每次安装,都会遇到不同的问题,特此汇总记录一下centos安装Anaconda3,及conda安装pymysql的填坑经历安装准备centos系统,可能本地默认安装的是python2(官方已经终止更新) 已经下载好的Anaconda3-5.3.1-Linux-x86_64.sh(提取码:n49i)备注:windows版的Anaconda3-5.3.1-Windows-x86_64.exe(提取码:t7gg)安装1.把下载后的Anaco

2020-05-30 19:12:47

openstack tacker 把NFV 引入到了openstck,及openstack tacker 安装

前言openstack tacker 把NFV 引入到了openstck。openstack tacker是一个开源的mano项目,可以编排管理nfv。本文介绍如何在ubuntu16上使用devstack安装openstack tacker具体安装步骤:1)准备:最小安装干净的ubuntu16.04 系统,一定要最小安装,别安装其他任何软件包,防止与devstack使用的软件包...

2020-02-02 04:02:08

Linux 安装并优化 postgreSQL9.6.2

1.下载postgresSQL9.6.2wget https://ftp.postgresql.org/pub/source/v9.6.2/postgresql-9.6.2.tar.bz22.解压:tar -jxvf postgresql-9.6.2.tar.bz23.安装插件gcc: 参考文档:http://192.168.6.32:8010/pages/viewp...

2020-03-07 18:38:32

FFmpeg 在视频直播中的使用

背景在MEC边缘计算项目中,验证视频直播需要验证MEC能对直播的视频流进行处理,所以使用了FFmpeg作为视频处理工具。简介FFmpeg的名称来自MPEG视频编码标准,前面的“FF”代表“Fast Forward”,FFmpeg是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。可以轻易地实现多种视频格式之间的相互转换。视频基础术语介绍容器(Contain...

2020-03-23 11:50:45

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 签到达人
    签到达人
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 阅读者勋章Lv3
    阅读者勋章Lv3
    授予在CSDN APP累计阅读博文达到30天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。
  • 分享宗师
    分享宗师
    成功上传21个资源即可获取