new个对象先-CSDN博客

原创 SpringBoot项目中使用MultipartFile来上传文件(包含多文件)

在实际项目中,会有通过前端上传单个文件,甚至多个文件的请求.本篇博客就会介绍后端如何实现这种类型的接口,以及如何使用postman去调用文章目录一. SpringBoot项目中使用MultipartFile上传单文件1.1 场景一: 上传单个文件,不包含其它参数1.1.1 后端实现, 在Controller层添加如下代码1.1.2 postman接口调用1.2 场景二: 上传单个文件,包含其它参数1.2.1 java后台代码1.2.2 postman接口调用1.3 场景三: 上传单个文件,包含其它请求实

2022-04-17 12:20:23 10974 3

原创 SpringBoot项目中使用feign调用远程http接口(超详细文档)

参考文档:Feign远程调用原理在实际生产需要中,经常会遇到调用远程http接口的场景.举例: 比如我的Springboot项目会调用另一个Springboot项目的接口, 或者调用一些第三方服务的Restful api.采用常规的方案，需要配置请求head、body，然后才能发起请求。获得响应体后，还需解析等操作，十分繁琐。Feign是一个http请求调用的轻量级框架，可以以Java接口注解的方式调用Http请求。Feign通过处理注解，将请求模板化，当实际调用的时候，传入参数，根据参数再应用

2022-04-16 12:48:18 14105 3

原创 k8s学习笔记(五)

注意: 本学习笔记内容来源于黑马k8s视频,视频链接如下:黑马k8s视频记录的目的是在工作中应用到相关知识能够迅速检索.本篇是该系列的第五篇,其它访问链接如下:k8s学习笔记(一)文章目录第八章. 数据存储8.1 基本存储8.1.1 EmptyDir8.1.2 HostPath8.1.3 NFS8.2 高级存储8.2.1 PV8.2.2 PVC8.2.3 生命周期8.3 配置存储8.3.1 ConfigMap8.3.2 Secret9. 安全认证9.1 访问控制概述9.2 认证管理9.3 授权管

2022-02-21 18:01:38 415

原创 k8s学习笔记(四)

注意: 本学习笔记内容来源于黑马k8s视频,视频链接如下:黑马k8s视频记录的目的是在工作中应用到相关知识能够迅速检索.本篇是该系列的第四篇,其它访问链接如下:k8s学习笔记(一)文章目录第七章 Service详解7.1 Service介绍7.2 Service类型7.3 Service使用7.3.1 实验环境准备7.3.2 ClusterIP类型的Service7.3.3 HeadLiness类型的Service7.3.4 NodePort类型的Service7.3.5 LoadBalance

2022-02-19 10:30:01 283

原创 k8s学习笔记(三)

注意: 本学习笔记内容来源于黑马k8s视频,视频链接如下:黑马k8s视频记录的目的是在工作中应用到相关知识能够迅速检索.文章目录第六章 Pod控制器详解6.1 Pod控制器介绍6.2 ReplicaSet(RS)6.3 Deployment(Deploy)6.4 Horizontal Pod Autoscaler(HPA)6.5 DaemonSet(DS)6.6 Job6.7 CronJob(CJ)第六章 Pod控制器详解6.1 Pod控制器介绍Pod是kubernetes的最小管理单元,在K

2022-02-15 18:07:06 869

原创 k8s学习笔记(二)

注意: 本学习笔记内容来源于黑马k8s视频,视频链接如下:黑马k8s视频记录的目的是在工作中应用到相关知识能够迅速检索.文章目录第四章实战入门4.1 Namespace4.2 Pod4.3 Label4.4 Deployment4.5 Service第五章 Pod详解5.1 Pod介绍5.1.1 Pod结构5.1.2 Pod定义5.2 Pod配置5.2.1 基本配置5.2.2 镜像拉取5.2.3 启动命令5.2.4 环境变量5.2.5 端口设置5.2.6 资源配额5.3 Pod声明周期5.3.1

2022-02-14 19:39:11 634

原创 k8s学习笔记(一)

注意: 本学习笔记内容来源于黑马k8s视频,视频链接如下:黑马k8s视频记录的目的是在工作中应用到相关知识能够迅速检索.文章目录第一章 Kubernetes介绍1.1 部署方式的演进1.2 kubernetes简介1.3 Kubernetes组件1.4 Kubernetes概念第二章集群环境搭建2.1 环境规划2.1.1 集群类型安装方式:2.2 环境搭建2.2.1 主机安装(略)2.2.2 环境初始化2.2.2.1 主机名解析2.2.2.2 时间同步2.2.2.3 禁用selinux2.2.2.

2022-02-13 09:22:51 481

原创 linux自动清理磁盘日志的一种方案

文章目录一. 起因二. 方案三.代码四. 执行一. 起因集群环境,挂载到/目录下的磁盘空间普遍较小.即使在有监控的情况下,也很容易出现磁盘空间占用过高.甚至磁盘写满导致节点故障的场景:No space left on device如下图:主要痛点有两点:磁盘问题发现处理往往不够及时,风险很大人工清理磁盘费时费力,应该把精力投入到更有意义的事情上去因此决定开发一套自动清理磁盘空间的机制,减少运维操作,并降低生产风险二. 方案经分析发现:核心数据盘空间足够,只有挂载根目录为/的磁

2022-01-06 17:37:32 2019

原创使用Python爬取cloudera资源到本地

文章目录一.前言:二.代码实现2.1 Python代码2.2 脚本执行三. 资源使用3.1 搭建httpd服务3.2 配置本地yum源一.前言:据Cloudera官方声明:2021年1月31日开始，所有Cloudera软件都需要有效的订阅进行访问。包括：包含Apache Hadoop的 Cloudera 发行版 (CDH)，Hortonworks Data Platform (HDP)，Data Flow (HDF / CDF) 和Cloudera Data Science Workbench (C

2021-12-11 13:41:35 517 2

原创 Airflow2配置基于OAUTH2协议的Microsoft Azure SSO详细文档

文章目录方案选型Airflow配置ssl登录Azure配置Airflow代理参考文档:通过 Azure AD 应用程序代理远程访问本地应用程序配置原因:客户要求为EMR集群核心组件配置基于Microsoft Azure的SSO,通过 Azure AD 应用程序代理远程访问EMR集群本地应用程序客户提出该要求主要出于两点考虑:安全性客户和我们是跨国的,我们都需要访问EMR集群里的本地应用程序,如果不采用类似Azure AD这种应用程序代理的方式,可能需要开通公网代理访问,这样风险极大.便捷性

2021-12-08 20:41:56 1655

原创在不升级Ambari前提下,升级HDP spark版本至spark2.4.8

文章目录零. 方案选择一. 2.4.8版本安装二. spark2版本升级2.0 升级前提2.1 版本升级相关脚本三. spark2升级后遇到的问题及解决方案

2021-12-07 20:07:59 2086 5

原创 Airflow2.x分布式部署dag执行失败日志无法正常获取问题

在上一篇博客中,我总结了使用Airflow过程中踩过的坑.和一些解决方案,链接如下:Airflow2.1.1实战中踩过的坑总结!!篇幅所限,把该博客的第11个问题单独整理出来11. 分布式部署场景下,dag执行失败,日志无法正常查看的问题文章目录一. 问题详细表现1.1 Airflow必要环境信息1.2 报错表现二. 问题排查与处理2.1 初步分析源码,大致定位问题2.2 确定解决方向2.3 单节点和分布式执行对比三. 进一步排查测试四.经验与教训思维固化不够细心五. 吐槽一. 问题详细表现1

2021-08-25 21:28:08 4379 5

原创 Airflow2.1.1实战中踩过的坑总结!!

从初次接触Airflow到正式使用已经过取一个月,对Airflow也有了一个最基本的了解.使用过程中,踩了不少坑.同时根据实际使用情况对airflow做了一些优化,现在把踩过的坑分享给大家,共勉! 博客列举的所有问题均是自己亲身经历,如有不严谨或者不正确的地方,烦请指出.遇到什么问题或者有什么心得也欢迎与我交流!注: 本博客使用的Airflow版本为2.1.1,细节之处可能与其它版本有所出入!文章目录一.

2021-08-18 20:45:52 4267 2

原创 Airflow2.1.1超详细安装文档

参考文档:airflow2.0.2分布式安装文档ariflow官方文档linux下安装MySQL5.7及遇到的问题总结文章目录一. 环境准备1.1 安装环境及版本1.2 安装环境初始化安装erlang安装RabbitMQMysql安装python3.7.5(重要)确保安装必要软件(重要)二. 安装Airflow(重要)2.1 配置 airflow sudo权限2.2 设置Airflow环境变量2.3 安装airflow2.4 配置ariflow2.5 启动airflow集群2.6 登录webui查看

2021-07-18 11:12:36 2842 3

原创 Linux配置MySQL多实例主从同步

注: 本文档主从同步配置是基于多实例的Mysql本文档内容基于以下两篇博客:linux下安装MySQL5.7及遇到的问题总结linux下配置mysql多实例文档目录:一. 主从同步简介二. 配置MySQL多实例主从同步2.1 机器配置2.2 修改主服务器配置2.3 修改从服务器配置2.4 开启主从同步并验证三. Linux配置MySQL多实例主从同步遇到的问题3.1 Fatal error: The slave I/O thread stops because master a

2021-04-25 09:22:24 220

原创 linux下配置mysql多实例

文档目录一. MySQL安装二. Linux下配置MySQL多实例2.1 创建相关目录并赋权2.2 修改配置文件2.3 初始化并启动指定实例2.4 修改密码并开放远程连接2.5 远程连接测试2.6 多实例启停脚本一. MySQL安装MySQL安装可参考该博客:linux下安装MySQL5.7及遇到的问题总结二. Linux下配置MySQL多实例注意: 该部分需要在(一)的基础上进行我的多实例目录规划如下:路径作用绝对位置mysql安装路径/op

2021-04-23 11:19:32 453

原创 Ambari(九)----使用expect实现ambri-server setup阶段免交互(亲测有效)

因为工作原因,需要多次部署ambariambari-server setup阶段频繁的交互影响自动化部署的体验于是决定编写自动化脚本避免ambari-server setup阶段的交互,选取的工具是Expect博主使用的Ambari版本是2.6.0,不同版本之间可能稍有出入,以下脚本内容已经通过生产验证文章目录Expect简介ambari-server setup自动化脚本注意事项一. Expect简介Expect是建立在tcl基础上的一个工具，Expect 是用来进行自动化控制和测

2021-02-20 16:39:05 372

原创记一次误删linux系统目录导致yum不可用的问题

文章目录yum命令报错详情报错原因分析解决过程新的报错使用pdb排查问题一. yum命令报错详情在操作linux时,发现测试环境某集群所有机器的yum命令忽然报错#比如如下命令:yum listyum install <package_name>详细报错信息如下:There was a problem importing one of the Python modulesrequired to run yum. The error leading to this

2021-02-18 21:24:30 1099 2

原创 Ambari(八)----Ambari集成Impala文档(亲测有效)

Ambari集成Impala(亲测有效)文档目录一. 将impala纳入到ambari版本管理中二. 初始化Impala2.1 创建impala源文件2.2 重启ambari-server2.3 初始化impala2.4 修改hdfs配置文件2.5 启动impala服务2.6 复制hbase jar包到impala目录下2.7 修改/etc/default/bigtop-utils配置2.8 查看impala集成情况三. Impala集成过程中遇到的问题3.1 Impala初

2020-12-02 21:14:21 1935 3

原创 Ambari(七)----Ambari集成Hue4.2文档(亲测有效)

参考资料:ambari-hue-service:Ambari集成Hue github代码Hue官方文档 database部分介绍文档目录一. 安装前准备1.1 环境配置1.2 下载Hue安装包1.3 在Hue安装节点安装必要依赖二. 安装Hue并将其集成到Ambari2.1 将Hue添加进Ambari管理2.2 根据实际情况修改代码2.2.1 版本修改2.2.2 脚本修改一. 安装前准备1.1 环境配置我的环境配置如下:环境对应版本Ama

2020-11-12 09:50:59 3092 6

原创 linux完全卸载nodejs并安装指定版本

因node,npm版本不兼容,导致ambari源码编译失败,所以需要重装nodejs本篇博客详细记录此过程文章目录一. 完全卸载nodejs1.1 yum卸载nodejs安装包1.2 手动删除卸载残留二. 安装指定版本的nodejs一. 完全卸载nodejs1.1 yum卸载nodejs安装包# 使用yum remove命令删除nodejs包yum remove nodejs npm -y1.2 手动删除卸载残留# 删除node.node_modules文件夹rm -r

2020-11-02 19:32:30 7590

原创 Ambari(六)----Ambari api使用

本博客主要是对Ambari官方api文档的翻译.并在此基础上,结合实际Ambari环境,给出了一些具体的操作示例,方便自己检索.Ambari api官方文档文章目录一. curl简介二. 认证三. 监控3.1 GET四. 管理4.1 POST4.2 PUT4.3 DELETE4.4 异步响应五.资源5.1 集合资源5.2 实例资源5.3 资源类型5.3.1 集群5.3.2 服务5.3.3 组件5.3.4 主机5.3.5 主机组件5.3.6 配置5.3

2020-10-24 20:41:49 2042

原创 Spring Boot+Mybatis集成Swagger实现增删改查

注:本文所涉及的最终版本代码已经上传到github,请按需自取github代码链接文章目录一. Swagger简介1.1 为什么要使用Swagger1.2 为什么要使用Spring Boot 集成 Swagger二. Spring Boot + Swagger开发2.1 创建SpringBoot项目并导入依赖2.2 编写接口2.3 集成Swagger22.3.1 添加依赖2.3.2 访问验证2.4 Swagger2高级配置2.4.1 文档相关描述设置2.

2020-10-20 08:43:16 2139 3

原创 Ambari(五)----Ambari集成Azkaban(亲测有效)

Ambari自定义服务集成–Azkaban参考资料Ambari集成组件官方文档:Stacks and ServicesAmbari自定义服务集成原理介绍Ambari—集成Azkaban文档目录一. 准备工作1.1 安装Ambari1.2 源码编译配置Azkaban1.2.1 Azkaban源码编译1.2.2 Azkaban数据库配置二. Ambari集成Azkaban原理及配置2.1 Ambari自定义服务集成原理2.2 Ambari集成Azkaban配置

2020-10-10 18:06:41 1659

原创 IDEA使用过程中遇到的问题(长期更新)

IDEA的操作请参见此博客: IntelliJ IDEA 2018版本操作总结文章目录一. IDEA拉取github项目报错:schannel: next InitializeSecurityContext failed: Unknown error (0x80092012)一. IDEA拉取github项目报错:schannel: next InitializeSecurityContext failed: Unknown error (0x80092012报错描述: 使用idea从github

2020-10-04 09:34:46 1725

spark-assembly

空空如也