- 博客(129)
- 收藏
- 关注
RSS订阅
原创 我的个人博客上线啦
小菜鸟的个人博客于2021年5月20日正式上线且对外开放啦…欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将首发公众号博客访问地址：小菜鸟的大梦想与此同时，本人近期萌生了一个比较强烈的计划，那就是打算持续性输出大数据技术生态（但不限于）相关的系列文章。可想而知这是一项“宏伟工程”，想要一直坚持下去应该还是比较难的，毕竟想法很丰满，现实却又是如此的骨感。工作 + 生活，不一定什么时候就有什么事给那啥了…但是吧，小菜鸟既然放话出来了，那就不是随便说说的，更何况再怎么说我也是个地地道道且纯血.
2021-08-03 21:04:15
113
原创 CentOS 7(Linux系统) 安装sqlserver
小菜鸟的个人博客已经正式上线且对外开放啦…欢迎扫码关注↓↓↓更多优质内容将首发练习环境：.centos7，内存2G以上。
2024-04-15 14:12:58
457
原创 SQL Server 创建数据库和用户 及 数据库备份常见错误
可是我已经是root用户了，怎么会还报告没有权限了，后来想起来也许在sqlcmd中的执行用户并非root，查了下passwd文件，果然有一个mssql的用户，它的home目录是/var/opt/mssql，尝试修改备份命令。在Linux中安装了mssql的数据库并存了一些数据，使用sqlcmd备份的时候。发现总是报错没有权限，
2024-04-15 13:47:30
241
1
原创 Spring Cloud Gateway远程代码执行漏洞复现
小菜鸟的个人博客已经正式上线且对外开放啦…博客访问地址：小菜鸟的大梦想欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将 首发 公众号Spring Cloud Gateway远程代码执行漏洞复现上篇文章《Spring Cloud Gateway高危漏洞修复方案》已经讲述了此次漏洞的影响及修复方案，那么本文就带领大家玩一玩该漏洞是怎么执行代码注入的，并会给使用者带来什么样的危险？在复现漏洞并执行代码注入实现远程攻击之前，先了解下 Spring Cloud Gateway 具体是什么？.
2022-03-11 09:50:17
6949
2
原创 Spring Cloud Gateway高危漏洞修复方案
小菜鸟的个人博客已经正式上线且对外开放啦…博客访问地址：小菜鸟的大梦想欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将 首发 公众号2022年3月1日，Spring官方发布了关于Spring Cloud Gateway的两个CVE漏洞，分别为CVE-2022-22946与CVE-2022-22947：版本/分支/tag：3.4.X问题描述：漏洞1：Spring Cloud Gateway 远程代码执行漏洞（CVE-2022-22947）3 月 1 日，VMware 官方发布安.
2022-03-11 09:38:01
4791
原创 运行Mapreduce作业出现Java heap space解决方案
小菜鸟的个人博客已经正式上线且对外开放啦…博客访问地址：小菜鸟的大梦想欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将 首发 公众号在一次吃饭间隙听到身边的朋友说到：“为什么我的mapreduce作业总是运行到某个阶段就报出如下错误，然后失败呢？以前同一个作业没出现过的呀？”19/01/10 12:48:01 INFO mapred.JobClient: Task Id : attempt_201001061331_0002_m_000027_0, Status : FAILEDj.
2021-09-04 18:45:44
827
原创 记一次MR报错：Container is running beyond physical memory limits...
小菜鸟的个人博客已经正式上线且对外开放啦…博客访问地址：小菜鸟的大梦想欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将 首发 公众号背景较早之前项目组一次新需求上线时，需要初始化Hive中某张表的全量历史数据。该表由于历史原因导致ETL处理的时候，2015年前的数据产出文件（定长压缩文件）时为同一个ETL日期，也就是这张表的分区日期，由于涵盖多年的数据，并且数据文件较大又分为多个日期，数据存放Hive时需要按照其真实业务日期进行重分区。线上集群同时有部分Spark任务存在，所以决定采.
2021-09-04 18:43:42
1137
原创 CDH集群磁盘故障换盘处理
小菜鸟的个人博客已经正式上线且对外开放啦…博客访问地址：小菜鸟的大梦想欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将 首发 公众号前言前段时间公司线上CDH集群突然异常报警，经过查验后发现是其中一个数据节点所在的服务器上某块磁盘无法读写，导致当前DataNode节点读写异常。随后登录到故障节点进行手动验证，进入到损坏磁盘的挂载目录，预创建文件进行读写操作，发现直接报错，查看报错信息，确实是当前磁盘无法读写异常。问题已经足以说明是磁盘损坏了，那接下来就是换盘操作了，由于机房不在本地.
2021-09-04 15:53:50
1737
原创 Git同时连接Github和Gitee
小菜鸟的个人博客已经正式上线且对外开放啦…博客访问地址：小菜鸟的大梦想欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将 首发 公众号前言一开始，自己想的多了，看了很多文章，而每篇文章都存在些许差异，自己就犯难了。后来突然想明白了，其实Gitee和Github验证的方式完全一样，不就是使用不对称加密来完成验证的吗。想明白了这一点，剩下的流程了就简单了。只需要生成两对公钥和私钥即可。具体操作流程如下。生成两对公钥和私钥PS：我是在全新的系统上配置的，即不存在原来相关账户和配置的残留，.
2021-09-04 15:50:12
380
原创 Centos6安装nodejs报libstdc版本低问题解决
小菜鸟的个人博客已经正式上线且对外开放啦…博客访问地址：小菜鸟的大梦想欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将 首发 公众号查看node版本node -vnode版本的管理模板npm i -g n --force升级node#稳定版n stable#最新版n latest#指定版本n 版本号 #如 n 10.0.0常见问题node: /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.14' not .
2021-09-04 15:48:04
557
原创 ELK系列(六)、CDH6集成Elasticsearch服务(交由CM管理)
小菜鸟的个人博客已经正式上线且对外开放啦…博客访问地址：小菜鸟的大梦想欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将 首发 公众号前言本文穿插讲述如何将Elasticsearch服务集成至CHD，最终将服务交给Cloudera Manager统一管理。本司线上使用CDH5，暂未升级至CH6，此处以CDH6版本进行集成制作，方式差异不大。制作 Elasticsearch 的 Parcel 包和 csd 文件配置Java、Maven环境此处默认已配置完成，不再讲述，其中Mav.
2021-09-04 15:17:22
745
原创 ELK系列(五)、ElasticSearch常用命令
小菜鸟的个人博客已经正式上线且对外开放啦…博客访问地址：小菜鸟的大梦想欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将 首发 公众号前言上篇文章末尾ES集群开启x-pack权限认证后，采用Restful的方式进行了集群简单的验增删改查操作。现在基于Kibana已安装完成的基础上，采用Dev-tools工具进行实战，开发环节中也建议采用这种方式，原因有下：1）kibana 自带的 dev-tools 工具具有良好的提示功能2）dev-tools 工具中开发方便快捷，具有较高的效率.
2021-09-04 15:10:04
651
原创 ELK系列(四)、Kibana安装
小菜鸟的个人博客已经正式上线且对外开放啦…博客访问地址：小菜鸟的大梦想欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将 首发 公众号前言上篇文章已经完成了ES集群的安装，并且开启了x-pack权限认证，本片文章继续讲述Kibana的安装与使用。本次安装采用tar.gz压缩包，开箱即用，基于之前的集群环境，安装在hadoop101服务器上。解压安装并修改配置文件上传压缩包至 /opt/software 目录，并解压到上一级 module 目录下：cd /opt/softwar.
2021-09-04 14:56:20
205
原创 ELK系列(三)、ElasticSearch集群安装并开启x-pack权限认证
小菜鸟的个人博客已经正式上线且对外开放啦…博客访问地址：小菜鸟的大梦想欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将 首发 公众号前言本篇教程基于上篇《ELK系列(二)、ElasticSearch单实例安装》的基础上进行的集群安装教程，此处默认ES单点安装已成功启动并运行。ES集群安装采用单台服务器多实例方式进行，单实例方式安装较为简单，直接分发安装包，修改相应的配置文件即可，读者可根绝多实例安装方式自行搭建。主机名节点角色新增主机映射hadoop100.
2021-09-04 14:53:15
1151
原创 ELK系列(二)、ElasticSearch单实例安装
小菜鸟的个人博客已经正式上线且对外开放啦…博客访问地址：小菜鸟的大梦想欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将 首发 公众号前言ELK系列文章统一选用 v7.10.2，为目前本司线上使用版本。另外大家在进行ELK平台构建时，Elastic体系选用的各组件版本尽量保持一致，否则安装过程中可能会出现各种版本依赖问题。本文将一一讲述ES单点、集群（一主两从）、单台服务器多实例三种安装方式，其中第三种会将ES服务交由系统服务器进行管理。环境说明服务器环境：CentOS 7..
2021-09-04 14:32:59
306
转载 ELK系列(一)、Elasticsearch相关概念说明
小菜鸟的个人博客已经正式上线且对外开放啦…博客访问地址：小菜鸟的大梦想欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将 首发 公众号前言本人公司项目组最近刚刚上线了ElasticSearch+HBase百亿级数据存储与实时检索，底层数据量大且数据重要性级别高。先前项目组成员们经过较长时间的本地化测试及底层存储设计优化，最终以较好的测试结果（性能、稳定性、扩展性）顺利通过技术评审。就在前端时间经过大家不懈努力终于成功上线，顺利替换了先前线上使用的某国产分布式数据库（该数据库响应时间已不满.
2021-09-02 22:20:09
651
转载 Spark On Yarn 提升spark submit速度
小菜鸟的个人博客已经正式上线且对外开放啦…博客访问地址：小菜鸟的大梦想欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将 首发 公众号引言本文承接上篇 Spark on yarn运行时Jar包加载踩坑经历 来进一步分析spark-submit 通过–jars 传入本地jar包 和 HDFS上的jar包的区别，以及 spark.yarn.jars 与前两者的区别。- -jars的使用1. --jars 传入本地jar包--jars a.jar,b.jar,c.jar传入本地ja.
2021-09-02 22:14:00
318
原创 Hadoop数据压缩
小菜鸟的个人博客已经正式上线且对外开放啦…博客访问地址：小菜鸟的大梦想欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将 首发 公众号压缩概述压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在运行MR程序时，I/O操作、网络数据传输、 Shuffle 和 Merge 要花大量的时间，尤其是数据规模很大和工作负载密集的情况下，因此，使用数据压缩显得非常重要。由于磁盘 I/O 和网络带宽是 Hadoop 的宝贵资源，数据压缩对于节省资源、最小化磁.
2021-09-02 22:06:10
474
原创 hadoop-3.1.3 启动HDFS时报错ERROR: Attempting to operate on hdfs namenode as root的解决方法
小菜鸟的个人博客已经正式上线且对外开放啦…博客访问地址：小菜鸟的大梦想欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将 首发 公众号最近在升级 Hadoop3.1.3 版本首次启动集群时报如下错误：Starting namenodes on [hadoop100]ERROR: Attempting to operate on hdfs namenode as rootERROR: but there is no HDFS_NAMENODE_USER defined. Aborti.
2021-09-02 22:03:41
1500
原创 SSL证书 基于Nginx配置Https
小菜鸟的个人博客已经正式上线且对外开放啦…博客访问地址：小菜鸟的大梦想欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将 首发 公众号前言最近一段时间在搞自己的博客网站，本地环境一直使用的HTTP协议，但在上线发布到个人服务器后还使用HTTP访问就有点说不过去了。另外博客网站的基础架构为 Hexo框架 + Butterfly主题 + 博客后端管理 (自己开发便于管理博客)；此处涉及到自己个人后台服务以及服务端数据库的基本操作，还包括阿里云OSS存储对象。考虑至此，还是打算安装SSL证书.
2021-09-02 22:00:11
213
原创 Azkaban任务调度工具简述
小菜鸟的个人博客已经正式上线且对外开放啦…博客访问地址：小菜鸟的大梦想欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将 首发 公众号Azkaban简述Azkaban is a batch workflow job scheduler created at LinkedIn to run Hadoop jobs. Azkaban resolves the ordering through job dependencies and provides an easy to use web .
2021-09-02 21:41:51
4738
原创 Linux下用户组的设置
第一步：登录已有的Linux系统，使用root账户，登录好以后，如下图：这样，就登录到Linux系统中，而且是用root用户登录的注意：如果，你想要创建用户和用户组，那么你当前登录的用户必须有root权限，或者登录的就是root用户第二步：创建组如果，你不知道创建组的格式，那么就输入： groupadd --help,那么就会出现如上图出现的提示注意：创建组的时候可以指...
2019-09-07 23:02:51
2323
原创 Redis 编译报错 error: jemalloc/jemalloc.h: No such file or directory解决方法
错误描述安装Redis 4.0.8时编译报错：zmalloc.h:50:31: error: jemalloc/jemalloc.h: No such file or directoryzmalloc.h:55:2: error: #error "Newer version of jemalloc required"make[1]: *** [adlist.o] Error 1ma...
2019-05-12 23:08:36
586
原创 Linux环境 redis-4.0.8 安装教程
1.获取redis资源wget http://download.redis.io/releases/redis-4.0.8.tar.gz2.解压tar xzvf redis-4.0.8.tar.gz3.安装cd redis-4.0.8makecd srcmake install PREFIX=/usr/local/redis如果 make 编译失败，可执行...
2019-05-12 23:05:08
1587
原创 Linux环境 mysql 5.7.25 安装教程
检查是否安装了mysqlrpm -qa | grep mysql如有，类似mysql-libs-5.1.52-1.el6_0.1.x86_64卸载之rpm -e --nodeps mysql-libs-5.1.52.x86_64检查否存在 mariadb 数据库，如有，卸载之，卸载同上rpm -qa | grep mariadb查看linux系统是64位还是...
2019-05-12 22:13:32
3631
转载 web.xml中url-pattern的配置详解
目录前言现象源码分析实战例子总结参考资料前言今天研究了一下tomcat上web.xml配置文件中url-pattern的问题。这个问题其实毕业前就困扰着我，当时忙于找工作。 找到工作之后一直忙，也就没时间顾虑这个问题了。 说到底还是自己懒了，没花时间来研究。今天看了tomcat的部分源码 了解了这个url-pattern的机制。 下面让我一一道来。tomcat的大致结构就不说了， 毕竟自己也不是...
2018-07-05 10:32:09
7440
转载 Cookie个Session详解
会话（Session）跟踪是Web程序中常用的技术，用来跟踪用户的整个会话。常用的会话跟踪技术是Cookie与Session。Cookie通过在客户端记录信息确定用户身份，Session通过在服务器端记录信息确定用户身份。本章将系统地讲述Cookie与Session机制，并比较说明什么时候不能用Cookie，什么时候不能用Session。1.1 Cookie机制在程序中，会话跟踪是很重要的事情。...
2018-05-04 21:20:26
219
转载 FileReader FileInputStream InputStreamReader BufferedReader 作用与区别
ava.io下面有两个抽象类：InputStream和ReaderInputStream是表示字节输入流的所有类的超类Reader是用于读取字符流的抽象类InputStream提供的是字节流的读取，而非文本读取，这是和Reader类的根本区别。即用Reader读取出来的是char数组或者String ，使用InputStream读取出来的是byte数组。弄清了两个超类的根本区别，再来看他们底下子类...
2018-04-18 18:03:03
2354
转载 腾讯云部署web项目步骤
最近，自己用Java WEB完成了一个网站，然而，不知道如何部署到云服务器上。百度了很多，也没有完整的，后来自己摸索，完成了部署。本文，将介绍如果将web项目部署到腾讯云服务器上。在这里呢，很多人就要问了，为什么是腾讯云呢？其实很简单，腾讯云有一个学生认证，腾讯提供0元购买一个cn域名，1元购买云服务器。简直是学生党的福利，虽然服务器是入门级的，但是绝对够用了。接下来，开始教程！一、服务器和域名的...
2018-04-09 19:31:32
14983
7
原创 poj 1035 字符串处理
Spell checkerTime Limit: 2000MSMemory Limit: 65536KTotal Submissions: 25501Accepted: 9329DescriptionYou, as a member of a development team for a new spell che
2017-04-19 15:32:08
514
原创 poj 2503 Trie模板
BabelfishTime Limit: 3000MS Memory Limit: 65536KTotal Submissions: 43397 Accepted: 18335DescriptionYou have just moved from Waterloo to a big city. The people here
2017-04-19 15:27:38
377
原创 nyoj 177 求逆序数
求逆序数时间限制：2000 ms | 内存限制：65535 KB难度：5 描述 在一个排列中，如果一对数的前后位置与大小顺序相反，即前面的数大于后面的数，那么它们就称为一个逆序。一个排列中逆序的总数就称为这个排列的逆序数。现在，给你一个N个元素的序列，请你判断出它的逆序数是多少。比如 1 3 2 的逆序数就是1。输入第一行输入一个整数T表
2017-04-13 15:14:06
330
转载 手动获取MyEclipse 注册码
1、建立JAVAProject，随便命名，只要符合规则就行。2、在刚刚建好的Project右击src，新建一个类，命名为MyEclipseGen，把.java里本来有的代码全部删掉，再把下面的代码复制到文件中。运行，按照提示输入一串字符，建议取名字的首字母，然后回车，会出现一串注册码，然后复制注册码。如下图所示：Trial Expired，如何手动获取MyEclipse 注册码！很牛！
2016-11-04 19:07:35
638
转载 Android常用位图操作（下）
五、图像变换 Android开发框架提供了一个坐标变换矩阵Matrix类，它可以与Bitmap类的createBitmap方法结合使用，对图像进行缩放、旋转、扭曲等变换处理。图像变换操作就是对坐标变换矩阵进行矩阵乘法运算，Matrix类中提供了一些简便的方法如preScale、postScale、preRotate、postRotate、preSkrew、postSkrew、
2016-10-26 07:52:33
538
转载 Android常用位图操作（上）
一、View转换为Bitmap 在Android中所有的控件都是View的直接子类或者间接子类，通过它们可以组成丰富的UI界面。在窗口显示的时候Android会把这些控件都加载到内存中，形成一个以ViewRoot为根节点的控件树，然后由根节点开始逐级把控件绘制到屏幕上。 可以通过调用控件的setDrawingCacheEnabled（true）方法，开启
2016-10-26 07:51:44
971
转载 Android控件之带清空按钮(功能)的AutoCompleteTextView自动提示
功能折腾完了记录一下。带删除按钮的AutoCompleteTextView，普通的自动提示控件用起来比较简单，准备好数组给控件setAdapter一下行了，这里要说的是提取sqlite中的数据绑定并且加上清空按钮，先来张图片。 最初没有用过AutoCompleteTextView的时候，就直接百度了下，想必都会得到这样一段代码：public class MainActivity
2016-10-14 12:55:14
3187
转载 shape标签
此引自大牛的博文，看了大牛的博客，瞬间有种膜拜的感觉，自己好菜给出大牛的博文地址 http://blog.csdn.net/harvic880925/article/details/41850723前言：最近也是忙的够呛，但要总结还是要总结出来，不然过段时间就不想写博客了，坚持每月至少出四篇博客的节奏，无论多忙，坚持。任何一个成功人物的背后总是透露着辛酸与不易。今天看到一篇
2016-09-08 15:42:38
302
转载 android开发之GridLayout详解
在android4.0以上版本中，新增加了GridLayout网格布局，请参考Android 4.0开发之GridLayOut布局实践和浅谈android4.0开发之GridLayout布局 <GridLayout xmlns:android="http://schemas.android.com/apk/res/android" andr
2016-09-07 21:22:31
1115
转载 GridLayout(网格布局)
前言:作为android 4.0 后新增的一个布局,与前面介绍过的TableLayout(表格布局)其实有点大同小异;不过新增了一些东东①跟LinearLayout(线性布局)一样,他可以设置容器中组件的对齐方式②容器中的组件可以跨多行也可以跨多列(相比TableLayout直接放组件,占一行相比较)因为是android 4.0新增的,API Level 14,在这个版本以前的
2016-09-06 21:37:56
765
转载 Android Handler Message总结
当应用程序启动时，会开启一个主线程（也就是UI线程），由她来管理UI，监听用户点击，来响应用户并分发事件等。所以一般在主线程中不要执行比较耗时的操作，如联网下载数据等，否则出现ANR错误。所以就将这些操作放在子线程中，但是由于AndroidUI线程是不安全的，所以只能在主线程中更新UI。Handler就是用来 子线程和创建Handler的线程进行通信的。 Han
2016-09-06 10:17:48
356
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人