- 博客(46)
- 收藏
- 关注
RSS订阅原创 scala 反序列化json数据 {“empty“:false,“traversableAgain“:true} ambiguous reference to overloaded definit
在scala当中，要将一个Seq转换成json字符串，直接使用fastjson提供的JSON.toJSONString() 方法就会报错 ambiguous reference to overloaded definition。创建一个java类，再其中创建一个调用JSON.toJSONString(ll)的方法，然后再由scala调用该方法即可，这样就可以避免scala的模糊调用。spark将数据转成一个json写出去的时候，写出的文件中出现。
2023-08-23 18:04:53
297
原创 clickhouse 删除分布式表 分本地 立马重建报错 DB::Exception: Replica /ClickHouse/tables/***/ already exists
DB::Exception: Replica /ClickHouse/tables/01/kun_cjo.ads_etl_log_local/replicas/ already exists (version 21.8.15.7). Stack trace:
2023-03-03 11:49:33
2895
3
原创 Spring Boot Configuration Annotation Processor not configured
Spring Boot
2022-09-22 18:47:59
149
原创 flinkcdc sql写入hive报错 java.lang.NoSuchMethodError: com.fasterxml.jackson.core.JsonFactory.requiresPro
flinkcdc sql写入hive报错java.lang.NoSuchMethodError: com.fasterxml.jackson.core.JsonFactory.requiresPropertyOrdering()Z
2022-07-14 14:30:57
233
原创 spark写hive报错 （Unrecognized Hadoop major version number: 3.0.0-cdh6.2.1）
Caused by: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.0.0-cdh6.2.1业务场景：spark 抽取ck数据进Hive结论：CDH 自带的hive 版本和hadoop支持的hive 版本对应不上 导致报错办法：1：去掉pom文件中的hive 依赖(去掉依赖的话 本地执行会报错 但是线上不会报错)<!-- <dependency>--&
2021-11-26 15:41:01
3474
2
原创 CDH显示 Service Monitor超时 Host Monitor超时 导致页面相应缓慢
体现Cloudera Management Service和个组件服务无法启动，各个主机显示无状态最终发现 002节点的agent挂掉了，导致cdh的server与agent无法启动，重启agent就好了，然后将cdh上面的服务启动起来就好了
2020-05-14 16:46:32
1607
原创 Ubuntu 系统提示出错
Ubuntu右上角有一个红色的圆，中间有一条白色的横线，鼠标移上去提示：发生了一个错误，请通过右键菜单运行软件包管理器或通过终端执行apt-get来查看具体错误。错误信息：“错误：已损坏个数>0“，这通常意味着您安装的软件包有未满足的依赖关系解决方法：在终端执行：sudo apt-get install -f ｙ然后会下载一些软件包 下好之后上面的红色圈就会自动消失 ...
2020-04-28 10:39:52
946
原创 Ubuntu 截图快捷键
Fn+PrintScreen 快捷键截取全屏。Fn+Alt＋PrintScreen 快捷键截取当前窗口Fn+Shift＋PrintScreen 快捷键截取任意矩形内容
2020-04-23 14:37:31
269
原创 离线CDH5搭建
为什么会出现CDH?1:Apache Hadoop 版本管理换乱2:部署过程繁琐,升级过程复杂3:兼容性查 安全性低Hadoop发行版:Apache HadoopCloudera’s Distribution Including Apache Hadoop（CDH）Hortonworks Data Platform (HDP)MapREMR什么是CDH?Cloudera’s ...
2020-01-01 13:51:24
278
原创 Hbase和HIve整合
首先我们要知道hive和hbase整合的时候 实际上数据还是存储在hbase中,hive只是相当于一个访问HBASE的客户端,在hive里面创建内部表的时候,不要求hbase对应的表已经存在,hive会自动帮hbase创建表在hive里面创建外部表的时候,hbase对应的表必须已经存在,否则报错步骤:(网上很多说需要将hbase的包导入到hive中,实际上是不需要的,这里的hive在这里相当...
2019-12-24 15:30:36
282
原创 企业微信之消息推送(菜鸟一枚,勿喷)
前几天公司让我去写个这个功能,在网上借鉴了很多大神的例子,最终还是做出来了下面是大神博客的地址:https://www.cnblogs.com/shirui/p/7402128.html,大家可以去看看写了很多功能,好废话不多说 直接上图大家一定要仔细看需求文档 我因为没有仔细看需求文档踩了许多坑大家一定要仔细看需求文档 我因为没有仔细看需求文档踩了许多坑大家一定要仔细看需求文档 我因为没...
2019-11-22 16:46:29
3427
原创 Hive的安装与优化
HIve:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行,数据仓库使用来做查询数九分析的数据库,基本不用来做修改,删除操作,Hive架构原理:安装单用户模式Hive:1:安装mysql数据库:yum install mysql-server -y2:开启mysql服...
2019-07-23 21:52:36
544
原创 hadoop
Hadoop是什么?Hadoop是一个分布式的系统架构Hadoop的组成:Hdoop=hdfs(分布式储存系统) + mapreduce(分布式计算框架) + yarn(分布式资源管理框架)+ common(工具包)hdfs:分布式存储系统 HDFS (Hadoop Distributed File System)功能:1: 分布式存储系统2: 提供了 高可靠性 高拓展性和高吞吐率的...
2019-07-17 15:18:45
247
1
原创 HBase
HBase简介:hadoop生态系统:SQL关系型数据库: Oracle MysqlNOSQL非关系型数据库: redis HBaseHBase:1: Hadoop Database:是一个高可靠性,高性能,面向列,可伸缩.实时读写的分布式数据库2: 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中海量的数据,利用3: Zookee...
2019-07-17 15:15:30
212
原创 Hadoop 分布式计算框架之MapReduce
一、MapReduce是什么?MapReduce是一种分布式的离线阶段框架,是一种编程模型,分为MapTask和ReduceTask两部分,用于大规模数据(大于IT)的并行运算,将自己的程序运行在分布式系统上.MapReduce: Map(映射) Reduce(归纳)分布式计算:分布式计算将该应用分解成许多小的部分，分配给多台计算机节点进行处理。这样可以节约整体计算时间，大大提高计算效率移...
2019-07-11 23:23:56
655
原创 搭建高可用HA
完全分布式系统:完全分布式系统的hadoop是不能用于生产环境为什么?1: 单点故障:整个系统崩溃(如果NameNode挂掉,整个系统都会挂掉)2: 内存不足:随着业务的越来越大,内存的需求肯定跟不上数据的增长(压力过大内存受限)3: 启动时间 日志越来越大,启动的时间会越来越长4: 业务隔离:如果其中一额内存占用较大,会影响其他的业务解决方法:配置高可用的分布式系统解决单点故障...
2019-07-10 17:04:27
195
原创 搭建hadoop完全分布式集群
Hadoop完全分布式的搭建:1环境的准备:1: JDK2: linux3: 准备3台主机4: 时间同步5: ssh免密登录1-4之间已经做过了5 免密登录:1 三台机器分别生成自己的密钥2 把自己的公钥分别发送给三台主机(包括自己,因为也要自己对自己免密)scp [email protected]:~/.ssh/id_rsa.pub ~/.ssh/node1scp...
2019-07-09 19:35:40
248
原创 Nginx简单的安装
Ngin产生的原因:1 巨大的流量2 单台服务器资源和能力有限在海量并发的环境下,用户每一次请求服务器,都需要大量的创建线程,每一个的线程都需要分配资源,当资源不足的时候就会使得服务器宕机而无法提供服务.高并发:简而言之:就是可以使用多个线程或者多个进程,同时处理(就是并发)不同的操作,每秒有多少个请求同时访问负载均衡:负载均衡:就是讲请求.数据 均匀分摊到多个操作单元上执行,负载均...
2019-07-07 21:07:42
116
原创 手写linux克隆虚拟机初始化基本配置信息脚本
创建初始化信息脚本:vim sxtinit.sh#! /bin/bash # 申明 sxtiinit.sh 文件是一个是一个bash程序,需要用/bin目录下面的bash程序解释执行 #-------------------------------1 修改主机名echo '请输入您的主机名'#------------------打印 这句话read hostname# 意思是...
2019-07-05 17:22:16
300
原创 虚拟机linux系统的安装以及克隆
安装CentOS 6.51 新建虚拟机选择自定义选择稍后安装操作系统**选择linux以及版本为CentOS 64位 **选择网络类型选择磁盘:指定磁盘容量和选择将虚拟磁盘拆分成多个文件虚拟机的配置开启虚拟机:开启虚拟机后,弹出test Mdedia 测试界面 选择skip直接跳过:点击ok选择安装期间显示的语言 选择英文不需要选择中文:选...
2019-07-01 23:19:35
595
原创 解析Mybatis中的MapperXml映射文件(动态sql解析)
MyBatis 的真正强大在于它的映射语句，也是它的魔力所在。由于它的异常强 大，映射器的 XML 文件就显得相对简单。如果拿它跟具有相同功能的 JDBC 代码进 行对比，你会立即发现省掉了将近 95% 的代码。MyBatis 就是针对 SQL构建的，并 且比普通的方法做的更好.SQL 映射文件有很少的几个顶级元素（按照它们应该被定义的顺序）1 cache 给定命名空间的缓存配置2 cach...
2019-06-29 14:38:13
2796
原创 Mybatis(一 简介)
Mybatis简述:MyBatis 本是 apache 的一个开源项目 iBatis, 2010 年这个项目由 apache software foundation 迁移到了 google code，并且改名为 MyBatis 。 2013 年 11 月迁移到 Github.iBATIS 一词来源于“internet”和“abatis”的组合，是一个基于 Java 的持久层框架。iBATIS ...
2019-06-28 22:54:49
140
原创 linux搭建ftp服务器
linux搭建ftp服务器要在linux搭建ftp服务器的话，需要先安装一个工具 即 vsftpd1 安装 yum install vsftpd -y(• 检查是否已安装vsftpd rpm -qa | grep vsftpd• 默认配置文件在/etc/vsftpd/vsftpd.conf)2 创建ftp工作目录,例如: mkdir /usr/ftpdata：3 添加用户ftp...
2019-06-25 17:18:48
1372
1
原创 ZooKeeper 简介与安装
先来一波介绍哈哈哈哈哈哈1 Zookeeper是什么?Zookeeper是一个个开发源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase重要的组件.他是一个为分布式应用提供一致性服务的软件,提供的功能有:配置维护 域名服务,分布式同步,组服务.在这次博客中,ZooKeeper主要的角色是充当 服务注册中心的存在,将我们编写好的服务注册到Zoo...
2019-06-23 23:51:23
261
原创 Redis(未完待继续)
Redis:中文官网: http://www.redis.cn/介绍:Redis 是一个开源软件拥有（Berkly Software Distribution 许可),他是一个内存数据结构存贮,通常用于数据库,缓存,消息代理. 它支持：字符串，哈希，列表，集 合，数组集合，位图，高压缩算法以及地图索引等数据结构。。Redis 支持集群，lua 脚本， 以及 LRU（近期最少使用 Leas...
2019-06-20 22:27:13
141
原创 SpringMvc(二 环境的搭建 未完待更新)
SpringMvc环境搭建1 开发环境的需求idea + jdk1.7↑ + maven + jetty2 新建 maven webApp3 搭建springmvc环境 jar包依赖在pom.xml配置文件中加入依赖:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache...
2019-06-03 00:51:10
124
原创 SpringMvc(一 基础知识)
什么是Mvc?:控制器(Controller 后台做数据处理)模型(Model 进行业务逻辑判断,数据库存取)视图(View)常见的MVC框架比较?SpringMvc是什么?SpringMvc是Spring家族中的一个web成员SpringMvc能够帮我们做什么?SpringMVC架构...
2019-06-03 00:09:23
398
原创 Mybatis缓存(一级 二级 以及分布式缓存)
Mybatis缓存正如大多数持久层框架一样,nybatis同样提供了以及缓存和二级缓存的支持一级缓存(默认存在):基于PerpetualCache 的 HashMap本地缓存（mybatis内部实现cache接口）， 其存储作用域为 Session，当 Session flush 或 close 之后，该Session中的所有 Cache 就将清空；mybatis 默认提供以及缓存,缓存的...
2019-06-01 01:04:39
2133
原创 Aop(二)基本用法
Aop的基本用法:1 使用Aop解决日志处理问题:Aop的配置有两种:注解方式 和 xml方式注解方式解决日志处理问题:步骤:1 jar包坐标的引入:2 beans.xml 配置添加命名空间配置aop代理编写代码:package com.sun.aop;import org.aspectj.lang.ProceedingJoinPoint; import or...
2019-05-30 01:41:18
582
原创 Aop(一)基本概念
AOP是什么: jdk+cglib ?**Aop:Aop (Aspect Oriented Programing ) 面向切面编程,相对于oop(面向对象编程)来说,Aop关注的不仅仅是程序代码中的某个类.或者说是某些方法,更多的是一种面对面的切入,即层与层之间的一种切入,所以称之为 切面Aop可以什么?Aop的主要应用于日志记录,性能统计,安全控制,事物处理等方面,实现公共功能的重复使用...
2019-05-30 01:05:11
319
原创 maven(二)
Maven安装与配置:1 检查jdk的安装 版本必须是 1.7 以上2 maven的下载地址::http://maven.apache.org/download.html3 配置maven的环境变量w7 :解压后把Maven的根目录配置到系统环境变量中MAVEN_HOME,将bin目录配置 到 path 变量w10:解压后的maven跟目录配置到系统的环境变量中;path里,将...
2019-05-24 21:42:44
287
原创 maven
Maven :Maven主要服务于基于java平台的项目构建,依赖管理和项目信息管理.无论是小型的开源类库项目，还是大型的企业级应用； 无论是传统的瀑布式开发，还是流行的敏捷开发，Maven 都能大显身手项目构建:不管你是否意识到，构建（build）是每一位程序员每天都在做的工作。早上来到公司， 我们做的第一件事就是从源码库签出最新的代码，然后进行单元测试，如果测试失败，会找 相关的同事一起...
2019-05-24 00:25:54
311
原创 用Vue实现的学生录入系统
<!DOCTYPE html><html> <head> <meta charset="UTF-8"> <!--引入cs--> <!--引入jQuery--> <script src="js/vue.js" type="text/javascript" charset="utf-8"></...
2019-05-22 20:10:14
3173
2
原创 JETL的简单介绍
简介:Java Server Pages Standard Tag Libray(JSTL):JSP 标准标签库，是一个定制标签 类库的集合，用于解决一些常见的问题，例如迭代一个映射或者集合、条件测试、 XML 处理，甚至数据库和访问数据库操作等。我们现在只讨论 JSTL 中最重要的标签，迭代集合以及格式化数字和日期几 个标签核心标签库：http://java.sun.com/jsp/jst...
2019-05-07 02:19:12
1031
原创 JSP简单介绍
JSP： 全称:java Server Page由sun 公司提供的 ，是一种动态的网页编程技术，是java 服务端的动态资源它相比 html 而言，html 只能为用户提供静态数据，而 Jsp 技术允许在页 面中嵌套 java 代码，为用户提供动态数据相比 servlet 而言，servlet很难对数据进行排序，而jsp不仅可以产生动态数，也比较容易对数据进行排版不管是 JSP 还是 S...
2019-05-07 01:47:54
2093
原创 Servlet文件的上传与下载
文件的上传与下载:在上网的时候我们常常遇到文件上传的情况，例如上传头像、上传资料等； 当然除了上传，遇见下载的情况就更多了，接下来看看我们 servlet 中怎么实现 文件的上传和下载。下面我们使用 commons-fileupload 来做文件上传.1 文件上传：文件上传涉及到前台页面的编写以及后台服务端代码的编写，前台发送文件，后台接受并保存文件，这才是一哥哥完整的文件上传。前台页面：...
2019-05-05 12:50:56
974
原创 Web常用对象之ServletContext
ServletContext对象:每个web应用都有且只有一个ServletContext对象,又称为Application对象,，从名称中可知，该对象是与应用程序相关的。在 WEB 容器启动的时候，会 为每一个 WEB 应用程序创 建一个对应的 ServletContext 对象.作用:一 : 最为作用域用来共享数据,此数据可以在整个应用程序周静共享;二 : 该对象相爱那个保存可当前...
2019-05-04 17:12:34
252
原创 Web常用对象之Session
Session:介绍：HttpSession对象是 javax.servlet.http.HttpSession 的实例HttpSession 对象是 javax.servlet.http.HttpSession 的实例，该接口并不像 HttpServletRequest 或 HttpServletResponse 还存在一个父接口，该接口只是一个 纯粹的接口。这因为 session 本身...
2019-05-02 11:24:23
248
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人