- 博客(43)
- 收藏
- 关注
RSS订阅
原创 多租户技术
1 多租户概念多租户技术( Multi Tenancy Technology )又称多重租赁技术，用于实现如何在多用户的环境下共用相同的系统或程序组件，并且仍可确保各用户间数据的隔离性。具体的多租户技术有多种，数据库通常有以下三种：1.1 独立数据库这是第一种方案，即一个租户一个数据库。这种方案的用户数据隔离级别最高、安全性最好，但成本也高。优点:为不同的租户提供独立的数据库，有助于简化数据模型的扩展设计，满足不同租户的独特需求;如果出现故障，则恢复数据比较简单。缺点:增大了数据库的安装
2021-02-01 16:55:33
2741
9
原创 大数据平台架构（Lambda、Kappa、SMACK）
大数据平台的架构和企业级应用的架构是很不一样的，使用的技术也不同。经过多年的发展，业界已孕育出了一些较为成熟的架构模式， 如Lambda架构、Kappa架构及Smack架构。1、Lambda架构Lambda架构是大数据平台里最成熟、最稳定的架构，它的核心思想是:将批处理作业和实时流处理作业分离，各自独立运行，资源互相隔离。（图片来源于网络）标准的Lambda架构有如下几个层次：（1）Batch Laye：主要负责所有的批处理操作，支撑该层的技术也以Hive、Spark-SQL或.
2021-01-13 17:41:07
1494
4
原创 Flink CDC实时获取MySQL数据
1.Flink CDC简介（参考：http://www.dreamwu.com/post-1594.html）1.1什么是CDCCDC是Change Data Capture(变更数据获取)的简称。核心思想是监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。常见的CDC组件有基于查询的Sqoop、Kafka JDBC Source，基于Binlog的Canal、Maxwell、Debezium等。.
2021-09-05 23:36:01
7135
4
原创 数据湖基础概念
1 企业现状1.1 数据孤岛的形成随着互联网的兴起，企业数据量不断上升。为了存储这些数据，单个数据库已经不再满足数据存储的需求，这时企业一般会建多个业务数据库。这些数据库独立运行，支撑相应的业务，方便了公司对业务的管控。但是，由于数据相对分散，无法集中存储和利用，导致数据孤岛的形成，以至于对数据的利用效率低。这时，企业开始走向数仓模式。1.2 非结构化数据涌现随着数据仓库的兴起，我们通过ETL工具从各个数据孤岛中抽取数据注入数仓中进行维度分析和展现，数据孤岛的问题似乎被数仓解决了。
2021-01-28 16:25:28
310
原创 Oracle笔记
--创建表空间create tablespace gao_test--指定数据文件存放地址datafile 'c:\gao_test'--初始大小size 100m--自动扩展大小autoextend on--每次扩展10Mnext 10m;--删除表空间drop tablespace gao_test;--创建用户create user gao--密码identified by gao--指定用户所在的表空间default tablespace gao_test;
2021-01-26 15:10:05
155
原创 解决kettle整合hadoop报Could not obtain block: BP-998830852-10.0.0.45-1610881645960错误
当前环境：阿里云CentOS6.9，CDH514，Kettle8.2kettle整合hadoop报错：Could not obtain block: BP-998830852-10.0.0.45-16108816459601.kettle的版本要适应cdh的版本；2.检查hdfs配置文件是否放到kettle的相关目录下；3.检查namenode、datenode服务是否正常启动；4.检查namenode、datenode、ResourceManager相关端口是否打开（我正是
2021-01-21 18:06:13
876
原创 解决centos6.9无法使用yum（官方从2021年1月移除了centos6的软件源）
今天又踩坑了，阿里云centos6.9无法使用yum安装软件。原因：官方从2021年1月移除了centos的软件源。解决方法：sed -i "s|enabled=1|enabled=0|g" /etc/yum/pluginconf.d/fastestmirror.confmv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backupcurl -o /etc/yum.repos.d/CentOS-Bas
2021-01-17 17:47:09
2106
3
原创 CDH基础配置
一、基础环境搭建1. 下载包： https://archive.cloudera.com/cdh6/6.2.1/parcels/ https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/RPMS/x86_64/ 2. 安装依赖包 yum install -y cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse-libs bind-utils libxslt fuse yum...
2021-01-10 21:39:33
818
原创 阿里云SLB实现 MySQL HA
1.MySQL集群搭建https://blog.csdn.net/weixin_41507897/article/details/1083049652.负载均衡配置（1）登录阿里云，选择负载均衡SLB，创建负载均衡实例，根据需求选择相应的配置。(2)负载均衡实例创建好之后，会分配一个IP地址，HA服务的客户端通过这个IP地址连接后台服务。（3）配置监听在配置监听页面中选择TCP协议，监听端口写3306，展开高级配置，打开“开启会话保持”，将需要实现负载均衡的服务器及3306端
2020-08-31 23:53:35
902
原创 Galera（MySQL集群）的安装
1.准备工作准备三台主机（当前使用阿里云主机）：master110.0.0.8 (内网ip）master210.0.0.9master310.0.0.102.生成yum repo文件[root@master1 ~]# tee /etc/yum.repos.d/galera.repo <<EOF> [galera]> name = Galera> baseurl = https://releases.galeracluster.com/gale...
2020-08-30 22:34:53
1038
原创 mysql函数整理
一.字符串函数1.拼接字符串concat(str1,str2...)select concat('hello','，','word','！');2.包含字符个数length(str)select length('hello，word！');3.截取字符串--left(str,len)返回字符串str的左端len个字符--right(str,len)返回字符串str的右端len个字符--substring(str,pos,len)返回字符串str的位置pos起len个字符select.
2020-05-27 13:29:55
340
原创 For direct MetaStore DB connections, we don't support retries at the client level.
（都是自己踩过的坑，如有不当之处，欢迎指正）在hive中操作的时候，可以创建表，插入字段，但是不能删除表，报错如下图所示：查看hive日志发现是hive连接mysql的驱动有问题mysql使用的是5.6.27版本，mysql驱动使用的是mysql-connector-java-5.1.17.jar，将mysql-connector-java-5.1.17.jar替换为mysql...
2020-03-12 16:44:21
195
原创 Cannot lock storage /home/gao/hadoop/dfs/name. The directory is already locked
(都是自己在学习和开发中遇到的问题及解决办法，如有不当之处，欢迎指正)在配置HA集群初始化时报“Cannot lock storage /home/gao/hadoop/dfs/name. The directory is already locked”错误，...
2020-03-10 18:14:25
845
原创 分布式文件系统FastDFS安装
1.准备工作（1）centos 7；（2）下载安装包https://github.com/happyfish100/FastDFS（3）安装gcc环境（FastDFS由c语言开发，需依赖gcc环境）yum源安装：sudoyum install gcc-c++2.安装libeventFastDFS依赖libevent库yum -y install libeven...
2020-01-28 12:23:42
213
原创 spark（一）
1.sparkspark是一种基于内存的快速、通用、可拓展的大数据分析引擎。速度: 比hadoop 100x,磁盘计算快10x使用: java / Scala /R /python，提供80+算子(操作符)，容易构建并行应用。通用: 组合SQL ，流计算 + 复杂分析。2.Spark模块Spark core //核心模块Spark SQL...
2019-10-08 19:09:57
166
原创 （一）vue指令
1.基础代码<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Document</title> <!-- 导入Vue的包 --> <script src="./lib/vue-2.4.0.js"&...
2019-05-19 20:08:39
238
原创 SSI服务端包含技术
1.基于微服务，页面内容多如何进行管理？将页面拆分成一个一个的小页面，通过cms去管理这些小页面，当要更改部分页面内容时只需要更改具体某个小页 面即可。2.页面拆分出来怎么样通过web服务浏览？使用web服务(例如nginx)的SSI技术，将多个子页面合并渲染输出。3.什么是SSI？服务端嵌入（server side include）,是一种基于服务器端的网页制作技术，可以将多...
2019-05-09 20:21:05
274
原创 解决使用PL SQL向Oracle插入数据时出现中文乱码问题
(都是自己踩过的坑，希望能帮助到大家)1.查看服务器端编码select userenv('language') from dual;2.执行语句 select * from V$NLS_PARAMETERS查看第一行中PARAMETER项中为NLS_LANGUAGE 对应的VALUE项中是否和第一步得到的值一样。如果不是，需要设置环境变量.否则PLSQL客户端使用的编码和服务...
2019-05-07 09:52:52
1781
1
原创 使用PLSQL Developer工具连接Oracle时，报错ORA-12170:TNS:Connect timeout occurred
（都是自己踩过的坑，希望能帮助到大家）使用PLSQL Developer工具连接Oracle时，报错ORA-12170:TNS:Connect timeout occurred我的Oracle是通过虚拟机安装到win xp系统上的1.检查Oracle服务是否开启2.找到安装目录，打开listener和tnsnames文件，检查ip地址是否和虚拟机ip地址一致...
2019-05-06 19:36:07
9841
1
原创 （一）Hive的安装配置
1.hive是什么hive是基于Hadoop的一个数据仓库工具；hive是一个可以将sql翻译为MR程序的工具；hive支持用户将HDFS上的文件映射为表结构，然后用户就可以输入SQL对这些表（HDFS上的文件）进行查询分析；hive将用户定义的库、表结构等信息存储hive的元数据库（可以是本地derby，也可以是远程mysql）中；2.准备工作（1）下载hive2.1-tar....
2019-04-25 18:36:11
175
原创 linux完全卸载mysql（rpm安装mysql服务失败）
在linux下使用rpm安装mysql服务时，显示如下内容，然后就退出了[gao@s200 /home/gao/mysql-5.6.26]$sudo rpm -ivh MySQL-server-5.6.26-1.linux_glibc2.5.x86_64.rpm --force --nodeps [sudo] password for gao: 警告：MySQL-server-5.6.2...
2019-04-24 11:47:36
1630
原创 （六）Hadoop之HDFS高可用HA集群部署
（参考官方文档http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html#Hardware_resources）1.背景在Hadoop 2.0.0之前，NameNode是HDFS集群中的单点故障（SPOF）。每个群集都有一个NameNode，如果该...
2019-04-15 19:31:20
404
原创 （五）Hadoop编程模型MapReduce
1.MapReduceHadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有着这些关键词，一是软件框架，二是并行处理，三是可靠且容错，四是大规模集群，五是海量数据集。2.编写MapReduce（1）编写Map/** ...
2019-04-01 17:21:37
389
原创 分布式文件服务器FastDFS
1.什么是FastDFSFastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker...
2019-03-31 20:53:18
178
原创 （四）Hadoop分布式文件系统Hdfs
1.hdfs常用操作hdfs dfs -mkdir /user/gao/ //创建文件hdfs dfs -ls -r /user/gao //查看（递归）hdfs dfs -lsr /user/gaohdfs dfs -put index.html /user/gao //上传hdfs dfs -get /user/gao/index.html a.html...
2019-03-22 10:32:20
194
原创 （三）Hadoop完全分布式
1.准备工作（1）克隆三台客户机（加上之前的一共四台客户机）。（2）修改hostname vi /etc/hostname 四台主机名分别修改为“s200”(主节点)，“s201”(从节点)，“s202”（从节点），“s203”（从节点）（3）修改ip地址 vi/etc/sysconfig/network-scripts/if...
2019-02-26 20:04:52
240
原创 （二）Hadoop安装配置
1.安装jdk（1）下载jdk-8u65-linux-x64.tar.gz（2）解压 tar -xzvf jdk-8u65-linux-x64.tar.gz（3）创建/soft文件夹 sudo mkdir /soft（4）移动jdk到/soft下 mv ~/jdk-1.8.0_65 /soft/（5）创建符号...
2019-02-18 14:11:44
195
原创 （一）Hadoop基础
1.Hadoop（1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。（2）Hadoop是一个能够对大量数据进行分布式处理的软件框架。2.Hadoop的优点（1）可靠，假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。（2）高效，以并行的方式工作，通过并行处理加快处理速度。（3）可伸缩，能够处理 PB 级数据。（...
2019-02-18 13:23:00
213
原创 Spring Security安全框架
1.Spring SecuritySpring Security是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架。它提供了一组可以在Spring应用上下文中配置的Bean，充分利用了Spring IOC，DI（控制反转Inversion of Control ,DI:Dependency Injection 依赖注入）和AOP（面向切面编程）功能，为应用系统...
2019-02-13 15:37:26
436
原创 linux常用命令整理
CentOS Windows $>ls cmd>dir $>ls --help //查看命令帮助 $>man ls //查看命令帮助 $>clear cmd>cls //清屏 $>cd /home cmd>cd d:/ //切换目录 $>cd . c...
2019-01-29 19:56:10
274
原创 Exception sending context initialized event to listener instance of class org.springframework.web.co
（以下内容为自己在学习和开发中所遇到的问题及解决办法，如有不当之处，欢迎指正）分布式maven项目启动服务时报错：Exception sending context initialized event to listener instance of class org.springframework.web.context.ContextLoaderListener。如图：分析原因...
2019-01-21 14:18:48
2238
原创 浏览器连接管理中心http://192.168.25.129:8080/dubbo-admin/报404错误
（以下内容为自己在学习和开发中所遇到的问题及解决办法，如有不当之处，欢迎指正）浏览器连接管理中心http://192.168.25.129:8080/dubbo-admin/报404错误。输入http://192.168.25.129:8080/能正常显示tomcat主页面，这很有可能是zookeeper没有启动所致。解决方法：1.输入cd zookeeper-3.4.6/bi...
2018-12-24 15:28:51
7063
原创 A child container failed during start
（以下内容为自己在学习和开发中所遇到的问题及解决办法，如有不当之处，欢迎指正）eclipse中启动Tomcat报错：A child container failed during start。如图： 解决办法：在WEB-INF中找到web.xml文件，如图，发现<url-pattern>/indedx</url-pattern>写错，修改url-pa...
2018-10-31 20:34:06
1290
原创 Error creating bean with name 'sessionFactory' defined in classpath resource [beans.xml]
（以下内容为自己在学习和开发中所遇到的问题及解决办法，如有不当之处，欢迎指正）在搭建OA的ssh框架时报如下错误：org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'sessionFactory' defined in classpath resource [bean...
2018-04-27 17:05:50
1060
原创 struts2前端控制器与struts2.xml文件的配置
1.导入struts2的相关jar包asm-3.3.jar 字节码框架，用于生成代理类（类似动态代理）asm-commons-3.3.jarasm-tree-3.3.jarcommons-fileupload-1.3.jar 文件上传commons-io-2.0.1.jarcommons-lang3-3.1.jar java.lang增强包（apache-comm...
2018-04-21 14:35:39
1430
原创 The APR based Apache Tomcat Native library failed to load.The error reported was [D:\Tomcat\
（以下内容为自己在学习和开发中所遇到的问题及解决办法，如有不当之处，欢迎指正）启动tomcat服务器出现如图警告，这是由于tomcat配置错误所致。 解决办法：这里以eclipse Neon版本为例（解压版）。1.如图，右键单击Tomcat--->New--->Server 2.点击add，重新添加一个tomcat服务器。 3.选择Tom...
2018-04-15 19:30:45
17648
3
原创 mysql笔记
1.管理数据库、表（1）登录： mysql -u root -p（2）使用（切换）数据库 use 数据库名;（3）管理数据库 a.查看所有数据库 show databases: +--------------------+ | Database | +--------------------+ | information_schema | 数据库的元元素 ...
2018-04-11 19:21:53
388
原创 jsp笔记
1.jsp语法（1）jsp就是一个servlet，servlet的技术可以用在jsp上。（2）jsp与servlet的生命周期 Servlet的生命周期： init方法 service方法 destory方法 jsp的生命周期： _jspInit方法 _jspService方法 _jspDestory方法 （3）jsp模板 jsp页面的html代码就是模板（4）jsp表达式 <...
2018-04-11 18:52:19
407
原创 servlet笔记
01.网站（web应用）结构网站（web应用）目录结构 webRoot 根目录 （1）普通文件（html，css，js，images） （2）WEB-INF（目录，固定大写） （a）classes（目录：存放class文件） （b）lib （目录：存放jar包） （c）web.mxl（文件：用于配置WEB-INF） 注意： （1）WEB-INF外面的文件是可以直接...
2018-03-22 15:44:04
2730
原创 xml笔记
1.xml入门<!-- 1.XML:可扩展标记语言 HTML XML 概念： 超文本标记语言 可扩展标记语言 标记数量： 是固定的 不固定，可扩展 作用： 负责网页的结构 （1）描述带关系的数据结构（作为软件的配置文件） ...
2018-03-16 15:25:03
329
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人