- 博客(56)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 FastDFS分布式集群搭建，详细教学从入门到使用（生产环境下）
一、FastDFS是什么？ FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易...
2020-02-05 20:49:03
2873
2
原创 Cloudera Manager，离线搭建CDH大数据平台，版本5.15.2
Cloudera Manager及CDH版本安装全程记录 大家都知道，Apache Hadoop的配置很繁琐，而且很零散，为此Cloudera公司提供了Clouder Manager工具，而且还封装了Apache Hadoop,flume,spark，hive,hbase等大数据产品形成自己特色的CDH产品，再使用CM进行安装，很大程度上方便了集群的搭建，并提供了集群的监控功能...
2019-10-21 20:14:12
933
原创 Apache开源顶级项目Ambari搭建HDP大数据平台
搭建Hortonworks Data Platform大数据平台Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。目前最新的发布版本是 2.5.1。就 Ambari 的作用来说，就是创建、管理、监视Hadoop 的集群，但是这里的 Hadoop 是广义，包括的是 Hadoop 整个生态圈（例如 Hive，H...
2019-07-16 15:57:08
4998
4
原创 Doris的安装和部署（Failed to find 3 backends for policy）
Failed to find 3 backends for policy 异常
2022-08-25 15:08:53
4896
3
原创 SparkStreaming实时消费Kafka数据，批量写入Mysql数据库，Java版本
SparkStreaming实时消费Kafka数据，批量写入Mysql数据库，Java版本
2022-07-04 16:32:36
1492
原创 SparkStreaming消费Kafka数据，实时批量插入ElasticSearch，Java版本
SparkStreaming消费Kafka数据，实时批量插入ElasticSearch，Java版本
2022-07-04 16:08:28
515
原创 SparkStreaming消费Kafka，数据实时写入Hbase集群，Java版本
SparkStreaming消费Kafka，数据实时写入Hbase集群，Java代码
2022-07-03 20:34:49
781
原创 SparkStreaming消费Kafka无法消费持续阻塞（无异常信息）
产生背景：由于工作需要，目前现有查询业务，其他厂商数据库无法支持，高效率的查询响应速度，于是和数据总线对接，实现接入数据，自己进行数据结构化处理。技术选型：SparkStreaming和Kafka和ElasticSearch本人集群：SparkStreaming 版本2.3，Kafka的Scala版本2.11-Kafka版本0.10.0.0（Kafka_2.11-0.10.0.0.jar）消息总线集群：Kafka总线版本，Kafka_2.10-0.10.2.1.jar由上述可...
2022-04-28 17:20:20
2580
原创 Java源代码加密工具（Allatori）用法说明
一、Allatori简介 Allatori 是第二代 Java 混淆器，可为您的知识产权提供全方位的保护。尽管大多数第二代混淆器都提供了值得保护的级别，但我们已经在Allatori中开发了许多附加功能，以使对代码进行逆向工程几乎不可能。Allatori 不仅会混淆，还会最大程度地减少应用程序的大小并提高速度，同时您和您的团队以外的任何人都无法读取您的代码。作为每个现代 Java 混淆器，Allatori 具有完整的水印功能，从而有可能为您的软件提供适当的许可！如果有必要保护您的软件，并且...
2022-03-30 22:21:00
6434
3
原创 CDH大数据平台内存交换，警告问题
前言 博主在使用CDH大数据平台时发现，CDH长时间运行，Cloudera Manager管理页面在运行Spark任务时候经常会出现内存交换警告，前期博主直接忽略，毕竟不是什么大问题，后期发现如果长时间黄色警告不处理，会误导页面查看集群状态，并且交换空间所占用磁盘空间越来越大，并且警告越来越多，后续还会有从黄色变为红色异常等情况，后进入管理界面发现，CDH在安装时，Linux操作系统，有选择交换空间地址交给CDH内存不足情况下使用，测试发现手动释放会解决，管理界面警告问题（黄色警告，看着也不...
2020-07-30 18:21:56
3784
1
原创 Hadoop大数据系列之NoSql海量数据库Hbase入门Shell篇（二）
Hbase的shell命令①、进入Hbase操作hbase shell说明：【搭建好了大数据平台前提下，直接在任何路径下（配置环境变量了）】我们看看HBase Shell的一些基本操作命令，列出了几个常用的HBase Shell命令，如下 名称 命令表达式 创建表 create '表名称', '列名称1','列名称2','列名称N' 添加记录 put '表名......
2020-06-03 16:03:56
531
原创 Hadoop大数据系列之NoSql海量数据库Hbase详解原理篇（一）
Hbase的引言：一、什么是Hbase： hbase是Apache 组织开源的顶级项目 distributed, scalable, big data store 产品。 hbase是Google 的BigTable论文的开源实现。 hbase是基于Hadoop的一个NoSQL产品 Column类型的NoSQL。 hbase是Google BigTable的开源实现, 数据存储于Hdfs上。 hbase运行亿级别数据查询时，效率可...
2020-06-01 15:37:38
2919
原创 Hadoop大数据平台数据迁移方案（跨集群）
1、准备大数据平台迁移工作 由于公司项目业务需求，需要将两个项目的大数据平台进行迁移，业务数据进行跨平台平移。前提（大数据平台之间网络互通）第一种方案（Linux原生远程Shell命令拷贝）①将Hive数据通过MR写到其他Linux文件夹中：hive> insert overwrite local directory '/usr/test' select * from test;上述是通过MR任务计算！② 通过Linux原生SCP拷贝将本机文件复制到远程服...
2020-05-11 17:12:15
3688
原创 【白话】10分钟看懂Docker和K8S是什么☺
2010年，几个搞IT的年轻人，在美国旧金山成立了一家名叫 dotCloud 的公司这家公司主要提供基于PaaS的云计算技术服务。具体来说，是和LXC有关的容器技术LXC，就是Linux容器虚拟技术（Linux container）后来，dotCloud公司将自己的容器技术进行了简化和标准化，并命名为——DockerDocker技术诞生之后，并没有引起行业的关注。而dot...
2019-07-22 13:28:52
423
原创 Hbase、Elasticsearch，Spring Boot Swarger 整合中Jar包冲突问题
问题背景在大数据平台中，项目搭建需要使用es和HBASE搭建数据查询接口，整合的过程中出现jar包冲突的bug :com.google.common.base.Stopwatch.()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocatororg.apache.hadoop.hbase.DoNotRetryIOExcep...
2019-07-18 14:44:06
724
原创 【Spring Boot Web容器集成调用Hbase】 java.io.IOException: No FileSystem for scheme : hdfs
Maven下项目使用没有任何问题，但是使用Spring boot 项目就出问题，怀疑是容器问题，查阅了相当多的资料，所有的大部分解决方案都是 拷贝core-site.xml到本地项目中，然后将下列配置添加到core-site.xml配置文件中，然后重新编译项目，然后再进行PostMan访问，发现还是不行，同样报错第一种，解决方案来源：https://blog.csdn.net/dufufd/a...
2019-07-17 18:17:08
889
原创 Could not locate executable null\bin\winutils.exe in the Hadoop binaries 【使用Spring Boot 项目操作Hbase报错】
使用Maven的Java项目，连接Hbase服务器不会报错，但是将相同的代码，拷贝到Spring Boot项目中就会报错，怀疑过是不是容器出了问题。Could not locate executable null\bin\winutils.exe in the Hadoop binaries百度查询各种答案，发现网络博客口径普遍都是说 缺少Hadoop的系统环境变量，如果下载的Hado...
2019-07-17 14:32:08
1133
原创 Kafka从入门到基础使用
一、消息队列介绍和kafka1、消息队列（MQ:Message Quene）概念： 存储消息（数据）的容器。容器具有队列的特点（按照顺序先进先出）FIFO。2、消息队列中数据的处理模型：2.2、传统数据的处理模型2.3、消息队列中数据的处理模型（发邮件）3、消息队列的核心组件及其运行模式：3.1、核心组件： producer...
2019-07-05 19:11:37
614
原创 Docker同一个宿主机不同容器之间通信问题
一、为什么要书写此文档？因为Docker容器思想一个容器只做一件事，所以JavaWeb整体会在一个容器中，数据库（Mysql，redis，Hbase）会单独存在另一个容器中，势必会造成容器之间的通信，由于Docker容器之间采用沙箱隔离运行机制，所以在不同容器之间数据通信就成了一个大问题！二、如何解决容器之间数据通信问题？（link第一种方式）有两种方案，第一种搭建容器的桥接网络（...
2019-07-05 14:00:54
4646
原创 基于Docker容器的MySql主从复制环境搭建
第一步：准备Mysql的Docker的镜像文件当前Docker的镜像文件名字为：mysql.tar 备注：当前Mysql数据库 用户名为：root 密码为root保证Docker容器启动成功的状态使用Docker load 命令进镜像文件加载到Docker镜像中docker load < mysql.tar 等待加载加载完毕之后docker image...
2019-07-05 13:29:11
160
原创 Linux释放内存空间
Linux释放内存空间 Linux服务器运行一段时间后，由于其内存管理机制，会将暂时不用的内存转为buff/cache，这样在程序使用到这一部分数据时，能够很快的取出，从而提高系统的运行效率，所以这也正是linux内存管理中非常出色的一点，所以乍一看内存剩余的非常少，但是在程序真正需要内存空间时，linux会将缓存让出给程序使用，这样达到对内存的最充分利用，所以真正剩余的内存是free+bu...
2019-07-04 18:22:51
1285
原创 Docker容器中搭建JavaWeb环境
第一步当前虚拟机上有Docker，安装下载Docker，运行Docker环境【详情见博客】https://blog.csdn.net/weixin_38822045/article/details/82181863第二步下载需要的JDK8的Linux文件，Tomcat8，Nginx，Mysql等在Linux创建文件夹，将上述文件上传到宿主机创建的文件夹上第三步在Doc...
2019-07-01 19:03:18
491
原创 使用UClound云服务器Apache httpd服务器403 forbidden的问题
一、安装Httpd服务yum install -y httpd二、将对应的服务页面拷贝到文件下 /var/www/html三、启动httpd服务：systemctl start httpd四、通过Windows浏览器访问本地资源地址，请求一直失败问题排除：在Linux中的防火墙是否关闭，Linux的SELinux是否关闭关闭防火墙和开机禁止启动：systemctl ...
2019-07-01 14:21:03
345
原创 Azkaban的（集群）分布式下载，编译，安装
azkaban轻量级工作流调度系统，由多个组件组成，其中最基础有三部分，分别为db、web-server、exec-server。web-server提供了可视化的界面管理，作业配置；exec-server则是来执行具体的作业，该组件可配置集群。Azkaban三种部署模式，solo-server模式【单机】two-server模式【2执行器】分布式multiple-executo...
2019-06-13 16:41:09
2099
原创 Linux的Crontab的定时任务编写
第一步：安装CronTab此处省略第二步：编辑CronTab 书写定时配置crontab -e每天早上8点执行0 8 * * * /mnt/disk1/Other/PushDataServer/Strat_Push_Data.sh每天下午14点执行0 14 * * * /mnt/disk1/Other/PushDataServer/Strat_Push_Data.sh...
2019-06-12 14:10:40
297
原创 Linux下安装mysql-5.7版本 [mysql-5.7.26-linux-glibc2.12-x86_64.tar.gz]
备注：由于现在默认Linux默认使用的都是Centos7，默认会安装Mysql,需要手动先进行卸载，如果卸载后续，安装启动的时候，自己安装的MySql启动的时候回调用系统自带的配置文件，启动会各种异常.......第一步：查看mysql安装 rpm -qa|grep -i mysql第二步：卸载Mysql rpm -ev --nodeps 【上一步查询...
2019-06-11 18:29:34
7005
原创 PostgreSQL的下载和安装使用步骤
第一步：下载地址https://www.postgresql.org/第二步：点击Download，就来到下载页，这里点击Linux下面的Other Linux选项，然后点击下方的tar.gz archive下载二进制归档第三步：然后就来到最终的pgsql下载页了，地址为https://www.enterprisedb.com/download-postgresql-bin...
2019-06-03 18:43:57
16440
9
转载 Linux查看Redis路径
which 和whereis 都找不到安装目录ps -ef|grep redis得到了进程号 xxxxroot 19711 1 0 16:58 ? 00:00:00 ./redis-server 127.0.0.1:6379root 20699 18972 0 17:01 pts/1 00:00:00 ./redis-cliroot ...
2019-04-28 17:07:22
3607
原创 使用JDBC进行数据插入表情包☺☺☺异常
问题：由于业务需求，需要将别人数据库的数据，迁移数据进入自己的Mysql数据库，同时还有HDFS数据到Mysql数据库中，均发现数据乱码问题，由数据乱码发现，插入的数据出错为表情包，经过查阅资料发现，数据库的表情 字符集为 UTF8mb4，是UTF8的数据集的超集？ UTF-8 可以存储正常的数据，但是无法存储表情等数据，尝试过在MySql的Url链接上实现了设置编码集，但是均不支持UTF8mb...
2019-04-25 18:14:25
486
原创 ElasticSearch6.0.1 拼音搜索，并且高亮显示结果 —6.X版本
业务需求：公司项目需要搜索实现拼音搜索，中文搜索，并且需要支持拼音中文混合搜索，同时支持简拼搜索，并且高亮搜索字段的结果在公司之前的业务需求下，发现的一个拼音和中文混合搜索的时候，实际使用拼音搜索并且返回结果进行高亮查询的时候，发现的一个问题，高亮标签无法使用，参考百度，CSDN，ElasticSerach中文社区，发现提出当前问题的人很多，基本没有一个好的解决方案，至此，我写了这一篇博...
2019-04-15 10:04:00
4181
4
原创 Azkaban工作调度入门到项目中熟练使用
1. Azkaban是什么？ Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies 来设置依赖关系，这个依赖关系必须是无环的，否则会被视为无效的工作流。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的w...
2019-04-09 16:38:54
579
原创 ElasticSearch创建拼音中文查询，拼音简拼，同时设置添加字段的动态模板
第一步：安装拼音分词器，IK分词器，我在上一篇博客中https://blog.csdn.net/weixin_38822045/article/details/88970264第二步：创建索引PUThttp://IP:端口/index_nameEg :PUThttp://192.168.1.245:9200/b_and_rPUT http://192.168.1.24...
2019-04-09 11:07:06
1786
3
原创 ElasticSerach6.0.1测试拼音分词器，IK分词器，并且次测试语法
第一步：安装ElasticSearch 6.0.1 下载ElasticSerach,下载IK分词器由于IK和ElasticSerach已经是编译好的，不需要编译，直接在安装解压修改配置文件即可详情请见另一篇安装博客：https://blog.csdn.net/weixin_38822045/article/details/85612242第二步：下载拼音分词器由于拼音分词器并非编译...
2019-04-02 13:47:26
2000
1
HTTP状态码详解.pdf
2019-07-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人