- 博客(196)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 java替换jar中的class文件
将1步骤中编译好的class文件上传到服务器上，上传目录为2中获取的路径。覆盖原始的class文件。将需要修改的class文件代码复制到java编译工具中，代码改好以后编译成class文件。在调整java代码过程中会遇到需要改jar包中的class文件的情况，改了如何替换呢？在服务器上执行，注意是在jar目录中执行解压。重新把替换后的class文件压缩到jar中。如果需要替换多个class文件，命令改成即可。在linux服务器上执行。
2024-02-22 15:57:49
850
原创 linux发送邮件mail详解
这两天由于二十大，公司对数据安全进行了管控，发送数据时不能将数据下载到个人电脑上，上网研究了下，可以通过linux服务器mail命令直接发送邮件，不用将数据下载下来。
2022-10-20 14:10:46
3966
原创 redis安装及集群搭建
将 /data/redis/redis-5.0.8/redis.conf 配置文件复制到 /data/redis/redis-5.0.8/confs 中。分别在2个服务器上执行restart-redis.sh 启动所有节点redis。启用主从配置（通过redis客户端执行命令 ），将所有节点加入集群。编辑配置 (2台服务器6个节点，每台服务器启动3个节点)通过redis-cli -c 进行集群方式连接。2.在其他节点上进行查询，看是否数据正常同步。1.连接任意一个节点，set 测试数据。...
2022-08-18 19:31:30
625
原创 flink设置登录密码
在nginx 配置中添加 如下配置，ip为访问flink服务器ip，一般flink端口为8081，通过nginx转发以后，调整访问端口，这里调整端口为8090。flink 进行standalone安装候，不需要登录密码，可以知己而直接访问，存在一定安全隐患，可以通过nginx以及httpd实现密码验证。重启号以后，访问flink 需要地址改为http://192.168.1.8:8090/flink .并且需要输入用户密码。添加配置完成以后，重启nginx，...
2022-08-18 19:19:11
5579
7
原创 Nginx应用域名访问限制不严格漏洞修复
公司在对Nginx应用进行漏洞扫描时，也存在域名访问限制不严格漏洞修复。注意，经过验证如果直接配置返回 404 或者500，仍然能扫描到漏洞。在nginx配置文件 nginx.conf 中添加 根目录转发配置。解决问题思路和tomcat一样，当请求ip,时返回空白页面。浏览器直接访问 ip地址时，页面返回了nginx首页地址。访问ip 时，返回了空白页面。...
2022-08-17 14:31:47
2719
原创 Tomcat应用没有严格的域名限制漏洞修复
修改 index.jsp为刚创建的 index_new.jsp。这里的index.jsp就是tomcat官网那个页面。Tomcat应用进行漏洞扫描时存在漏洞:Http请求的Hostname字段没有严格的域名限制，导致可以绕过一些防护措施。进入tomcat根目录/webapps/ROOT目录下，创建空白文件 index_new.jsp。可以直接访问链接 IP:8080，页面展示tomcat官方地址。看到访问IP:8080，返回了空白页面，再次进行复扫，验证通过。进入tomcat安装目录/conf目录。....
2022-08-17 14:18:23
2265
原创 linux oracle12c 安装后基本配置
1 、监听配置1.1 listener.ora 配置1.2 tnsnames.ora配置1.3 重启监听1.4 远程连接测试2、设置数据库开机自启动2.2 oratab配置2.3 rc.local配置2.4 验证是否启动能否执行2.5 重启验证是否自启动在上篇博客[oracle12c linux安装教程]，安装后还需要对数据库进行其他设置。1 、监听配置1.1 listener.ora 配置oracle用户下cd $ORACLE_HOME/network/adminvim listener.o.
2021-07-08 16:24:48
747
原创 oracle12c linux安装教程
1、安装包下载2、 环境准备2.1 安装gcc2.2 内核参数设置2.3 资源限制配置2.4 硬件环境准备2.5 Xmanger 安装2.6 创建用户和组2.7 图像界面设置2.8 上传并解压3、安装3.1 执行安装命令3.2 安装选择3.3 环境变量配置4、验证4.1 启动pdb4.2设置pdb随cdb自启动1、安装包下载安装包官网下载地址：http://www.oracle.com/technetwork/cn/database/enterprise-edition/downloads/index.
2021-07-08 15:33:11
3109
6
原创 flink+kafka实例
1、kafka集群搭建2、java工程部署3、创建主类 FlinkReadKafka4、启动 zk5、启动 kafka 集群6、创建topic7、运行代码8、创建生产者和消费者1、kafka集群搭建zookeeper集群以及kafka集群搭建详见博客：kafka集群搭建。只是本文将kafka版本升级为0.11.0.3。2、java工程部署java maven 工程大部署详见基于flink实现的worldcount，本位只需要讲maven 工程pom配置文件增加 kafka 连接器3、创建主类 .
2021-07-05 00:31:41
1428
2
原创 flink集群搭建
1 flink下载2.上传安装包3 解压4 修改配置文件4.1 配置slaves4.2 修改配置文件flink-conf.yaml5 传送安装包到集群其他服务器6 启动集群7 验证7.1 本地提交作业7.2 打包提交作业1 flink下载flink 官方下载地址：https://flink.apache.org/downloads.html本示例下载1.7.12.上传安装包3 解压tar -zxvf flink-1.7.1-bin-hadoop26-scala_2.11.tgz -.
2021-06-30 16:00:21
207
原创 基于flink使用对象封装实现worldcount
在上一篇博客：基于flink实现的worldcount通过flink自带的Tuple实现了单词统计，本文在上一篇博客环境基础之上，通过封装对象实现。1、创建WordDtopublic class WordDto { private String word; private Integer count; public WordDto() { } public WordDto(String word, Integer count) { this.w
2021-06-10 23:51:27
249
3
原创 基于flink实现的worldcount
Flink框架主要应用针对流式数据进行有状态计算。Flink使用java语言开发，提供了scala编程的接口。使用java或者scala开发Flink是需要使用jdk8版本，如果使用Maven，maven版本需要使用3.0.4及以上，Flink同时也支持使用python进行开发，需要在python中安装PyFlink 包本实例基于flink1.7.1。创建maven工程，pom配置文件如下：<?xml version="1.0" encoding="UTF-8"?><proje
2021-06-09 00:49:30
670
3
原创 kafka整合flume实例
一 环境准备1.1 kafka集群部署kafka集群搭建详见：kafka集群搭建。本文不再进行讲解。1.2 flume下载flume下载地址：archive.apache.org/dist/flume1.3 解压flume安装包在 node0上解压flume压缩包 tar -xvf apache-flume-1.6.0-bin.tar.gz -C /opt/app/1.4 flume环境变量配置解压后，在配置文件 /etc/profile添加export FLUME_HOME=/op
2021-05-07 00:50:59
242
4
原创 kafka集群搭建
1 规划2 Zookeeper集群准备3 安装包准备4 安装4.1 解压4.2 配置环境变量4.3修改server.properties4.4 同步Kafka安装目录5 启动集群5.1 启动zookeeper集群5.2 启动 Kafka集群6 测试6.1创建主题6.2 创建生产者6.3 创建消费6.4 动态消费6.5 查看消费者偏移量1 规划准备4台虚拟机，规划如下主机node0node0node2node3节点ZooKeperZooKeperZooKeper.
2021-04-30 00:20:05
231
原创 Python3.6 linux 源码安裝教程
一 安裝前准备1.1 安装 gcc需要安装 gcc，gcc本地仓安装详见redis 集群搭建中：2.4 安装 gcc tclyum install gcc tcl -y 1.2 下载python下载地址二、安装2.1 上传文件到服务器2.2 解压 tar -xzvf /apps/Python-3.6.4.tgz 2.3 配置编译进入Python 目录cd Python-3.6.4./configure --prefix=/opt/app/python --enable-s
2021-04-13 22:37:39
358
原创 redis 集群搭建
1、规划2 redis安装2.1 redis下载2.2 解压2.3 本地yum准备2.4 安装 gcc tcl2.5 编译2.6 安装2.7 配置文件3 启动redis服务器4 gem 安装4.1 redis-trib.rb准备4.2 安装ruby以及rubygems4.3 redis.gem5 启动集群6 连接集群测试7 集群启动停止脚本7.1 启动脚本7.2 停止脚本7.3 授权7.4 停止集群在上一篇博客redis简单主从复制的实现简述了redis主从复制的搭建，其中也知道主从复制存在如下问题.
2021-02-04 01:20:17
194
转载 【Zookeeper灵魂】一个关于Paxos算法的故事
算法也源于生活，Paxos算法故事，非常有趣的故事。 Zookeeper默认采用FastLeaderElection算法,然而FastLeaderElection对于Zookeeper来讲只是相当于paxos中的leader选举。 下面我们用最简单的方式加以描述并建立起Paxo
2021-02-03 22:39:29
184
原创 redis简单主从复制的实现
1、规划2、启动时或者启动后手动设置Slave2.1 启动master2.2 启动63802.3 验证63802.4 设置63812.5 验证63813、配置文件方式3.1 拷贝redis.conf3.2设置6379配置文件3.3设置6380配置文件3.4设置6381配置文件3.5 启动3.6 验证4、主从复制问题Redis主从复制 Replication从服务器执行客户端发送的读命令，比如GET、LRANGE、SMEMMBERS、HGET、ZRANGE等等客户端可以连接Slaves执行读请求，来降低M.
2021-01-30 00:51:17
151
1
原创 hbase完全分布式的搭建
最近开始接触hbase，就从hbase完全分布式搭建开始记录一下。hbase完全分布式的搭建基于hdoop ha搭建基础上，hdoop ha搭建见:Hadoop MapReduce HA搭建 1 规划2 解压hbase3 配置3.1 配置hbase_home3.2 配置java_homey以及外部使用的zk3.3 配置 regionservers3.4 配置backup master3.5 配置zookeeper3.6 配置hdfs4 拷贝安装文件5 启动hbase集群6 验证6.1进程验证6.2 hba
2021-01-21 00:04:51
714
原创 hive本地多用户模式 启动报错Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
在搭建hive本地多用户模式中，启动hive报错Exception in thread “main” java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient.再往下还能看到错误信息java.sql.SQLException: Unable to open a test connec
2021-01-05 22:23:50
199
原创 oracle 存储过程使用create table报错ORA-01031: insufficient privileges问题处理
在使用存储过程进行建表时，提示没有权限 ：ORA-01031: insufficient privileges 如下图所示存储过程代码如下：CREATE OR REPLACE PROCEDURE sp_test IS v_sql VARCHAR2(500); ----------备份表 v_sql := 'create table t_test as select * from user_tables' ; EXECUTE IMMEDIATE
2020-12-09 00:25:36
2622
原创 Hadoop MapReduce HA搭建
MRAppMaster中如果ResourceManager 宕机了怎么办，与hadoop中的namenode问题一样，同样可以将RM搭建高可用。 1、规划2、配置文件2.1 mapred-site.xml2.2 yarn-site.xml2.3 把配置文件传到 其他服务器上2.4 修改启动文件3、启动集群4、验证4.1 页面验证4.2 高可用验证1、规划准备四台虚拟机，规划如下主机node2node3node4node5节点NameNodeNameNode节
2020-11-29 00:51:47
323
原创 hadoop mapreduce java 单词统计三个实现方法
1、统计文件准备1.1 创建需要统计单词的文件1.2 上传到hdfs文件系统上2、创建java项目2.1 配置文件2.2 java代码2.2.1 WordCountMapper 类2.2.2WordCountReducer 类2.2.3 MainClass 类3、参数设置4、运行结果hadoop MapReduce框架可以让你的应用在集群中：可靠地、容错地、并行、处理TB级别的数据。本实例通过idea运行java本地代码，实现统计单词计数。hadoop集群搭建见hadoop基于zookeper自动.
2020-11-28 23:59:46
1178
原创 idea windows本地访问远程hadoop服务问题
在上一篇博客hadoop基于zookeper自动高可用搭建 搭建好远程的hadoop集群服务后，需要通过本地java代码访问该集群。java结构如下图所示测试类HdfsTest 代码如下：package com.wh.hdfs.test;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;impor
2020-11-24 00:49:52
524
原创 hadoop基于zookeper自动高可用搭建
背景1 机器规划2 安装前准备2.1 创建目录2.2 设置免密登录2.2.1设置主机名字2.2.2 免密登录设置3 安装包准备4 jdk安装5.安装 hadoop6 环境变量文件配置7 zookeper 安装7.1 解压7.2 环境变量配置7.3 zoo.cfg配置7.4 同步配置文件7.5 创建zookeper文件目录7.6 启动 zookeper8 hadoop 配置8.1hadoop java 环境变量配置8.2 core-site.xml8.3 hdfs-site.xml8.4 datanode配.
2020-11-16 01:05:07
404
原创 hadoop 伪分布式搭建实例
1 安装前准备1.1 下载安装包官网下载地址：https://hadoop.apache.org/releases.html。本实例下载2.6.51.3 jdk安装本实例通过rpm方式安装jdk1.8，需要准备jdk1.8rpm安装包安装前先检查是否已安装jdk rpm -qa|grep java上图结果表示没有安装过 rpm -ivh jdk-8u221-linux-x64.rpm 然后配置环境变量查看java 最终的安装路径ls -l /usr/java/可以看到
2020-11-05 00:23:51
530
原创 nginx负载均衡实例演示
1、准备三台虚拟机2、nginx 安装3、web服务器的配置4、修改配置文件4.1 配置方式一4.2配置方式二5、验证5.1 验证方式一5.1 验证方式二之前通过LVS以及keepalived都实现了负载均衡，本实例通过nginx实现1、准备三台虚拟机安装多台虚拟机这里不再进行赘述，三台虚拟机的IP已经配置。分别为192.168.8.63 用作nginx负载均衡调度服务器192.168.8.62 用作后端真是web服务器之一192.168.8.65.用作后端真是web服务器之二2、ngi.
2020-10-29 14:46:47
287
1
原创 nginx 反向代理实例
1、修改配置文件2、重新加载配置文件3、验证接上一篇博客，通过nginx 实现方向代理，实现通过 www.nginx.com/local_62 可以转发到本地 62的http应用上通过 www.nginx.com/helloworld 可以转发到百度上面1、修改配置文件vim /opt/nginx/conf/nginx.confserver 配置如下 server { listen 80; server_name www.nginx..
2020-10-29 11:39:20
295
1
原创 nginx 虚拟多个主机实例
1、拷贝数据到需要下载路径下2、修改配置文件3、 重新加载 nginx.conf4、修改windows本地host文件5、验证Nginx 虚拟主机的实现方式有两种：域名虚拟方式与端口虚拟方式。域名虚拟方式是指不同的虚拟机使用不同的域名，通过不同的域名虚拟出不同的主机；端口虚拟方式是指不同的虚拟机使用相同的域名不同的端口号，通过不同的端口号虚拟出不同的主机。基于端口的虚拟方式不常用。本实例通过使用不同域名，实现虚拟多主机，一个域名访问nginx的首页，一个访问本地页面可以进行下载。1、拷贝数据到需要下.
2020-10-28 10:27:52
591
1
原创 linux 环境nginx源码安装
１、安装准备1.1 下载安装包nginx官网：https://nginx.org/本次下载1.16.11.2 上传安装包下载后将源码上传到/opt/apps目录下，1.3 解压tar -zxvf nginx-1.16.1.tar.gz解压后生成目录如下：这些目录主要作用如下auto：存放 Nginx 自动安装的相关文件conf：存放 Nginx 服务器配置文件configure：命令，用于对即将安装的软件的配置，完成 makefile 编译文件的生成contrib：存放由
2020-10-27 11:52:54
1458
原创 linux centos 环境下Device eth0 does not seem to be present,delaying initialization. 问题处理
今天在克隆虚拟机后，配置好克隆机器的IP后重启网络报错service network restartShutting down loopback insterface: [ OK ]Bringing up loopback insterface:
2020-10-26 00:09:42
355
原创 linux keepalived实现DR模式
1、安装前准备1.1恢复DR模式负载均衡器1.2 再准备一台虚拟机2、安装keepalived3、配置/etc/keepalived/keepalived.conf3.1 先在node0上配置3.2 配置备用服务器4.启动keepalived5.验证在上一篇博客中讲到了DR模式的实现，但是会发现以下几个问题：1、如果将一台RS的httpd服务器关闭，发现请求的时候，响应如果转发到down掉的RS将会出现响应比较慢的情况，有时候还会显示找不到网页。虽然最终或通过启动RS再次给与响应，但是用户提要非常不好.
2020-10-24 23:44:54
1038
原创 负载均衡-LVS DR模式VM环境实例展示
负载均衡中DR模式（Virtual Server via direct routing (vs/dr) ）过改写请求报文的目标MAC地址，将请求发给真实服务器的，而真实服务器响应后的处理结果直接返回给客户端用户。同TUN模式一 样，DR模式可以极大的提高集群系统的伸缩性。而且DR模式没有IP隧道的开销，对集群中的真实服务器也没有必要必须支持IP隧道协议的要求。但是要求调 度器LB与真实服务器RS都有一块网卡连接到同一物理网段上，必须在同一个局域网环境。DR模式是互联网使用比较多的一种模式。废话不多说直接上
2020-10-22 23:46:05
224
原创 centos 6上 yum检查epel源是否添加成功报错 Cannot retrieve metalink for repository问题处理
在我们使用yum安装时，经常发现没有第三方源，此时需要安装epel(Extra Packages for Enterprise Linux，企业版Linux的额外软件包) Epel是什么？它是Fedora小组维护的一个软件仓库项目，为RHEL/CentOS提供他们默认不提供的软件包。这个源兼容RHEL及像CentOS和Scientific Linux这样的衍生版本。安装epel以后，我们可以很容易地通过yum命令从EPEL源上获取上万个在CentOS自带源上没有的软件。EPEL提供的软件包大多基于其对应的
2020-10-07 23:17:59
722
原创 kettle 记录日志功能实现
日志是数仓很重要的组成部分，能记录到每个job，每一步的执行起止时间，错误信息。kettle有强大的日志功能。实现形式有控制台打印，后台日志表。控制台打印如下2、日志记录表双击job中的空白区域，进入日志界面如下下图所示：日志表名可以任意取，然后日志表字典根据需要确定。然后选择sql，得到创建日志表sql然后执行，日志表已经创建好了。然后保存，执行job。通过数据库查看运行日志记录SELECT t.* FROM etl_log t;从日志中可以看到运行时间，状态，但是对
2020-09-17 23:29:23
8864
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人