persistence勿忘初心

功不成，名不就，何以游戏人生！努力到无能为力，拼搏到感动自己，路漫漫其修远兮，吾将上下而求索..喜欢的请关注一波,不迷路

import org.codehaus.jettison.json.JSONException;import org.codehaus.jettison.json.JSONObject;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.io.UnsupportedEncodingException;import java.net...

2020-07-24 10:20:35 10589 1

原创 “/mnt/data/nginx/proxy/3/33/0000001333“ failed (13: Permission denied) while reading upstream, clien

当http请求访问nginx,转发到网关，再到各服务之后，图片和音视频各种问题，偶尔不会显示nginx的错误2020/07/23 11:06:19 [crit] 15650#0: *176052 open() "/mnt/data/nginx/proxy/3/33/0000001333" failed (13: Permission denied) while reading upstream, client: IP, server: localhos...

2020-07-23 14:18:38 9282

原创 he server time zone value ‘?й???????‘ is unrecognized or represents more than one time zone.

mysql的5.5高版本的驱动不太一样了博主强烈推荐：https://blog.csdn.net/persistencegoing/article/details/84376427希望大家关注我一波,防止以后迷路,有需要的可以加群讨论互相学习java ,学习路线探讨,经验分享与java求职群号:721 515 304...

2020-07-18 17:04:49 9245

原创 java与HBase的数据增删改查，清空，建表与文件上传下载操作

1.pom <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.3.0</version> <exclusions> <exclu

2020-07-16 09:24:50 6476

原创 NotServingRegionException: hbase:meta,,1 is not online on IP,16020,1594695695496

数据损坏导致当前数据存放的regin无法使用，使用hadoop fsck检查是否有损坏块解决方案：先停止hbase重启hbase访问正常博主强烈推荐：https://blog.csdn.net/persistencegoing/article/details/84376427希望大家关注我一波,防止以后迷路,有需要的可以加群讨论互相学习java ,学习路线探讨,经验分享与java求职群号:721 515 304...

2020-07-14 11:16:16 3852

原创 hbase上传大文件遇到的错误

1.本地运行环境Java heap space（1）idea配置-Xms6024m -Xmx6024m -XX:MaxPermSize=6024m（2）windows 执行 mvn install 出现 java.lang.OutOfMemoryError: Java heap space配置环境变量:MAVEN_OPTS =-Xms512m -Xmx1024m然后在 path中加入%MAVEN_OPTS%（3）IDEA 打包出现...

2020-07-08 18:15:14 7739

原创 linux设置北京时间

1.linux设置24小时修改2.显示时间不对，设置时区博主强烈推荐：https://blog.csdn.net/persistencegoing/article/details/84376427希望大家关注我一波,防止以后迷路,有需要的可以加群讨论互相学习java ,学习路线探讨,经验分享与java求职群号:721 515 304...

2020-07-08 11:57:50 6317

原创 XXL 的JobSpringExecutor自动获取IP不对

1.配置xxl.job.admin.addresses=http://192.168.31.53:8080/xxl-job-admin### xxl-job executor addressxxl.job.executor.appName=carp-business-job-executor### xxl.job.executor.ip=192.168.31.118xxl.job.executor.port=9988### xxl-job, access tokenxxl.job

2020-07-07 14:35:14 10629

原创对get/post请求的参数，进行处理，将字符串前后空格置换

1.import com.cdls.carp.business.filter.ParamsFilter;import org.springframework.boot.web.servlet.FilterRegistrationBean;import org.springframework.context.annotation.Bean;import org.springframework.context.annotation.Configuration;import javax.serv

2020-07-07 11:46:29 5933

原创 json数据转对象，对象属性名与json的key不同的解决方案

fastJSON用@JSONFieldjackjson用@jsonpropertyhttps://blog.csdn.net/u012260238/article/details/84916471

2020-07-07 11:24:31 1858

原创 hbase shell的命令

启动hbase之后一、基础命令1.hbase shell2.help3.help 'status'4.version二、表1.list2.create ‘表名称’, ‘列族名称1’,‘列族名称2’,‘列名称N’3.(1)desc ‘表名’(2)describe‘表名’4.# 禁用表disable '表名'# 检查表是否被禁用is_disabled '表名'# 启用表enable '表名'# 检查表是否被启用is_enable...

2020-07-06 16:09:44 5550

原创 hbase基础

基础知识1.组成结构2.表结构3.hbase查询方式博主强烈推荐：https://blog.csdn.net/persistencegoing/article/details/84376427希望大家关注我一波,防止以后迷路,有需要的可以加群讨论互相学习java ,学习路线探讨,经验分享与java求职群号:721 515 304...

2020-07-02 15:59:01 5348

原创 centos配置yum源

1.常用yum源1、163官网：http://mirrors.163.com/官网：http://mirrors.163.com/centos/6/os/x86_64/KEY：http://mirrors.163.com/centos/6/os/x86_64/RPM-GPG-KEY-CentOS-62、sohuhttp://mirrors.sohu.com/http://mirrors.sohu.com/centos/6/os/x86_64/http://mirrors.so

2020-06-30 18:09:53 5672

原创 ORDER BY clause is not in GROUP BY clause

执行SQL报错报错如下：[Err] 1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggregated column 'information_schema.PROFILING.SEQ' which is not functionally dependent on columns in GROUP BY clause; this is incompatible w...

2020-06-30 09:24:45 5494

原创 springcloud+vue+nginx线上部署

这玩意弄了好久部署有两种1.vue+tomcat（单服务）2.vue+nginx我这里为什么不用tomcat,因为nginx可以很好的解决跨域的问题我的组件：springcloud(网关+nacos+各服务)vuenginx请求流程图：上图的流程：1.网页请求nginx的端口2.nginx映射到vue的index.html3.vue代码自动根据nginx配置ip:端口+接口地址再次发请求到n...

2020-06-19 20:57:09 7045 8

原创 without updating pid file

starting MySQL...ERROR! The server quit without updating PID file（/var/run/mysqld/mysqld.pid）这个东西有点玄学关闭是正常关闭的，但是重启就报错，然后我自己把这个文件创建好，重启又是这个错误，而且文件不存在了，最大的可能就是datadir配置的路径没有权限1、可能是/mysql/data/mysql.pid文件没有写的权限解决方法：给予权限，执行“chown -R mysql:...

2020-06-15 21:03:37 4264

原创 linux如何mount挂载磁盘并设置开机自动mount

举例说明：新增磁盘的设备文件名为 /dev/vdc 大小为900GB。#fdisk -l 查看新增的的磁盘1、对新增磁盘进行分区#fdisk /dev/vdc按提示操作 p打印 n新增 d 删除 w操作生效 q退出操作后 w#partprobe 强制让内核重新找一次分区表（更新分区表）这里我们新增一个分区 /dev/vdc 大小为900GB2、分区格式化#mkfs -t ext4 /dev/vdc 格式化为ext4格式3、将新硬盘临时挂载在一...

2020-06-15 12:18:03 2067

原创 linux安装redis(tar包)

下载东西链接：https://pan.baidu.com/s/1c-e7ExOYDaReMy0G9dvkSA提取码：dws3链接：https://pan.baidu.com/s/1RXGzArHGdVgIcVvqcrkNPQ提取码：chs1点击开始下载使用xshell 和 xftp将tar上传到服务器中路径 /usr/tool/解压 tar -xvzf 文件名将文件名改名redis编辑redis.conf文件修改1.2.3....

2020-06-11 18:16:25 5800

原创能够ping通Centos 7.4，但telnet无法访问

先用ping ip是否能ping通ping通以后看telnet服务是否能连接ip如果不能连接则查看虚拟机中的防火墙是否关闭CentOS中防火墙程序主要是firewall和iptables，CentOS7中firewall服务已经默认安装好了，而iptables服务需要自己用yum install iptabes-services来安装他们的不同https://blog.csdn.net/weixin_40658000/article/details/787083751.2....

2020-06-10 14:29:12 6545

原创 HBase启动是否成功、Phoenix安装和Squirrel安装

HBase启动是否成功有这三个东西，证明hbase启动成功了，也可以看看hbase的日志描述　　现有hbase的查询工具有很多如：Hive，Tez，Impala，Shark/Spark，Phoenix等。今天主要记录Phoenix。　　phoenix，中文译为“凤凰”，很美的名字。Phoenix是由saleforce.com开源的一个项目，后又捐给了Apache基金会。它相当于一个Java中间件，提供jdbc连接，操作hbase数据表。　　但是在生产环境中，不可以用在OLTP中。在线

2020-06-10 09:31:03 2443

原创 springboot部署启动该读取nacos配置报出YAMLException

在开发的过程中读取nacos里面的配置都是正常的，但是在部署启动的时候确实出现了org.yaml.snakeyaml.error.YAMLException: java.nio.charset.MalformedInputException: Input length = 1异常，根据查看是由与读取的时候编码错误，导致读取到的配置文件也是错误的。其主要原因时其中的中文，去掉中文也是可以正常启动的，但是中文时我们的注释，去掉之后会影响配置的可读性，所以，我们在启动的时候可以设置编码方式。通常的启动方式：.

2020-06-06 14:09:07 3508 1

原创 Java 后端读取视频文件获取视频流后前端进行播放/下载

/** * 响应ContentType * @author xrj * @date 2020/6/5 */public class ContentTypeConstant { /** * 视频播放 */ public static final String VIDEO_TYPE="video/mp4"; public static final String FILE_TYPE="application/force-download";...

2020-06-06 13:27:07 8464 4

原创安装hbase,使用hbase自带的zookeeper

centos环境1.我使用的是稳定版本的hbase：hbase-1.2.4-bin.tar.gz下载地址：http://www-eu.apache.org/dist/里面有个stable版本的2.配置环境变量（1）vi /etc/profile编辑模式加入export HBASE_HOME=/usr/local/hbase/hbase-1.2.4export PATH=$PATH:$HBASE_HOME/bin退出编辑模式source /etc/profile..

2020-06-03 21:51:48 2337

原创环境变量IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

windows下运行hadoop的程序报错java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.在windows启动idea远程连接hbase,这个winutil.exe主要用于模拟linux下的目录环境。需要这个辅助程序才能运行web应用解决办法：下载winutils地址https://github.com/srccodes/hadoop-common.

2020-06-03 19:55:17 5706

原创 java.lang.NoClassDefFoundError: org/apache/htrace/SamplerBuilder

启动看日志报错java.lang.NoClassDefFoundError: org/apache/htrace/SamplerBuilder at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:644) at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:628) at org.apache.hadoop.hdfs.Distri...

2020-06-03 16:29:12 5940

原创 IOException: Incompatible clusterIDs in /home/hadoop/hadoopinfra/hdfs/datanode: namenode clusterID =

hadoop格式化：java.io.IOException: Incompatible clusterIDs in /home/lxh/hadoop/hdfs/data: namenode clusterID1 概述解决hadoop启动hdfs时，datanode无法启动的问题。错误为： java.io.IOException: Incompatible clusterIDsin/home/lxh/hadoop/hdfs/data: namenode clusterID = CID-..

2020-06-03 14:35:39 5711

原创获得全国地区表

表CREATE TABLE `b_area` ( `id` bigint(18) NOT NULL COMMENT 'id', `name` varchar(50) NOT NULL COMMENT '名称', `full_name` varchar(255) DEFAULT NULL COMMENT '全称', `address` varchar(255) DEFAULT NULL COMMENT '详细地址', `pinyin` varchar(50) DEFAULT NULL ...

2020-06-02 15:48:58 5328

原创 @Cacheable注解不生效原因

@Cacheable注解应用了AOP动态代理，生成代理类，判断redis中是否存在该key，如果不存在则调用被代理类的标有@Cachable注解的方法，否则不执行。所以当类A的方法a调用方法b(标有@Cacheable注解)，由于类内部的方法互相调用不会生成代理类，所以注解不会生效，也不会进行缓存。解决方法：将方法b放入到类B中，然后类A的a方法调用类 B的b方法。博主强烈推荐：https:/...

2020-05-29 17:44:08 1189

原创自定义mybatis拦截器

在自定义mybatis拦截器中，如果通过@Autowired注入对象会报错解决方案import lombok.extern.slf4j.Slf4j;import org.apache.ibatis.executor.Executor;import org.apache.ibatis.mapping.MappedStatement;import org.apache.ibatis.mapping.SqlCommandType;import org.apache.ibatis.plugin.

2020-05-29 14:53:24 544 4

原创 Permission denied supergroup权限异常

报错Permission denied: user=dr.who, access=READ_EXECUTE, inode="/user":root:supergroup:drwx-wx-wx在Hadoop的配置文件core-site.xml中增加如下配置：<property><name>hadoop.http.staticuser.user</name><valu...

2020-05-27 20:24:27 5505

原创 java应用程序记录请求记录与修改记录日志

1.Log/*** @Description: 日志操作注解* @Author yjw* @Date 2020/4/3**/@Documented@Target(value = ElementType.METHOD)@Retention(RetentionPolicy.RUNTIME)public @interface Log { // 执行模块 String module() default ""; // 操作内容 String content...

2020-05-27 14:56:24 6091

原创 idea中web的程序部署（非maven项目）

1.WEB项目的部署以及自动编译*Intellij中 web的程序部署不同于myeclipse和eclipse需要把项目打成一个Artifacts(成品包)的war包然后在配置的tomcat的Deployment中选择对应的war包具体的可以看下这个帖子http://my.oschina.net/tsl0922/blog/94621我要强调的是非maven的项目比如网上下载的eclipse或者myeclipse项目首选要检查项目设置 F4 或者 Ctrl+ALT+S...

2020-05-26 11:31:37 1330

原创 secureCRT下载

链接: https://pan.baidu.com/s/1BM0nl4ILXiu0gnU2lzhgVw提取码: 3fyq链接:https://pan.baidu.com/s/1cNJllKM5rEWNFSmRoKeKDA提取码:j39o如果有帮助到你的话，请记得关注一波博主强烈推荐：https://blog.csdn.net/persistencegoing/article/details/84376427希望大家关注我一波,防止以后迷路,有需要的可以加群讨论互相...

2020-05-26 09:27:56 5904

原创自定义流程比较全的表结构

任务表CREATE TABLE `b_task` ( `id` bigint(18) NOT NULL DEFAULT '0' COMMENT 'id', `title` varchar(50) COLLATE utf8mb4_bin DEFAULT NULL COMMENT '标题', `style` tinyint(1) DEFAULT NULL COMMENT '任务种类', `state` tinyint(1) NOT NULL COMMENT '流程状态', `secrec...

2020-05-26 09:17:00 5913

原创 PowerDesigner导入mysql文件注释丢失问题解决

问题，将数据库中的表导入PowerDesigner后，发现没有注释不要心慌，注释其实存在操作步骤1.2.放入相关代码Option Explicit ValidationMode = True InteractiveMode = im_Batch Dim mdl ' the current model ' get the current active ...

2020-05-25 10:42:59 23170 2

原创 java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.SharedFileDescriptorFactory.createDesc

datanode无法启动更改hadoop native库文件后datanode故障hadoop是用cloudra的官方yum源安装的，服务器是CentOS6.3 64位操作系统，自己写的mapreduce执行的时候hadoop会提示以下错误：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicabl

2020-05-24 17:22:58 3447

原创 hadoop端口

8020是namenode节点active状态下的端口号；9000端口：是fileSystem默认的端口号：50070是namenode主节点的端口号60010：HBASE的端口号8485:journalnode默认的端口号9083端口号：hive数据仓库元数据metastore的端口号端口用途 9000 fs.defaultFS，如：hdfs://ip:9000 9001 dfs.namenode.rpc-address，DataNode会连...

2020-05-24 16:30:09 5775

原创 linux安装mysql(tar包)

下载地址：https://dev.mysql.com/downloads/mysql/5.7.html#downloads点击开始下载使用xshell 和 xftp将tar上传到服务器中路径 /usr/tool/解压 tar -xvzf 文件名并且改名mysql-5.7大括号的必须要有，画圈里面的删除执行下面的命令，注意--basedir等参数应该与你配置文件一样查看密码cat /data/mysql/error.log..

2020-05-22 10:19:08 1361

原创 javamelody集成

依赖<dependency> <groupId>net.bull.javamelody</groupId> <artifactId>javamelody-core</artifactId> <version>1.83.0</version></dependency>1.spring+springmvc+javamelodyspring的xml配置中<...

2020-05-20 16:42:42 1012