feilong2483的博客

原创 shardingphere升级的坑 从节点始终不走分表

1.4.0.0-RC1 升级到4.1.1 分表加主从配置shardingsphere.datasource.master0.driver-class-name=com.mysql.cj.jdbc.Drivershardingsphere.datasource.master0.jdbc-url=shardingsphere.datasource.master0.username=shardingsphere.datasource.master0.password=shardingsphere.da

原创 powerdesign转ER注意事项

1. 数据库生成ER模型时，首先要用32位jdk.2. 可以写个bat文件如下：当某些jar无法加载可写bat文件中。Set JAVA_HOME=D:\setupsoft\JDK8_32\Set CLASSPATH=.;C:\Users\feilong\Downloads\postgresql-42.2.23.jarpdshell16.exe

原创 javax.net.ssl.SSLHandshakeException: No appropriate protocol (protocol is disabled or cipher suites

1.代码没变化重新打包后报Caused byjavax.net.ssl.SSLHandshakeException: No appropriate protocol (protocol is disabled or cipher suites are inappropriate):at sun.security.ssl.HandshakeContext.<init>(HandshakeContext.java:171) ~[?:1.8.0_292]at sun.security.ssl.

原创 容器化k8s-流水线发布镜像k8s jenkins协同

1.新建部署job fangliProvider部署测试环境流水线脚本简单测试参数化构建podTemplate(name: 'jenkins-slave', cloud: 'kubernetes', namespace: 'jenkins', label: 'jenkins-slave',volumes: [ hostPathVolume(mountPath: '/usr/bin/kubectl', hostPath: '/usr/bin/kubectl'), hos...

原创 容器化k8s-项目打包上传私有镜像流程和问题解决

1.新建job git下载 maven编译 上传镜像到私库主要脚本：#!/bin/shcat>Dockerfile<<EOFFROM openjdk:8-jdk-alpineRUN mkdir -p /data/ld-business-map/ld-business-map/lib /data/ld-business-map/ld-business-map/logs /data/ld-business-map/ld-business-map/config /data/ld

原创 json上万空对象提交k8s持续频繁告警解决

springboot项目中，由于设备端bug,出现提交json数据时，每台设备提交上万的空对象。类似如下{"adLogsDtoList":[{},},{},{},{},{},{},{}],"terminal":"000040100008"}json转换时创建上万空对象，内存吃紧，频繁FullGC.实际这样的数据是无效的，我们必须拦截于json转换对象之前。配置参数,解决问题：spring.servlet.multipart.max-request-size=5KB...

原创 springboot redis java.lang.StackOverflowError

@Resourceprivate RedisTemplate<String, Object> redisTemplate;下面代码报栈溢出redisTemplate.opsForValue().set(key, value, time, TimeUnit.SECONDS);1.当springboot2.1.6 而redission版本过低 报异常<dependency> <groupId>org.redisson</groupId&gt.

原创 容器化k8s-helm安装jenkins到k8s

1. 创建namespacekubectl create namespace jenkins2.安装HELM(我是用的3.4.1)Download yourdesired version Unpack it (tar -zxvf helm-v3.0.0-linux-amd64.tar.gz) Find thehelmbinary in the unpacked directory, and move it to its desired destination (mv linux-...

原创 容器化K8S入门-搭建集群环境

我用3台机器搭建k8s集群192.168.10.40 为master192.168.10.42 192.168.10.43为node前提是必须每台机器都装了docker.可参考以前的文章。step 1: 3台机器上分别执行：swapoff -a 只是临时关闭 systemctl stop firewalld 关闭防火墙 关闭selinux：sed -i 's/enforcing/disabled/' /etc/selinux/config (永久关闭) ...

原创 室内导航算法流程

原创 dubbo访问接口时日志警告问题

项目启动后客户端访问：ld_map_web访问ld_map_gis中的dubbo服务时，ld_map_web日志报序列化警告信息：com.alibaba.com.caucho.hessian.io.SerializerFactory 648 getDeserializer - He尽管不影响功能，但看着不舒服，同时可能影响性能。决定看看原因。后来发现是消费端ld_web_map只...

原创 centos7安装docker

# 安装依赖sudo yum install -y yum-utils \ device-mapper-persistent-data \ lvm2# 添加docker下载仓库sudo yum-config-manager \ --add-repo \ https://download.docker.com/linux/centos/docker-ce.repo...

原创 springboot在docker中的部署

1. centos7 安装 docker2. centos7安装maven3.上传springboot项目springboot中Dockerfile内容：FROM openjdk:8-jdk-alpineVOLUME /tmpADD springboot-docker-0.0.1-SNAPSHOT.jar app.jarRUN sh -c 'touch /app.jar...

原创 springboot启动失败，信息查看

springboot启动失败，tomcat停止服务，控制台确没有任何报错信息1.解决方法 入口方法捕获异常@EnableDiscoveryClient@SpringBootApplication@MapperScan("com.shianyun.cdmproject.dao")public class CdmprojectApplication {    @Bean    pu...

原创 centos7 安装 rabbitmq

Centos7 Yum安装socat  [root@database-16 rabbitmq]# yum -y install socat下载erlang软件包，本文使用erlang-19.0.4版本，下面给出下载链接[root@database-16 rabbitmq]# wget http://www.rabbitmq.com/releases/erlang/erlang-19.0.4...

原创 php性能调优

1. 查看到/www/server/php/55/var/log/php-fpm.log[07-Nov-2018 10:14:24] WARNING: [pool www] seems busy (you may need to increase pm.start_servers, or pm.min/max_spare_servers), spawning 8 children, there...

原创 linux下redis的安装

1.下载redis wget http://download.redis.io/releases/redis-4.0.11.tar.gz[root@iZbp1h44pugu1vg9x5b2jjZ ~]# wget http://download.redis.io/releases/redis-4.0.11.tar.gz--2018-11-12 08:27:52--  http://downl...

原创 sqoop实现 mysql与hive交互

一 数据从mysql导入到hive1.下图为mysql数据库 要将testhive表中的数据导入到hive2. [hadoop@master bin]$  sqoop import --connect jdbc:mysql://192.168.145.128:3306/test --username root --password 123456 --table testhive  -m 1 --h...

原创 Unrecognized Windows Sockets error: 10106: Socket creation failed

tomcat8启动过程中报如下错误30-Nov-2017 22:45:52.892 严重 [main] org.apache.catalina.core.StandardServer.await StandardServer.await: create[localhost:8005]:  java.net.SocketException: Unrecognized Windows

原创 hadoop大数据平台手动搭建(八)HDFS High Availability Using the Quorum Journal Manager

前面我们已经搭建了hadoop基本平台。由于namenode节点唯一，出现故障，就会瘫痪，恢复时间长。如何做到高可用。修改两配置文件：1.core-site.xml        hadoop.tmp.dir    /opt/hadoop-2.6.0-cdh5.8.0/tmp        fs.defaultFS    hdfs://mycluster

原创 Failed to initialize compiler: object scala.runtime in compiler mirror not found

Failed to initialize compiler: object scala.runtime in compiler mirror not found.** Note that as of 2.8 scala does not assume use of the java classpath.** For the old behavior pass -usejavacp to s

原创 sqoop导入错误

是由于导入表中有字段是关键字DESC. 换一张表就没问题。sqoop import --connect jdbc:mysql://master:3306/hive --drivercom.mysql.jdbc.Driver  --table DBS--username root -password 123456 -m 1Error: java.io.IO

原创 hive常见错误

1.删除数据存放目录，重新格式化hadoop解决java.lang.RuntimeException: Error caching map.xml: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hive/hadoop/97c28744-9396-409d-a714-ad71a548ec63/hive_2...

原创 hadoop常见错误

1.   解决：是缺少相关jar没配入classpath.这错报得有点不懂。或直接拷贝相关jar到bin下。 jar位置：F:\hadoop-2.6.0-cdh5.8.0\share\hadoop\mapreduce2 解决这耗费不少时间，坑。./hadoop jar /opt/hadoop-2.6.0-cdh5.8.0/share/hadoop/mapreduce2/hadoop

原创 hive 起步

hive中执行的SQL，会转化为一个或多个mapReduce作业并在集群上运行。 1.创建表导入单词文本文件create table flwordcount(line string);load data inpath '/user/hadoop/input/readme.txt' overwrite into table flwordcount;命令查看：0: jdbc:h

原创 hadoop大数据平台手动搭建(七)-hue

1.解压tar -zxvf /opt/hue-3.9.0-cdh5.8.0.tar.gz2. 编译安装    make apss    make install3.修改hue.ini# Hue configuration file# ===================================## For complete documentation

原创 hadoop大数据平台手动搭建(六)-spark

Spark 是专为大规模数据处理而设计的快速通用的计算引擎。拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。由于spark使用依赖scala.所以一起安装。 1.解压文件tar -zxvf /opt/spark

原创 hadoop大数据平台手动搭建(五)-sqoop

sqoop主要是在关系型数据库与hadoop交互数据。作为hadoop的客户端工具。可安装在任一节点上，我安装在master上的。1.tar -zxvf /opt/sqoop-1.4.6-cdh5.8.0.tar.gz2.修改环境变量vi /etc/profile加入：export SQOOP_HOME=/opt/sqoop-1.4.6-cdh5.8.0export PAT

原创 hadoop大数据平台手动搭建(四)-hbase

hbase也是基于HDFS的.本节还是安装完全分布模式。由于各个节点时间误差太多，hbase启动会失败。所以先前已经安装了NTP时间同步服务。 跟hive一样将/opt/hbase-1.2.0-cdh5.8.0.tar.gz解压tar -zxvf hbase-1.2.0-cdh5.8.0.tar.gz 1. 修改hbase-1.2.0-cdh5.8.0\conf下的hbase_

原创 hadoop大数据平台手动搭建(三)-hive

hive的安装。hive只是作为hadoop客户端，我安装在master节点上。1. 安装元数据库。默认的数据库为Derby. 生产中我们通常用其他数据库。因Derby只支持同时一个用户访问Hive. 下面用mysql来存储元数据。yum install mysqlyum install mysql-serveryum install mysql-devel   查看mys

原创 hadoop大数据平台手动搭建(二)-hadoop

1.下载列表：winow和linux之间文件上传下载FileZilla  jdk-7u79-linux-x64.tar.gz  apache-maven-3.3.9-bin.tar.gz  hadoop-2.6.0-cdh5.8.0.tar.gz  hadoop-native-64-2.6.0.tar  hbase-1.2.0-cdh5.8.0.tar.gz  hive-1.1.0-c

原创 hadoop大数据平台手动搭建(一)-ssh,ntp

Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。既然是一个框架，围绕hadoop的周边产品非常的多。对于各中版本与hadoop是否兼容等，增加的安装复杂度。所以我选择CDH。由于cloudera开发了一个manager工具。用于集群自动化安装，部署，监控。我手动安装主要是熟悉环境，解决错误。理解原理。1.下载VMware12.5...

原创 mysql Access denied

Mysql ERROR 1045 (28000): Access denied for user 'root'@'localhost'问题的解决这种问题需要强行重新修改密码，方法如下：/etc/init.d/mysql stop   (service mysqld stop )/usr/bin/mysqld_safe --skip-grant-tables另外开个SSH连接[root

原创 Cassandra 2.0.4 cannot start

ERROR [main] 2014-02-05 16:19:24,375 CassandraDaemon.java (line 478) Exception encountered during startupjava.lang.IllegalStateException: Unfinished compactions reference missing sstables. This shoul

原创 centos6.5 CDH5.6 clouder 集群环境搭建

1.准备软件 hadoop-2.6.0-cdh5.6.0.tar.gz2.jdk:/opt/jdk1.7.0_25---------------------------------------------------1.配置静态IP[root@master ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0#TYPE

原创 hadoop lib native

NativeCodeLoader: Failed to load native-hadoop with error:      java.lang.UnsatisfiedLinkError解决：1.下载对应hadoop对应二进制文件。拷贝到当前HADOOP_HOME/lib/native/2.下载源文件重新编译

原创 java.lang.UnsatisfiedLinkError: Cannot load libcrypto.so

[root@master engines]# ldd $(hadoop checknative)16/08/21 07:58:43 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library...16/08/21 07:58:43 DEBUG util.NativeCodeLoader:

原创 centos6.5 ssh无密码登陆失败注意事项

1.文件夹.ssh 700 和 authorized_keys 600 权限 2.如果是用root身份无密码登陆  PermitRootLogin yes3.重要一点如果遇到登录失败的情况：我用的是centos版本是6.5，centos6.5对网络管理相当严格，需要在原来的基础上关闭selinux, 到/etc/selinux/config下，把SELINUX=enforcing修改为SE

原创 mysql 表情符存入错误

java操作mysql异常Incorrect string value: '\xF0\x9F\x90\x98\xF0\x9F...' for column 'NICKNAME' at row 1解决方法：1.设置mysql配置：character-set-server = utf8mb4collation-server = utf8mb4_unicode_ci2.同时jdbc

原创 linux环境mysql导出数据并上传sftp脚本

#define mysql info#mysql数据库的地址_db_host='-h192.168.1.1'#mysql的端口_db_port='-p3306'#mysql的登陆账号_db_user='-uroot'#mysql的密码_db_pass='-p1qazxsw2'#mysqlde db名字_db_database='-Dsampling'#导出数据的路径_fi