- 博客(50)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 springboot启动停止脚本
#!/bin/bashset -e# 堆设置JAVA_OPTS="-Xms2g -Xmx4g -XX:MetaspaceSize=512m -XX:MaxMetaspaceSize=512m"# GC 设置JAVA_OPTS="$JAVA_OPTS -XX:+UseParNewGC -XX:MaxTenuringThreshold=9 -XX:+UseConcMarkSweepGC -XX:+UseCMSInitiatingOccupancyOnly -XX:+ScavengeBefor
2021-05-27 11:51:36
213
原创 提高接口并发-异步处理任务
任务处理类package com.deepblue.aivideo.biz.thread;import com.deepblue.aivideo.api.entiy.DeviceAbilityGroupRelationDto;import com.deepblue.aivideo.api.entiy.PersonFaceLog;import com.deepblue.aivideo.biz.service.PersonFaceLogService;import com.deepblue.aivi
2021-05-27 11:48:01
364
原创 elasticsearch源码-构建
elasticsearch源码-构建预安装jdk1.下载代码git clone -b v6.1.1 https://github.com/elastic/elasticsearch.git2.编译./gradlew assemble3.导入IDEA./gradlew idea4.解压创建用于ES读取配置的目录创建一个目录，此处命名为eshome，用于ES从中加载模块、读取配置、写入数据和日志，可以将gradle编译打包的软件包解压，然后将config、modules、plugins
2021-05-13 16:01:02
387
原创 动态扩展Rest接口地址，动态卸载Rest接口
动态扩展Rest接口地址，动态卸载Rest接口import org.apache.commons.io.FilenameUtils;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.beans.factory.config.BeanDefinition;import org.springframework.context.ApplicationContext;impor
2021-04-09 11:39:55
340
原创 zooekeeper集群安装
zooekeeper集群安装基础信息主机1 ： zk1 192.168.1.110主机2 ： zk2 192.168.1.111主机3 ： zk3 192.168.1.112安装路径、home/web安装步骤：1.安装配置zooekeeper集群（在上）1.1解压tar -zxvf zookeeper-3.4.5.tar.gz -C /home/web1.2修改配置cd /home/web/zookeeper-3.4.5/conf/cp zoo_sample.cfg zoo.cfg
2021-04-01 14:14:55
81
原创 LXC安装使用遇到的问题!
lxc-create: error while loading shared libraries: liblxc.so.1: cannot open shared object file: No such file or directory遇见这个错误说明没找到liblxc.so.1文件1：查看/usr/local/lib下是否有这个库文件，有的话说明已经安装了liblxc，没有说明没有安装2：若没有安装就下载个安装包，安装好，再测试3：若已经安装，有两个方法解决A：在/etc/ld.so.c
2021-04-01 14:07:00
540
原创 Java从最后一行开始读取文本
package com.kuaifa.dianxiaomao.web.controller;import java.io.FileNotFoundException;import java.io.IOException;import java.io.RandomAccessFile;/*** http://bbs.csdn.net/topics/190181198* 从最后一行开始读取*/public class FromEndRF { /** * * @par
2021-04-01 13:55:49
363
原创 elasticsearch踩坑
##elasticsearch踩坑分布式安装elasticsearch（4台服务器），使用logstash和kibana进行可视化查询和统计。测试入库因为数据不规范导致es中的数据不理想，想要清空es中的数据，并重新将处理过后的数据入库。重新入库只要配置好logstash脚本中的日志目录就可以，但是清空es数据出现了一些问题。版本：es2.1.1 旧版本（为了使用简单的head插件，后期应该更新，并使用新插件，相信功能效果会更好。）root权限下删除es目录下的data文件夹，连同文件夹本身一同删除
2021-04-01 13:54:21
170
原创 在CentOS上安装Linux Container
1. 准备工作先把Linux Container依赖的一些软件包给装上，并启动相关的服务。其中git将在第二步中用来下载源代码。yum install -y automake gcc libvirt libcgroup git service cgconfig start service libvirtd start 2. 从github中下载Linux Container的代码git clone https://github.com/jewes/lxc.git 3. 编译(
2021-04-01 13:49:34
405
原创 nacos学习笔记(一)
nacos学习笔记1.概览官网地址:https://nacos.io/zh-cn/docs/what-is-nacos.htmlNacos 致力于帮助您发现、配置和管理微服务。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据及流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。 Nacos 是构建以“服务”为中心的现代应用架构 (例如微服务范式、云原生范式) 的服务基础设施。2.使用1. 踩坑纪录（版本）有时候版本不一致，会导致服务注册
2020-09-21 20:46:53
394
原创 pipeline持续集成到k8s集群
pipeline持续集成到k8s集群安装jenkins1.创建命名空间kubectl create namespace jenkinskubectl get namespace2.vim jenkins.yamlapiVersion: apps/v1kind: Deploymentmetadata: name: jenkins-deploymentspec: replicas: 1 selector: matchLabels: app: jenkins
2020-09-20 14:17:19
332
原创 docker nexus新版本安装密码查看 私服配置
nexus私服配置说明1.docker启动nexusdocker pull sonatype/nexus32.启动docker run -d -p 8081:8081 --name nexus3 -v /home/nexus/nexus-data:/nexus-data --restart=always sonatype/nexus33.查看admin 密码docker exec -it 容器ID /bin/bashcd /opt/sonatype/sonatype-work/nexus3
2020-09-17 20:56:35
891
原创 快速生成类注释 方法注释 接口文档（一键生成）
规则注意点: 良好的java doc 注释能生成更好的文档1:插件如何生成属性备注 ,通过获得字段备注中的注释/** * 年龄*/private Integer age;2:插件如何生成接口名称，通过接口上的注释，或者引用上的 注释 /** * 通过ID查询 * @param id ID主键 * @return SysDept 部门信息 */ @GetMapping("/{id}") public R<SysDept>...
2020-09-16 22:12:43
1769
原创 关于SpringOauth2理解
关于SpringOauth2理解OAuth2.0说明官网学习地址：https://docs.spring.io/spring-security-oauth2-boot/docs/2.2.0.RELEASE/reference/html5/#boot-features-security-oauth2-single-sign-on角色在 OAuth2.0 中，有如下角色：① Authorization Server：认证服务器，用于认证用户。如果客户端认证通过，则发放访问资源服务器的令牌
2020-09-15 21:34:17
512
2
原创 Docker学习及DockerMaven插件学习
docker学习###docker 常见命令docker ps 哪些在运行的容器docker ps -a 查询容器包含未在运行的docker images 查询镜像docker rm imageId 删除容器docker rmi imageId 删除指定的镜像，如果有容器，先删除容器docker run 根据镜像启动容器docker build构建镜像docker start 启动镜像docker stop 停止镜像docker login 登陆私服docker pull 拉取服
2020-09-15 17:16:34
414
1
原创 mongodb最佳实践
关于安全为MongoDB集群启用认证鉴权为MongoDB集群启用认证鉴权mongo服务器在默认安装下不启用鉴权。这意味着每个人都可以直接连接到mongod实例并执行任意数据库操作。建议按照文档启用鉴权http://docs.mongoing.com/manual-zh/tutorial/enable-authentication.html为不同用户分配不同的角色权限Mongo...
2020-09-15 10:34:15
350
原创 HBase 统计表中数据量
启动hbase shell进去hbase客户端所在服务器，cd hbase客户端路径cd /usr/local/services/hbase/alihbase-2.0.0启动hbase shell./bin/hbase shell找到要统计的表名hbase(main):001:0> list假设表名为 'foo'执行RowC...
2020-09-15 10:34:02
6900
原创 mongodb订单分片优化方案
——持续更新中1. 背景说明目前因业务量激增，系统已将订单存储从原有的mysql迁至新的mongo集群，在试运营过程中，主要遇到以下问题：单机磁盘资源瓶颈，目前单表已经占用20g 单机读写能力瓶颈，读能力可以在复制集里加 secondary 节点来扩展，但CPU、内存或者网卡等资源遭遇瓶颈，导致读写能力无法扩展我们目前已经是3主3从的mongocluster，因上线时间较短，订单表...
2020-09-15 10:33:50
436
原创 本地编译测试RocketMQ 步骤记录总结
我本来是要压测rocket的性能做预研呢，想看看文档，于是顺便下了源码，想看看源码，于是顺便就在本地运行启来了。。。于是做了个总结1-下载源码git地址:https://github.com/apache/rocketmq下载无话导入maven项目无话项目结构如下:各个模块的作用在readme文档中有详细的描写。2-运行项目2.1 编译在BUILDING文...
2020-09-15 10:33:38
385
原创 rocket压测效果
1 前言 消息中心在模块解耦和消息转发的解决方案中被重度依赖。为降低系统复杂度，应尽量使用单一的消息中心解决方案，在MQTT和RocketMq的技术选型中，不确定RocketMq的topic和tag是否存在上限会影响系统性能，因此，针对tag数量对系统性能影响之问题，作此预研方案。2 硬件环境 作用 IP 配置 ...
2020-09-15 10:33:27
279
原创 SpringCloud与SOFA RPC性能对比
1 前言SpringCloudSpringCloud是由XX提供的一系列框架的有序集合，如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等，它利用 Spring Boot 的开发便利性巧妙地简化了分布式系统基础设施的开发，可以用Spring Boot 的开发风格做到一键启动和部署。官网介绍：https://springcloud.cc/SOFA RPCScalab...
2020-09-15 10:33:12
1459
原创 注册中心(eureka)与客户端配置实例
注册中心server: port: 8761spring: application: name: ${project.name}-${server.port}eureka: instance: #使用IP注册到eureka，这样服务间相互调用时就使用IP了 prefer-ip-address: true #手动指定注册IP（默认为本机...
2020-09-15 10:32:27
440
原创 Druid常见问题
数据进行GroupBy时聚合数量大从而导致报错https://www.cnblogs.com/yinghun/p/9224701.htmlAttachments:image2019-2-27_10-16-32.pngimage2019-2-27_10-42-43.png
2020-09-15 10:31:21
195
原创 Flink集群
三个JobManager实例的集群图解conf/flink-conf.yaml划重点high-availability: zookeeperhigh-availability.storageDir: hdfs://master:9000/flink/ha/high-availability.zookeeper.quorum: localhost:2181...
2020-09-15 10:30:56
291
原创 Hadoop Hive Spark Metabase集成
###################################本文全部为单节点部署配置，不涉及任何集群。###################################前提安装JDK1.8配置ssh免密登录mongoDB导出CSV格式的数据文件mongoexport导出文件格式支持csv和json，不同的是csv格式必须显示的指定要导出的字段...
2020-09-15 10:30:13
1003
原创 数组 desc 从大到小排序
private class LargerNumberComparator implements Comparator<String> { @Override public int compare(String a, String b) { String order1 = a + b; String orde...
2020-03-26 11:36:08
799
翻译 leetcode刷题
编写一个 SQL 查询来实现分数排名。如果两个分数相同，则两个分数排名（Rank）相同。请注意，平分后的下一个名次应该是下一个连续的整数值。换句话说，名次之间不应该有“间隔”。SELECT Score, (SELECT count(DISTINCT score) FROM Scores WHERE score >= s.score) AS Rank FROM Scores s OR...
2020-03-26 11:12:58
99
原创 钉钉告警模版
package com.mamcharge.integrate.core.exception.handler;import cn.snowheart.dingtalk.robot.starter.client.DingTalkRobotClient;import cn.snowheart.dingtalk.robot.starter.entity.MarkdownMessage;...
2020-03-25 16:20:55
1386
原创 文件服务实例工厂实现方案
// todo 代码可以优化，根据配置文件来.1.3版本中优化// @Bean// @ConditionalOnProperty(value = "ossclient.active",havingValue = "dfs")// public IOssService dfs() {// return xxx;// }获取活跃的文件服务实...
2019-12-31 10:36:48
114
原创 Spring boot自动装载（源码解析）
过几天公司培训，我这边整理了下PPT。顺便写了点代码，我放GitHub上了Springboot 的基本认识 对于 spring 框架，我们接触得比较多的应该是 spring mvc、 和 spring。而 spring 的核心在于 IOC(控制反转)和 DI (依赖注入)。而这些框架在使用的过程中会需要配置大量 的 xml，或者需要做很多繁琐的配置。 springboot 框...
2019-09-21 16:21:51
460
原创 流量copy，线下回放
简介goreplay 是一个开源工具，抓取生产环境流量，并使用真实流量持续测试系统。它使用raw-socket 抓取系统流量，并根据指定的url ，将流量进行转发。使用依赖如果你只是为了测试，可以使用gor file-server :8000 快速启动一个文件服务器，用来测试安装可以到https://github.com/buger/gor/relea...
2019-09-19 17:19:54
491
原创 JVM 垃圾回收从入门到放弃01--引用计数法
1.什么是垃圾回收程序的运行必然需要申请内存资源，无效的对象资源如果不及时处理就会一直占有内存 资源，最终将导致内存溢出，所以对内存资源回收变得十分重要。这个垃圾就是不被引入的对象占用的内存！2.java中的垃圾回收有了垃圾回收机制后，程序员只需要关心内存的申请即可，内存的释放由系统自动识别 完成。 换句话说，自动的垃圾回收的算法就会变得非常重要了，如果因为算法的不合理，导致 内存资源...
2019-08-23 17:18:27
170
原创 SQL开发flink推荐sylph，还有AthenaX
1.个人推荐sylph 人不多，但是回复2.AthenaX 没有联系方式，只能自己看源码值得推荐的这2个的单元测试都非常多
2019-08-23 16:51:27
991
原创 sylph使用
快速入门下面将以StreamSql为实例，一步步地搭建出一个 分布式流计算应用，让你能快速的入门 SYLPH。StreamSql是完全通过类sql来描述整个流计算的过程。主要需要描述: 数据源如何接入、如何计算、如何输出到外部存储; 例如计算每分钟的pv; 每5秒更新一次最近一分钟的uv。demo1下面例子演示将kafka topicTP_A_1,TP_A_2的数据实时写入m...
2019-08-23 16:24:07
547
原创 sylph安装以及遇到的坑
1.下载代码git clone https://github.com/harbby/sylph.git#还有一种已经编译好的 下载地址https://github.com/harbby/sylph/releases2.编译编译sylph需要使用Gradle并需要Java 8.请确保您的JAVA_HOME环境为java8这地方需要科学上网。。。。要不然有的JAR down不下来...
2019-08-23 16:12:37
1284
4
原创 sylph是什么
SYLPH 是一个用于实时流计算的平台,核心是通过工作流描述构建分布式流计算应用程序。,SYLPH是一套完整的解决方案，主要包括：开发工具：webUI, 定义streamSql或streamETl任务 运行时：基于spark2.x及flink1.5+, 依赖hdfs和yarn pipline插件扩展:java8, 按需实现source,transform,sink 基础运维：在web...
2019-08-23 15:42:56
936
转载 JVM1.7和1.8内存对比（转载）
jdk1.7的堆内存模型：1.Young （新生代）新生代 分为三部分。Eden区(new 的对象)和两个大小相同的Survivior区（某一时刻，只有一个被使用），另外一个，当Eden区满了，GC就会将存活的对象移动到空闲的Survivor区，根据JVM的策略，在经过几次垃圾收集后，依然存活在Survivor区的对象，将移动到Tenured区（老年代）2.Tenured（老年代）...
2019-08-20 17:22:24
746
原创 JVM参数说明
1.JVM三种参数类型vm 参数类型分为三类，分别是：标准参数 -help -version-X 数 非标准参数） -Xint -Xcomp-XX 数（使用率较高） -XX:newSize -XX:+UseSerialGC2.JVM启动参数解析JVM启动参数共分为三类；其一是标准参数（-），所有的J...
2019-08-20 17:16:06
189
原创 ES部署+x-pack破解教程+kibana
1.JDK#下载rpm包rpm -ivh jdk-8u144-linux-x64.rpm #配置环境变量cat >> /etc/profile << EOFexport JAVA_HOME=/usr/java/jdk1.8.0_144export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools...
2019-08-20 16:14:44
3015
1
sylph-0.6.0-alpha3-bin.tgz
2019-08-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人