面汤放盐-CSDN博客

原创研究一款 Java 线程编排并行框架-asyncTool

如果有复杂场景，可以参考这个框架，但一定要熟知这个框架的特性，比如超时快速失败等场景是否接受；我要执行 TaskC，则先执行 TaskA 和 TaskB，然后才能执行 TaskC，最后再执行 TaskD。“解决任意的多线程并行、串行、阻塞、依赖、回调的并行框架，可以任意组合各线程的执行顺序，带全链路执行结果回调。因此，不管从 TaskC 作为入口，还是 TaskD 作为入口，它的执行结果都是一致的。最后，如果有后续的任务依赖于当前任务的完成，WorkerWrapper 将触发下一个任务的执行。

2024-03-24 14:32:13 991

原创我用 Navicat 的这些技能少加了好多班，也为公司挣了不少w

保持对数据的敬畏之心，任何的数据变更都要慎重。数据变更做好 review上面功能，建议先自行练习和测试，熟悉后再到生成环境使用纸上得来终觉浅，绝知此事要躬行！

2024-03-01 01:06:39 931

原创基于 redis 的简易滑动窗口实现

借助 redis 的 zset 有序集合能力，其中 score 字段要求有序，因此使用时间戳做 score，这样既保证顺序也能根据时间窗口计算窗口内的个数，通过计算时间窗口内的个数再与业务做判断；概要：本文封装 redis 的API，实现简易滑动窗口，分别从业务背景、窗口理解、redis 的 zset 结构，lua 脚本，注意事项、不足等进行讲解。3.统计当前窗口的个数；Lua脚本会占用较多的计算和内存资源，且无法被多线程加速，过于复杂或不合理的Lua脚本可能导致资源被占满的情况。只统计个数，不做其他的。

2024-02-27 00:24:00 1037

原创元数据思想-打破传统的思维方式

编程的核心不是技巧，而是思维！与其天天写一些没啥技术含量的东西，不如尝试变通一下！与其坐而论道不如起而行之！最后再来回味一下这个图，希望有更多的想法和灵感！

2024-02-25 18:19:54 865

原创 IDEA 重装我都会默默的下载这些好用的插件

面汤放盐。

2024-02-24 12:59:52 982 1

原创《大数据分析-数据仓库项目实战》--阅读笔记

大数据时代，需要考虑数据的采集、存储、计算处理等方式。数据仓库建模方式：确定业务过程、声明粒度、确定维度、确定事实采集：Flume、kafka、Sqoop存储：MySQL、Hadoop、HBase计算：Hive、Tez查询：Presto、Druid、Kylin可视化：Superset任务单调动：Azkaban元数据管理：Atlas脚本：Shell粗略的对整个大数据的部分技术做了一个简单的了解。

2022-11-20 12:57:58 1543 1

原创使用Lambda重构面向对象的设计模式笔记

使用Lambda重构面向对象的设计模式是用Lambda进行重构，主要针对以下五种常见的设计模式：策略模式、模板方法、观察者模式、责任链模式、工厂模式一、策略模式策略模式代表了解决一类算法的通用解决方案，你可以在运行时选择使用哪种方案；验证输入的内容是否根据标准进行了恰当的格式化（比如只包含小写字母或数字）。你可以从定义一个验证文本（以String的形式表示）的接口入。public class StrategyMain { public static void main(S

2020-11-01 00:03:06 622

原创 Spring中xml自定义标签的实现流程

Spring中xml自定义标签的实现流程背景：虽然xml方式在现在看来有一些落后了，但毕竟是注解的一种过渡。而解析器不管是注解还是xml都是一致的。例如：dubbo大量的自定义标签，包括spring中也存在大量的标签（低版本xml方式），那么自定义标签在Spirng中是如何实现的，今天就来理一下流程。一、实现步骤先知编写一个XSD：定义需要使用到的标签编写一个解析标签的BeanDefinitionParse：解析这些标签，将会做什么操作编写一个Handler，将自定义的BeanDefi

2020-06-13 17:34:07 1740

原创 java集合中的SetFromMap

java集合中的SetFromMap在阅读Spring源码的时候看见了这句代码：private final Set<String> alreadyCreated = Collections.newSetFromMap(new ConcurrentHashMap<>(256));于是点击查看整个代码的实现：public class Collections {...

2020-04-06 23:35:03 895

原创计算机网路基础概要

计算机网路基础一. 因特网概述1.1 互联网和因特网因特网是世界上最大的互联网。区别internet与Internet1.2 因特网发展的三个阶段从单个网络发展到三级结构的网络再到多层次的ISP结构的因特网1.3 ISP 因特网服务提供者因特网上的主机必须要有IP地址才可以进行通信。我国主要的ISP如下:在因特网发展规模逐渐壮大的过程中，为了实现更快的转发分组，因特网...

2020-02-07 16:56:50 843

原创 PostgreSQL函数(存储过程)返回多条记录的实现方式

29/100保存草稿发布文章博文管理我的博客退出 Trash Temp 集线器，交换机，路由器之间有什么区别集线器，交换机，路由器之间有什么区别集线器，交换机，路由器之间有什么区别集线器，交换机，路由器之间有什么区别计算机网路基础计算机网路基础计算机网...

2020-02-07 16:31:42 6834

原创集线器，交换机，路由器之间有什么区别

集线器(hub)，交换机和路由器之间有什么区别“Hubs and Switches are used to create networks. Routers are used to connect networks.”集线器和交换机是用于构建网络的，而路由器是用于连接不同网络的（现在的路由器也拥有构建网络的功能）。一瞅一下都是什么集线器(hub):交换机：路由器：二区别和...

2020-01-31 17:29:23 3029

原创 Java中String类的equals方法

Java中String中的equals方法实现 public boolean equals(Object anObject) { //是否相等 if (this == anObject) { return true; } //是否String类型 if (anObject instanceof String) { ...

2020-01-12 21:38:02 671

原创 PostgreSQL完成按月累加

PostgreSQL完成按月累加背景统计某个指标，指标按照月进行累加，注意需要按省份和年份进行分组。方法一、使用自关联-- with 按月统计得到中间结果WITH yms AS (SELECT regionid,SUM(getnum) AS getnum,SUM(dealnum) AS dealnum,to_char(qndate,'yyyy-MM') AS yearmonthFRO...

2020-01-07 14:27:40 4388 3

原创 PostgreSQL给查询列表增加序号

PostgreSQL给查询列表增加序号利用 ROW_NUMBER() over( ) 给查询序列增加排序字段SELECT ROW_NUMBER() over(ORDER bY biztypename DESC ) AS num,biztypename FROM (SELECT DISTINCT biztypename FROM bizmaptype) t;效果如下：...

2020-01-02 16:25:18 11537

原创 PostgreSQL修改字段类型(表中存在数据)

PostgreSQL修改字段类型(表中存在数据)将表t_appraisescore 字段appraisedate 从varchar 修改成datealter table t_appraisescore alter column appraisedate type date using appraisedate::date;...

2019-12-28 21:13:47 7278 2

原创 PostgreSQL之raise（打印文本）

PostgreSQL之raise一、raise打印文本raise notice 'bgtimestamp is % ,bgdate is %, bgyearmonth is %',bgtimestamp,bgdate,bgyearmonth;

2019-12-23 21:14:36 1404

原创 shell+crontab制作postgresql数据库定期备份脚本

使用shell脚本+crontab制作定期脚本备份业务背景在开发期间，定期对数据库备份是非常有必要的，下面制作了粗来的脚步。第一步：编写shell脚本#! /bin/sh#获取一个时间戳 ymdhm=`date +%Y%m%d%H%M`echo $timestamp $ymdhm#创建文件夹mkdir -p /home/pgdatabackups/$ymdhm#路径ba...

2019-12-22 18:33:21 540

原创使用bat 编写postgresql自动备份脚步

使用bat 编写postgresql自动备份脚步背景需求每天需要手动备份一个数据库到本地，每次都需要切换的postgresql/bin 下面，创建文件夹，然后输入一串的备份命令，再输入密码；每天都要这么做感觉麻烦，所以编写了一个bat脚步bat脚步如下：postgresql_backup.bat，set current_path=%~dp0 ::获取日期时分set directo...

2019-12-22 18:09:32 1252

原创 centos7搭建nexus3

centos7搭建nexus3在centos7上搭建nexus3 私服下载地址：http://download.sonatype.com/nexus/3/nexus-3.7.1-02-unix.tar.gz(官网下载是真滴慢，我用迅雷下载了一晚上。放在百度云上，方便下载)链接：https://pan.baidu.com/s/1nR3ZgOEJzfi72rg9PgaPmQ 提取码：dpfm...

2019-11-27 23:54:31 266

原创 centos7安装docker

centos7安装docker环境准备：虚拟机centos7，安装docker，以root用户进行操作步骤如下第一步：安装依赖安装需要的软件包yum install -y yum-utils device-mapper-persistent-data lvm2第二步：添加仓库yum-config-manager --add-repo https://download.docke...

2019-11-25 20:02:08 414

原创 PostgreSQL 使用其他表作为模板创建新表

使用其他表作为模板创建新表创建表tbl_big 并利用该表为模板，快速创建表 ( like tbl_big including all )[root@uzong ~]# su postgresbash-4.2$ psql technologycould not change directory to "/root"psql (9.2.24, server 10.8)WARNING: p...

2019-08-05 20:47:01 1072

原创 PostgreSQL更新JSON中的某个字段

PostgreSQL更新JSON中的某个字段背景需求现在需要通过SQL的方式，批量对JSON里面的某个字段统一处理，更新成一个新值。方法一、使用jsonb_set函数补充：读取JSON中的值。select ‘{“a”:“foo”,“b”:1}’::json->‘a’; – 获得键’a’的值select ‘{“a”:“foo”,“b”:1}’::json->>‘a’...

2019-07-17 09:24:45 13116 1

原创记录springBoot整合jersey实现文件上传的一些坑

问题一：缺少包jersey-media-multipart 且没有保持版本一致Servlet.init() for servlet [com.storageservice.config.JerseyConfig] threw exceptionjava.lang.NoClassDefFoundError: org/glassfish/jersey/server/internal/injec...

2019-07-15 21:07:45 1449

原创 PostgreSQL简单的数据库备份

pg的一些简单的运维知识centos7 、PostgreSQL10一、粗略的数据库备份脚本粗略的备份某个数据，例如：在每天23点备份这个 technology 数据库。第一步：编写shell脚本 : backup.sh#! /bin/shda=`date +%Y%m%d%H%M%S`echo $dapg_dump mydb > /var/lib/pgsql/10/...

2019-07-03 20:05:47 455

原创 navicat 工具使用(一些技巧)--工具用得好，下班下得早

navicat 工具使用(一些技巧)–工具用得好，下班下得早一、快捷键快捷键作用其他ctrl + shif + r执行选中行与ctrl + r不同，会执行所有ctrl+/注释当前行ctrl+shift+/解除注释F6打开命令行窗口执行一些特定命令的时候ctrl+n打开一个新窗口ctrl+w关闭一个窗口跟常用快捷键一致...

2019-07-03 19:07:01 3487

原创 Postgresql中的string_to_array 和 array_length 应用

Postgresql中的string_to_array 和 array_length 应用业务诉求,计算path路径的层次,如下图所示：select array_length(string_to_array(org.codepath,'.'), 1)-1 as level ,string_to_array(org.codepath,'.'),org.codepathfrom orgs...

2019-06-18 14:25:20 17720

原创 UML之用例图

一、用例图用例图向用户展示了其捕获的系统、子系统、类或者组件的行为。简单而言，谁使用这个系统能做什么。1.1 用途描述参与者与用例之间通信。可以以不同的视角展现系统的功能性需求。外部用户能够观察到的系统功能、对客户来讲，用例视图是他们业务领域的逻辑化表达；对于开发者，用例图是系统蓝图、开发依据。1.2 图元素（一）参与者/执行者（actor）执行者是系统、子系统或类发生交互作用的外部...

2019-06-14 17:06:51 1651

转载 Java 8系列之重新认识HashMap(转载)

转载地址：https://zhuanlan.zhihu.com/p/21673805摘要HashMap是Java程序员使用频率最高的用于映射(键值对)处理的数据类型。随着JDK（Java Developmet Kit）版本的更新，JDK1.8对HashMap底层的实现进行了优化，例如引入红黑树的数据结构和扩容的优化等。本文结合JDK1.7和JDK1.8的区别，深入探讨HashMap的结构实...

2019-06-10 23:50:16 239

原创 PostgreSQL中的 nulls first 和 nulls last

一、 nulls first 和 nulls lastnulls first 排序指定让null 放在最前nulls last 排序指定null放在最后二、使用-- 1. 默认null放在最后select positionid, * from struct ORDER BY positionid;-- 2. null 最后select positionid, * from st...

2019-06-10 17:12:21 4454

原创 postgresql查询某个字段属于哪个表

一、场景还原前端小林问我，它从前端的返回的某些字段，想知道那个表有这个字段，它想操作这个表……二、sql语句SELECT *FROM information_schema. COLUMNSWHERE COLUMN_NAME = 'storename';SELECT c.relname AS "表名",a.attname AS "字段名",c.oidFROM pg_clas...

2019-06-10 15:37:45 5202 1

原创不同数据库表之间的数据同步

不同数据库表之间的数据同步场景还原：现在需要对正式环境做升级，需要从实施环境往正式环境导入部分数据，现在需要比对两个数据库之间某个表的数据差异，并将正式环境缺少的部分，从实施环境同步到正式环境。现在就需要这部分数据。但是，如果有差异的数据是有顺序的，比如按照时间顺序、按照主键自增等，找到有差异的部分会很容易。但是两个都不满足呢？在生产环境上把表备份一下，直接truncate ，将实施环境的...

2019-06-05 16:35:06 22600 2

原创服务器上出现大量的time_wait

服务器上出现大量的time_wait场景还原：在服务器上查看

2019-06-01 11:55:40 1376

原创描述一个postgresql中聚集函数array_agg、string_agg、bit_and、bit_or的应用场景

postgresql中的聚集函数array_agg、string_agg、bit_and、bit_or等聚集函数从一个输入值的集合计算一个单一结果。1.1 业务场景业务场景如下图所示：销售区域可以有多个渠道类型、多个负责部门、多个负责人销售区域 + 多个渠道类型形成唯一值。(新增、编辑时需要做数据校验)第一个问题就非常适合使用 string_agg() 函数。针对第二个问题...

2019-05-27 23:07:10 1575

原创 PostgreSQL中的crosstab（行转列函数）

PostgreSQL中的crosstab（行转列函数）行转列是一个非常有用的功能，如果不适用行转列函数，则通用做法是使用 case when 。不过，接下来，介绍一下今天的新主角–crosstab一、安装扩展环境:centos7 、pg10(yum 安装)、扩展组件 tablefunccrosstab 需要按照扩展tablefunc[root@uzong ~]# su postgre...

2019-05-27 12:35:43 25690 10

原创 PostgreSQL中的postgres_fdw扩展

PostgreSQL中的postgres_fdw扩展通过postgres_fdw 扩展，访问远程数据库表一、环境准备虚拟机(node107)：centos7、PostgreSQL10远程服务器(百度云服务BBC)： centos7、PostgreSQL10在本地虚拟机上访问远程服务器的数据表。二、配置连接（1）创建扩展: 在本地107这个节点上创建扩展。[root@107 ...

2019-05-26 23:40:52 9191 1

转载 linux wa%过高，iostat查看io状况 (转载)

转载地址： https://www.cnblogs.com/maomaochong123/p/8094233.htmllinux wa%过高，iostat查看io状况在使用top命令的时候会看到这么一行：翻译一下：us：用户态使用的cpu时间比sy：系统态使用的cpu时间比ni：用做nice加权的进程分配的用户态cpu时间比id：空闲的cpu时间比wa：cpu等待磁盘写入完成时间...

2019-05-26 11:14:36 1769

原创 PostgreSQL如何实现MVCC (基于xmin、xmax、cmin、cmax)

声明：本文是《PostgreSQL实战》读书笔记，参考了http://www.jasongj.com/sql/mvcc/ 部分，可以参考该书事务与并发控制章节和 http://www.jasongj.com/sql/mvcc/PostgreSQL如何实现MVCC (基于xmin、xmax、cmin、xmax)一、基于多版本的并发控制在PostgreSQL中，会为每一个事务分配一个递增的、类...

2019-05-26 01:29:38 3412

转载解决PostgreSQL表膨胀

转载地址：https://www.timbotetsu.com/blog/postgresql-bloatbusters/PostgreSQL表膨胀终结者无论是DBA还是开发者，只要工作中使用PostgreSQL，多多少少都会遇到vacuum：DBA需要配置vacuum，开发者遇到因vacuum导致的数据库性能下降、慢查询问题。背景vacuum对开发者来说是个黑盒，DBA知道vac...

2019-05-25 21:08:47 7936