qq_25037905的博客

原创 MQ和redis的内部原理一些总结

但是如果不熟悉内部原理，那么仅仅只是安装官方文档，并不能排除跟踪问题和故障、预防风险等策略；以下总结图解：（mysql 8.0新增的主从异步并行同步，也很多雷同消息队列的设计思想）首先，先知道内部原理；其次，就是查官方文档实战了。

原创 业务架构、技术架构、项目管理的有机结合

技术兑现本身，还不是从技术出发，是从上层的业务架构得出。设计业务架构的人，大部分是公司的核心领导，业务总监、总经理之类。所以，技术人员很难把技术兑现价值，游走于各个公司之间的劳动力输出角色。技术本身是架构的执行层面，如果上面的公司战略、业务架构变小，缩水，或者仅为了维持和项目交付，那么技术架构的价值就大打折扣了；这一年来没有上班，也因为大龄的问题找不到合适的工作。然后考了几个项目管理证书，又思考了一个技术兑现的问题。作为一个技术架构师，在这个经济大环境不好的年代。新入职的创业公司一年不行了。

原创 关于技术管理的葵花宝典

关于技术管理的葵花宝典

原创 记一次k8s上nacos崩溃

记一次k8s上nacos崩溃

原创 fio搞坏于修复

fio搞坏于修复

原创 nexus反向代理配置(https)

转发时使用https协议。# 转发时使用https协议。

原创 ruoyi系统saas单点登录架构方案

VUE文件：/src/modules/reception/view/thirdlogin.vue<template> </template><script>import { getToken, setToken, removeToken,checkToken } from '~/commonPublic/utils/auth'import Cookies from 'js-cookie'//saas第三方登录的入口界面//http://...

原创 实现粒子动画效果VUE particles.js 安装

style.css#particles-js{ /*particles插件会自算屏幕大小，margin-bottom调整至图片高度*/ margin-bottom: -20%; width: 100%; height: 100%; /*背景颜色*/ /*background-color: #e76392;*/ /*背景图片*/ background-image: url("../../assets/img...

原创 供应链协作平台产品设计思维导图

https://gitee.com/firstime/supplychain

原创 关于DDD设计的一些实践思考

DDD全名，领域驱动设计。是一门软件设计理论，在面向对象的基础上进一步，作用是设计出低耦合、高内聚的软件产品，通过分层的设计思想，是软件达到扩展、性能、易读性；为了devops和低代码生成器的标准化规范前提；devops是根据DDD领域驱动的持续集成、测试、敏捷开发、交付； 首先，需要对一个业务需求分析，创建领域模型； 然后，将模型对象和业务逻辑，开发落实到四层代码当中的领域层domain；【应用层application、领域层domain、用户界面层interfaces、基础设施层in

原创 spring框架源代码分析-反射

反射获取注解：上下文获取注解的代码：getBeansWithAnnotation源码跟踪，找到真正调用，做了反射缓存：结论：jdk 的java.lang.Class 反射获取，效率还好；反射获取方法，invoke执行方法：Java 方法反射性能差主要原因是：1.获取Method对象慢1.1 需要检查方法权限每次获取Method对象，都需要检查方法权限是否合法，哪怕是已经调用的Method对象。1.2 需要遍历筛选递归...

原创 CNN卷积神经网络常用处理图像

一维卷积操作过程：卷积核，是一个共享参数，和输入值进行计算；二维卷积操作过程：卷积核滑动卷积操作：平移等变；兔子位置变化，不影响输出结果；卷积神经网络的优点：稀疏连接：参数共享：卷积核是共享的，这样参数少了，减少过拟合，加速计算平移等变：...

原创 初学神经网络小栗子

import torchimport torch.nn as nnimport numpy as np#1 任务 有监督学习# 首先说下我们要搭建的网络要完成的学习任务：让我们的神经网络学会逻辑异或运算，异或运算也就是俗称的“相同取0，不同取1” 。# 再把我们的需求说的简单一点，也就是我们需要搭建这样一个神经网络，让我们在输入（1,1）时输出0，输入（1,0）时输出1（相同取0，不同取1），以此类推。#2 实现思路# 因为我们的需求需要有两个输入，一个输出，所以我们需要在输入层设置两个.

原创 图深度学习基础二-前馈神经网络

以下到文末都是前馈神经网络知识：我们的目标是得到损失函数的最小值，越小则代表深度学习的值和基准值最接近；深度学习的结果就越接近真实结果；优化的方法：梯度下降法，对最终的损失函数进行寻找最小值；一般随机的抽样一些，不把所有的计算；如何优化？梯度下降如何计算？用反向传播：损失函数往前逐个2节点间的参数进行求偏导数；...

原创 图深度学习基础一（应用领域和理论基础）

人的运动是骨架图的另一个结构药物分子结构的预测；过拟合过平滑：2点之间的最短路径，社交图直径很短一般是2.X第一行：别人说你行，度多的行。第二行：说你行的人也行。第三行：自己也要行复杂图介绍：比二分图多了2个FUNCTION，还有2个FUNCTION，节点映射类型Tn，边映射类型Te一组节点，...

原创 FLINK SQL EMIT语法解释

https://help.aliyun.com/document_detail/98951.html?spm=a2c4g.11186623.6.814.6e473970r9UJn4注意最后一行 without delay after wartermark 的不加和加的作用如下:

原创 Debezium、Flink、Hudi数仓、湖仓一体的文献搜集

网易音乐数仓建设之路：https://mp.weixin.qq.com/s/FIKCe6oV8NproiKYzis_6w

原创 总结的部分JAVA面试题和答案

一面（技术面）一、Java内存模型：虚拟机栈-独享的（一个线程一个栈）、堆-共享的（新生代-复制算法、老年代-标记整理-清除）、程序计数器-独享的（CPU切换线程管理）、元数据区-共享的（类信息、常量、静态变量、方法）、本地方法栈-独享（和操作系统交互）二、full gc怎么触发：新生代满minor gc;1、老生代满2、永久代满 3、minor gc 不了的晋升到老生代的数据大于老生代大小；4、选择了CMS GC算法导致；三、gc算法：1、可达性2、引用计数法3、复制（内存分2份，左满移右）

原创 层序遍历二叉树代码

import java.util.ArrayList;import java.util.LinkedList;import java.util.List;import java.util.Queue;/* * 层序遍历二叉树 * 创建一个二叉树： * 23 * / \ * 34 21 * ..

原创 LeetCode 1-3题精讲

import java.util.HashMap;import java.util.Map;//给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的那 两个 整数，并返回他们的数组下标。////你可以假设每种输入只会对应一个答案。但是，你不能重复利用这个数组中同样的元素。////示例://给定 nums = [2, 7, 11, 15], target = 9////因为 nums[0] + nums[1] = 2 + 7 = 9//所以返回 [0, .

原创 pyTorch学习基础（二）选择稀疏与稠密张量

import torchfrom matplotlib import pyplot as pltdev_cpu=torch.device("cpu") #指定CPU计算# 定义一个稀疏的张量，绘制对角线i=torch.tensor([[0,1,2],[0,1,2]]) #定义一个x,y轴的坐标系v=torch.tensor([1,2,3]) #定义坐标系上的点值c=torch.sparse_coo_tensor(i,v,(4,4),dtype=torch.float32,device=d.

原创 pyTorch学习基础一选择CPU和GPU

import torch# 张量在CPU上计算dev_cpu=torch.device("cpu") #指定CPU计算a= torch.tensor([2,2],dtype=torch.float32,device=dev_cpu) #张量选择设备print(a)# 张量在GPU上计算dev_gpu=torch.device("cuda") #指定GPU计算b= torch.tensor([2,2],dtype=torch.float32,device=dev_gpu) #张量选择设备.

原创 TensorFlow和PyTorch的对比选择

前面代码是PyTorch，动态图方式计算。动态图意思，编好程序即可执行；后面代码是TensorFlow，静态图方式计算。静态图意思，先创建计算程序，后执行；

原创 pyTorch学习基础案例一-熊猫图片切分

图片可以用3维张量表示往下看搞懂0维张量，1维张量，2维张量和你理解的变量，1维数组，2维数组，向量，矩阵是什么意思和对应关系import numpy as np #numpy是一个广泛支持机器学习算法的科学计算框架,CPU,这个比较老。0-2维度的计算。import torch #torch是一个广泛支持机器学习算法的科学计算框架,GPU，这个新支持深度学习的框架。能计算更高维度。0-5个维度的计算from PIL import Image #图形处理的库from matplotlib

原创 数据科学大佬的聊天记录一

不是很懂，先备着。

原创 最近有公司的大数据哥们反馈OKI是0

其实DA数据分析，我觉得还是精准率没玩好。去拿一些真实数据去四像矩阵法手工比较精准率和准确率的差距在哪。

原创 如何获取JAVA代码里的full gc时间和如何获取接口的运行时间

获取JAVA代码块的运行时间，代码运行时间包含（执行时间+GC时间）；在高并发大数据量的情况下，往往代码的GC时间会远远超过执行时间；在HDFS的早期版本里出现过运行一段时间，HDFS服务器自动关闭，原因是代码里有超时退出系统的逻辑；正常超过30秒就退出，一般代码是不会有30秒运行时间，但是随着系统运行时间长，系统垃圾增多，GC的时间会线性的增长；因此超出30秒退出的逻辑需要30+代码块运行的时间；package LearnCases;/** * Created with Intell.

原创 架构师的6个能力

架构师的6个能力：1、需求分析识别业务逻辑 识别业务场景 识别业务风险2、架构设计解决问题：三高 解决问题：CAP 领域模型设计 大数据建模设计3、架构选型技术方案选型：常用技术方案VS优缺点对比 设计模式选型：36种代码设计模式的最优化选择 架构模式选型：单机、分布式、生产消费、客户端-服务端等几种模式的最优化选择4、容量规划业务层面规划：整体上评估业务需要多大系统容量：UV,PV,DAU/MAU,IP这些指标衡量。 水平层面规划：TPS,QPS,SESSION，

原创 架构优化：如何解决flinkjob无限增长的问题

原创 用户画像和标签

标签设计用户画像，本质就是给用户进行打标签。1、基于统计的标签有：性别、年龄、星座、近7日活跃时长、近7日活跃天数、近7日活跃次数；可以从用户注册数据、用户访问数据、消费类数据中统计得出。2、基于规则的标签根据具体业务需求定义，如：近7天活跃时长>=23、基于机器学习的标签（挖掘类）如逻辑回归学习来进行二分类，如：判断是男还是女，判断是否得癌症...

原创 大数据--商品推荐系统网摘汇总

https://blog.csdn.net/weixin_42229056/article/details/82966477https://download.csdn.net/download/weixin_42229056/10707167?spm=1001.2014.3001.5501

原创 docker的架构原理

原创 YARN 是一个资源管理、任务调度的框架

原创 简单解释一下树的特性和应用分析

1、树2、二叉查找树BST；包含左子树和右子树的树，节点下最大有俩个子树，左子树节点都小于根节点，右子树节点都大于根节点。3、平衡二叉查找树AVL；它的作用是优化了二叉树减少计算量，普通的二叉搜索树是有缺陷的；如果左子树和右子树高度相差巨大，那么在运算的高度就会越多。所以左子树和右子树的高度差不超过1，就能把降低高度，把更多节点安排在层内。从而减少计算量。当发生不平衡的情况，需要旋转来使它平衡：第一次右旋得到第二次左旋得到最终我们得到一个高度2的平衡二叉搜

原创 堆是什么?

先看“数组、栈”与“链表、队列”的区别https://blog.csdn.net/u011331844/article/details/37963367队列的图解：堆的图解，是一个优先队列，队列的一种。堆的贪婪算法几种实现方式：1、一个单链表存储，插入时遍历链表的最小元素删除并取出。耗费O(N)时间2、一个单链表存储，插入时对链表进行排序，插入O(N)，弹出O(1)；3、使用二叉树，插入和删除都是O(logN)；4、二叉堆（完全二叉树）。常用的堆大致用这种方式实现。

原创 手写一个二分查找，手写一个二分幂运算

package LearnCases;import java.time.Instant;/** * Created with IntelliJ IDEA. * * @Auther: suibin * @Date: 2021/06/04/13:16 * @Description: 手写一个二分查找，手写一个幂运算 */public class BinarySearch { //手写一个二分查找 static int binarySearch(Integer []arr,.

原创 手写一个JAVA线程池和手写一个JAVA生产消费

手写一个JAVA线程池package LearnCases;import java.util.ArrayList;import java.util.List;import java.util.concurrent.BlockingQueue;import java.util.concurrent.LinkedBlockingQueue;/** * Created with IntelliJ IDEA. * * @Auther: suibin * @Date: 2021/06/0.

原创 事件驱动场景、数据分析场景、数据管道场景

应用场景Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink 不仅可以运行在包括 YARN、 Mesos、Kubernetes 在内的多种资源管理框架上，还支持在裸机集群上独立部署。在启用高可用选项的情况下，它不存在单点失效问题。事实证明，Flink 已经可以扩展到数千核心，其状态可以达到 TB 级别，且仍能保持高吞吐、低延迟的特性。世界各地有很多要求严苛的流处理应用都运行在 Fli

原创 hadoop问题整理一

hadoop有俩个管理页面：http://suibin.online:8088/http://suibin.online:50070/安装完毕，需要查看以下端口是否都存在，否则安装有问题：netstat -an| grep 50070netstat -an| grep 50075netstat -an| grep 50090netstat -an| grep 8080netstat -an| grep 9000端口解释:(必须存在) webhdfs 端口5..

原创 SQL如何设计一个可动态扩展字段的表

场景：正常的建表，需要建立几个列字段，在建表的时候固定。那么现在有一个需求，如何动态的增加字段？解决方案：1、先建立一个竖表（K-V）来存储新增的字段。如：用户扩展字段表；key是字段名，value是字段值；userinfo_id_key是ID号；2、在主表users中添加userinfo_id字段映射到users_info表中的userinfo_id_key字段；3、编写SQL语句得到查询结果；用户表：用户扩展字段表：用户类型表：SQL查询结果：..