- 博客(50)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Springboot 集成 ES
maven<dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version>7.12.1</version></dependency><dependency> <groupId>org.elasticsearch.clien
2021-05-12 14:41:59
148
原创 ES 增删改查
node.js下载地址：https://nodejs.org/en/（下载左边的稳定版）安装完成后，用 node -v 可以看到版本号添加环境变量：npm config set prefix “安装目录\node_global”、npm config set prefix “安装目录\node_cache”用户变量 Path 添加：安装目录\node_global、系统变量 NODE_PATH：安装目录\node_modules安装 express：npm install express -
2021-05-12 08:49:13
171
原创 ELK 记录日志（windows）
安装（Windows）下载地址：https://www.elastic.co/cn/downloads/PS：要配置 jdk 环境变量。ElasticSearch（分布式搜索引擎）配置：config/elasticsearch.ymlnetwork.host: 127.0.0.1http.port: 9200# 跨域http.cors.enabled: truehttp.cors.allow-origin: "*"启动：bin/elasticsearch.batLogStas
2021-05-06 13:56:09
229
原创 网络模型（DCGAN-深度卷积 GAN）
概念生成网络尺寸变大（1 → 图片尺寸）。通道数变大，再逐渐变小（in → max → …… → 3）。输出用 Tanh 激活。输出层不用 BN。判别网络尺寸变小（图片尺寸 → 1）。通道数逐渐变大，再变小（3 → …… → max → 1）。输出用 Sigmoid 激活。输入层不用 BN。实验（生成卡通人脸）数据集：96×96 的卡通人脸。（5 万）网络结构：判别器：卷积 + 标准化（BN）+ 激活（LeakyReLU）+ Sigmoid。生成器：转置卷积 + 标准化（B
2020-06-24 16:53:26
1143
原创 网络模型（Seq2Seq-注意力机制-编解码）
概念用于处理序列问题：翻译（N vs N）、信息提取（N vs 1）、生成（1 vs N）。RNN 要求输入队列和输出队列等长，Seq2Seq 可以解决输入队列与输出队列不等长的问题。实验（验证码识别）数据集：生成 4 位数字的验证码图片（测试集和训练集各 1000 张），图片名称为 index.code.jpg，截取 code 作为标签。网络结构：编码：全连接 + 标准化（BN）+ 激活（ReLU）+ LSTM。解码：LSTM + 全连接 + softmax（多分类）。优化器：Ada
2020-06-24 16:39:44
1411
原创 网络模型（VAE-变分自编码）
概念无监督学习，用于压缩还原、在保留部分原始信息的基础上生成、换脸……小明是个画家，有 A 和 B 两个人，看 A 两秒钟，看 B 一小时，然后画 A，画中会有 B 的特征。编码：提取特征。（看 A）解码：学习新特征，还原。（看 B 画 A）编码结果向 N(0, 1) 靠近，因为真实分布和 N(0, 1) 是有差别的，所以解码生成的图片会模糊。编码器得出的正态分布：N(μ, σ²)标准正态分布：N(0, 1)关系：N(μ, σ²) = N(0, 1) * σ² + μ编码损失：计算 N(
2020-06-24 15:43:09
520
原创 网络模型（GAN-生成式对抗神经网络）
概念无监督学习，用于生成、风格迁移、超分辨率（监控、卫星、核磁共振、X 光）、图像补全、图像增强、换脸……小明想去看电影，但是不想买票，于是他凭想象花了一张假票，门卫拦住了他。小明又回去画了一张假票，门卫还是看出来了。小明接着画票，门卫也越来越警惕……（小明的造假能力 和 门卫的识别能力 同时在增强）小明终于拿着自己画的票看上了电影。生成器：小明。（画票）判别器：门卫。（检查票的真伪）先训练判别网络，让判别器可以识别真实图片和伪造图片。再训练生成网络，使生成的图片靠近真实图片。重复交替
2020-06-19 17:43:37
1778
原创 网络模型（LSTM-带门的 RNN）
解决了 RNN 的长期依赖问题、梯度问题。（残差把连乘变为连加）忘记门（控制 C 的比重）更新门（控制 h 的比重）输出门（控制 C 和 h 的比例）实验（手写数字识别）数据集：MNIST。网络结构：LSTM + 全连接。优化器：Adam。损失函数：交叉熵（CrossEntropyLoss），自带 one-hot 类型和 softmax。输出：one-hot 类型，结果为最大的索引值。网络import torchfrom torch import nnclass My
2020-06-19 17:35:02
249
原创 网络模型（RNN-循环神经网络）
概念用于处理序列问题：翻译（N vs N）、信息提取（N vs 1）、生成（1 vs N）。1 vs NN vs 1N vs N实验（手写数字识别）数据集：MNIST。网络结构：RNN + 全连接。优化器：Adam。损失函数：交叉熵（CrossEntropyLoss），自带 one-hot 类型和 softmax。输出：one-hot 类型，结果为最大的索引值。网络import torchfrom torch import nnclass MyNet(nn.Modul
2020-06-19 16:22:53
447
原创 网络模型（MLP-全连接神经网络）
概念多层感知机，用于特征融合。h = wx + b（w：权重，b：偏移量）每个神经元之间都有自己的权重，参数很多，反向传播时更新。实验（手写数字识别）数据集：MNIST。网络结构：全连接 + 标准化（BN） + 激活（ReLU）。优化器：Adam。损失函数：交叉熵（CrossEntropyLoss），自带 one-hot 类型和 softmax。输出：one-hot 类型，结果为最大的索引值。网络import torchfrom torch import nnclass My
2020-06-19 15:59:35
8273
原创 网络模型（CNN-卷积神经网络）
概念用来做像素融合，提取特征。（1×1 的卷积核用来做通道融合）卷积核层数与输入层数相同，卷积核个数与输出层数相同，每个卷积核卷提取一种特征，最后用全连接得到一个特征图。（全连接的参数不更新，只做特征融合）特征图尺寸：w’ = (w - k + 2p) / s + 1w：原图大小。k：卷积核大小。p：填充。s：步长。结果带小数时，向下取整。（例如：原图大小为 6×6，卷积核大小为 3×3，步长为 1，不填充，得到的特征图尺寸为 2×2）权重共享共享：一个卷积核卷整张图的参数共享。目的
2020-06-19 12:01:45
647
原创 损失函数（Arc-SoftmaxLoss）
原理Arc-SoftmaxLoss = Arc-Softmax + NLLLoss。softmax 是通过角度分类的，Arc-Softmax 加宽了角度间的分界线，从而达到加大类间距的目的。softmaxV = wx = cosθ·||w||·||x||（ cosθ = 二范数归一化后的欧氏距离 = wx / ||w||·||x||）。Si = exp(cosθ·||w||·||x||) / ∑exp(cosθ·||w||·||x||)。Arc-Softmax（加大 θ 角度）实验（手写数
2020-06-17 15:51:20
2044
原创 损失函数（CenterLoss）
原理直接减小类内距，间接加大类间距。实验（手写数字识别）数据集：MNIST。网络结构：CNN + 特征全连接（输出2个特征值） + 分类全连接（输出10个特征值）。优化器：Adam。损失函数：特征损失：自定义损失函数（CenterLoss）。分类损失：交叉熵（CrossEntropyLoss），自带 one-hot 类型和 softmax。输出：one-hot 类型，结果为最大的索引值。自定义损失函数（CenterLoss）import torchfrom torch impo
2020-06-17 14:57:46
1733
原创 人脸识别（MobileNet-V2）
应用场景单人：支付、解锁……小范围：智能门锁……中范围：考勤打卡……大范围：小区门禁……小区门禁的精度可以很高。（训练集和测试集的重叠度高）一开始精度很低，摄像头采集数据作为样本，进行训练（加入特征库），随着样本越来越多，精度也越来越高。人脸识别很难通用，因为样本很难采集，需要各个角度、质量较高的人脸照片。识别过程经过 MTCNN 找出人脸，剪切下来放到 MobileNet-V2 中提取特征。将得到的特征和特征库中的特征进行比较，根据相似度进行识别。衡量相似度欧氏距离：x·w余弦相
2020-06-17 10:30:00
2421
原创 目标侦测（MTCNN）[人脸]
数据处理使用 CelebA 数据集，生成正样本、部分样本、负样本。（正样本 : 部分样本 : 负样本 = 1 : 1 : 3，因为图上大部分区域都是负样本）设计标签标签：地址 编号 x1偏移量 y1偏移量 x2偏移量 y2偏移量positive/0.jpg 1 0.022935779816513763 0.4334862385321101 -0.013761467889908258 -0.0022935779816513763增样CelebA 数据集都是欧洲明星脸，要检测亚洲普通人脸，需要增样。
2020-06-16 09:45:03
296
原创 目标侦测（YOLO-V3）
yolo：you only look once.（只看一次，速度快）数据处理第一步：筛选建议框（根据目标筛选形状和大小）在数据集中有一堆框，用 K-Means 聚类算法找到 9 个框，代表整个数据集。第二步：设计标签...
2020-06-15 16:20:42
255
原创 Linux 定时备份
脚本mkdir /home/lock/$(date +%Y%m%d)cp -r /www/lock/open-0.0.1-SNAPSHOT.jar /home/lock/$(date +%Y%m%d)cp -r /www/lock/manage-0.0.1-SNAPSHOT.jar /home/lock/$(date +%Y%m%d)cp -r /www/lock/forward_serv...
2019-12-05 15:41:29
110
原创 算法卷轴（计算卷）[最大公约数]
辗转相除法max 和 min 的最大公约数 = (max%min) 和 min 的最大公约数，当 max%min = 0 时，min 就是最大公约数。更相减损法max 和 min 的最大公约数 = (max-min) 和 min 的最大公约数，max = min 时，min 就是最大公约数。更相减损法 + 移位运算a、b 都为偶数：(a/2, b/2)*2a 为偶数、b 为奇数：(a/...
2019-12-02 10:48:53
231
原创 算法卷轴（数据卷）[链表的环]
public class Main { // 节点类：数据，下一个节点 static class Node { private Integer data; private Node next; public Integer getData() { return data; } ...
2019-11-25 10:09:13
142
原创 算法卷轴（数据卷）[栈的最小值]
import java.util.Stack;public class Main { static Stack<Integer> mainStack = new Stack<>(); static Stack<Integer> minStack = new Stack<>(); static void addNum(I...
2019-11-25 09:35:40
102
原创 版本控制（Git）
下载安装 Githttps://www.git-scm.com/download/注册 GitHub 账号https://github.com配置第一步：右键打开 Git Bash Here。第二步：配置用户名（git config --global user.name 用户名）。第三步：配置邮箱（git config --global user.email 邮箱）。第四步：生成公...
2019-11-11 13:06:33
121
原创 Java（阿里云）[短信]
注册阿里云https://www.aliyun.com开通短信服务第一步：在产品中找到 云通信 → 短信服务。第二步：点击免费开通。第三步：创建签名。第四步：添加模板。栗子在 maven 中引入包：<dependency> <groupId>com.github.qcloudsms</groupId> <artifactId&...
2019-09-17 13:31:34
102
原创 Java（微信公众号）
登录微信公众号测试环境http://mp.weixin.qq.com/debug/cgi-bin/sandbox?t=sandbox/login开发文档https://mp.weixin.qq.com/wiki?t=resource/res_main&id=mp1445241432
2019-09-17 10:43:51
150
原创 Java（邮件）
获取授权码引入 mail 包<dependency> <groupId>com.sun.mail</groupId> <artifactId>javax.mail</artifactId> <version>1.5.4</version></dependency>发送邮件import...
2019-08-14 17:10:31
103
原创 Java（微信支付）
注册微信商户微信支付平台：https://pay.weixin.qq.com/index.php/core/home/login开发文档https://pay.weixin.qq.com/wiki/doc/api/index.html这里以 Native 支付为例。调用统一下单接口 → 等待微信回调。栗子添加 maven 依赖：<dependency> <gro...
2019-07-12 15:22:11
304
原创 分布式锁
在一个项目中，为了保证线程安全，我们可以使用 synchronized 自动锁、Lock 手动锁、线程安全的类（java.util.concurrent 下的类），或者用 volatile 修饰变量。分布式红包以支付宝集五福抢红包为例，大年三十的晚上，集齐了五福的人都在访问支付宝的抢红包功能，假设红包总金额为 1 亿元，一共有 10 台服务器。服务器1：收到小明的请求 → 查看当前总红包金...
2019-06-26 14:43:49
83
原创 分布式事务
@Transactional在一个项目中的事务，我们可以使用 Spring 的 @Transactional 来控制。但它只支持一个 JVM，在分布式环境中，涉及到了多个系统，部署在不同的 JVM 中，就不能用 @Transactional 来控制事务了。方案一（使用消息保证最终一致性）以经典的转账问题为例，小明有两张银行卡，分别是 银行A 和 银行B 的，现在从 A卡 转 1000 给 ...
2019-06-26 11:22:47
133
原创 微服务（Maven + Springboot + Eureka + MySQL + Mybatis）[增删改查]
搭建项目：https://blog.csdn.net/afsya/article/details/91548140改造 manage 项目添加 controller、service、model。页面框架可任意选择，这里以 bootstrap 为例。在 pom 文件中加入 json、thymeleaf 包。<dependency> <groupId>net.s...
2019-06-12 17:25:45
674
原创 微服务（Maven + Springboot + Eureka + MySQL + Mybatis）[搭项目]
创建 maven 多模块项目新建项目，选择 Maven。填写项目名称。删除 src 目录。创建服务注册中心项目（eureka-server）右键项目名，选择 New → Module。选择 Spring Initializr。填写项目名称。选择 Eureka Server。项目结构。配置项目信息：server: port: 8080eureka: i...
2019-06-12 16:03:42
721
原创 Java（支付宝）[沙箱环境]
注册支付宝开放平台支付宝开放平台：https://www.alipay.com/支付宝扫码注册后，以后扫码就可以登录了。使用沙箱环境选择 开发中心 → 研发服务。使用沙箱环境文档：https://docs.open.alipay.com/200/105311/栗子支付方法：查看沙箱应用，可以找到 appid、gateway_url（支付宝网关）、alipay_public_ke...
2019-06-12 14:32:33
301
原创 Java（腾讯云）[短信]
注册腾讯云腾讯云官网：https://cloud.tencent.com/微信扫码注册后，以后扫码就可以登录了。开通短信服务第一步：在产品中找到 基础 → 基础通信 → 短信。第二步：点击免费领取。第三步：创建应用。第四步：点击创建好的应用，选择 国内短信 → 短信内容配置，创建短信签名。第五步：选择 短信正文，创建正文模板。栗子在 maven 中引入包：<d...
2019-06-12 11:37:36
737
原创 Java（腾讯云）[语音识别]
注册腾讯云腾讯云官网：https://cloud.tencent.com/微信扫码注册后，以后扫码就可以登录了。开通语音识别服务第一步：在产品中找到 人工智能 → 语音识别。第二步：点击立即使用。开发文档第一步：点击文档与资源，选择录音文件识别。第二步：主要看 离线语音识别 和 识别结果回调 两部分。栗子转写方法：在腾讯云的账号管理中，选择 访问管理 → 访问密钥 ...
2019-06-12 11:17:28
4313
原创 Socket（栗子）[UDP]
服务端线程public class UDPServerThread implements Runnable { DatagramSocket socket; DatagramPacket packet; public UDPServerThread(DatagramSocket socket, DatagramPacket packet) { this...
2019-04-04 15:58:50
132
原创 Socket（栗子）[TCP]
服务端线程public class ServerThread implements Runnable { Socket socket; public ServerThread(Socket socket) { this.socket = socket; } public void run() { try { ...
2019-04-04 15:50:58
121
原创 MQTT（栗子）[mosquitto]
Mosquitto官网：http://mosquitto.org一款实现了 MQTT 协议的开源消息代理软件，提供轻量级的，支持可发布/可订阅的的消息推送模式，使设备对设备之间的短消息通信变得简单，比如现在应用广泛的低功耗传感器，手机、嵌入式计算机、微型控制器等移动设备。结构从官网下载安装后，会得到以下文件。mosquitto.exe：代理主程序。mosquitto.conf：配置...
2019-04-04 10:47:22
233
原创 Java（设计模式）[工厂]
简单工厂模式结构实现计算父类：public class Calculate { double num1; double num2; public double getResult() { return 0; }}加法类：public class Add extends Calculate { @Override public double getResult()...
2019-03-11 15:49:56
100
原创 UML图
类name 是属性，study() 是方法。（+：public、-：private、#：protected）继承类实现接口关联（成员变量）聚合（成员变量）属性可以离开主体存在。组合（成员变量）属性不能独立存在。依赖（局部变量、方法参数）...
2019-03-11 11:34:51
174
原创 MySQL（优化）
explain 查看 sql 执行计划explain select * from `t_message_info`type：连接类型。（不要出现 ALL，至少是 RANGE）key：使用到的索引。key_len：索引长度。rows：扫描行数。extra：详细说明。in 条件in 条件中的值被存储在一个有序数组中，值的数量过多时，效率较低。所以，能用 between 的就不要...
2019-02-25 17:37:33
113
原创 MySQL（架构）[主从篇]
原理第一步：对主库进行增删改操作。第二步：主库记录变更到日志中。第三步：从库有两个线程，一个是 I/O 线程，负责从主库的日志中读取变更，并写入自己的日志；另一个是 SQL 线程，负责读取从库日志中的变更，并写入从库。常用方案一主三从是比较合理的部署方案，三台从库的作用分别是：读取、备份和替补。读取和备份很容易理解，读取从库为了应付大量的读操作，备份从库为了执行大量数据的备份工作...
2018-12-28 18:03:23
239
原创 MySQL（架构）[先导篇]
评价互联网产品，通常会有一项重要指标，那就是用户量，随着物联网的发展，越来越多的信息被记录到网络中。这对数据库的性能就有了更高的要求，不论哪种数据库，都不可能无限量的存储数据，对于 MySQL 来说，一张表的数据量最好控制在 3000 万以下。如果数据量达到了亿级，增删改查都会变得很慢。如果说 3000 万到 5000 万时，性能是缓慢降低，那么 5000 万上升到 8000 万时，性能就会接近...
2018-12-28 17:03:02
95
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人