meng_xin_true的博客

原创 基于python实现原神那维莱特开转脚本

相信不少原友都抽取了枫丹大C那维莱特，其强力的输出让不少玩家爱不释手。由于其转的越快，越不容易丢伤害的特点，很多原友在开转时容易汗流浃背，所以特意用python写了一个自动转圈脚本，当按住鼠标侧键时，即可实现高速旋转。

原创 ES7.x的查询语句及java查询语句

Elasticsearch 7.x 是一个基于 Lucene 的分布式搜索引擎，它提供了一个分布式全文搜索引擎，可以快速、准确地搜索、分析和存储海量数据。Elasticsearch 7.x 的主要特点包括：分布式架构：Elasticsearch 7.x 是一个分布式系统，它可以运行在多个节点上，每个节点都是相互独立的，并且数据会自动分片和复制到多个节点上，提高了系统的可用性和可扩展性。

原创 Java 实现 YoloV7 人体姿态识别

Java使用OnnxRuntime及OpenCV实现YoloV7姿态识别

原创 Java 实现 YoloV7 目标检测

基于JAVA实现YOLOv7目标检测

原创 JAVA、Spring、Spring Boot 相关注解介绍

在 Spring Boot 开发中注解（Annotation）占有重要的地位。注解为在代码中添加信息提供了一种形式化的方法，通过注解可以很方便地在代码中某个地方使用被注解的对象。注解常见的作用包括生成文档、跟踪代码依赖性和替代配置文件、在编译时进行格式检查（如 @Override 放在方法前）等。本文介绍 Spring Boot 注解以及和 Spring Boot 注解密切相关的 Java 注解、Spring 注解等内容。注解是一系列元数据，它利用元数据来解释、说明程序代码（即被注解的对象）。

原创 HDFS常用30条命令（ChatGPT生成）

让ChatGPT生成了HDFS最常用的30条命令

原创 一文看懂提升树与梯度提升树（GBDT）

之前讲到的 AdaBoost 是提升方法中最典型的算法思路之一，提升方法则采用加法模型（基函数的线性组合）与前向分步算法，而 AdaBoost 只是将损失函数指定为指数损失函数的提升方法而已。提升树是以分类树或回归树为基本分类器的提升方法。其被认为是统计学习中性能最好的方法之一。实际上，AdaBoost 更多的是一种算法思路，其并没有指定基函数是决策树还是其他。对于分类问题，提升树的基决策树是二叉分类树；对于回归问题，提升树的基决策树是二叉回归树。

原创 生成式对抗网络（GAN）原理推导与网络构建思路

生成对抗网络（Generative Adversarial Nets，GAN）于 2014 年由 Ian J. Goodfellow 提出。GAN 的基本思想源自博弈论的二人零和博弈，由一个生成器和一个判别器构成，通过对抗学习的方式来训练。目的是估测数据样本的潜在分布并生成新的数据样本。GAN 的优化过程是一个极小极大博弈 (Minimax game) 问题，优化目标是达到纳什均衡，使生成器估测到数据样本的分布。

原创 Markdown数学公式大全

左右两边各一个$，在$中输入公式，即可在一行内显示，左右两边可接文字。如：{x=1y=2+x\left\{\begin{aligned}x&=1\\y&=2+x\end{aligned}\right.{xy​=1=2+x​行间公式左右两边各两个$，在四个$中输入公式，即可在单独占一行显示，且公式居中。如：{x=1y=2+x\left\{\begin{aligned}x&=1\\y&=2+x\end{aligned}\right.{xy​=1=2+x​上标、下标与组合上标，符号为 ^

原创 Hive调优方法

HIVE提供了EXPLAIN命令来展示一个查询的执行计划,这个执行计划对于我们了解底层原理，hive调优，排查数据倾斜等很有帮助参数说明EXTENDED加上extended可以输出有关计划的额外信息。这通常是物理信息，例如文件名。这些额外信息对我们用处不大CBO输出由Calcite优化器生成的计划。CBO从hive4.0.0版本开始支持AST输出查询的抽象语法树。AST在hive2.1.0版本删除了，存在bug，转储AST可能会导致OOM错误，将在4.0.0版本修复。......

原创 HIVE数据的压缩与存储格式

压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在运行MR程序时，I/O操作、网络数据传输、Shuffle和Merge要花大量的时间，尤其是数据规模很大和工作负载密集的情况下，因此，使用数据压缩显得非常重要。鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源、最小化磁盘I/O和网络传输非常有帮助。可以在任意MapReduce阶段启用压缩。不过，尽管压缩与解压操作的CPU开销不高，其性能的提升和资源的节省并非没有代价。...

原创 HIVE操作自查手册（全）

对于Hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字符数。Hive有三种复杂数据类型ARRAY、MAP 和 STRUCT。ARRAY和MAP与Java中的Array和Map类似，而STRUCT与C语言中的Struct类似，它封装了一个命名字段集合，复杂数据类型允许任意层次的嵌套。示例：基于上述数据结构，在Hive里创建对应的表，并导入数据。创建本地测试文件test.txt注意：MAP，STRUC

原创 HIVE简介、优缺点及架构原理

Hive简介hive由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hive本质将HQL转化成MapReduce程序Hive处理的数据存储在HDFSHive分析数据底层的实现是MapReduce执行程序在Yarn上。...

原创 集群的安全模式

一旦在内存中成功建立文件系统元数据的映像，则创建一个空的编辑日志。这个过程期间，NameNode一直运行在安全模式，即NameNode的文件系统对于客户端来说是只读的。​系统中的数据块的位置并不是由NameNode维护的，而是以块列表的形式存储在DataNode中。在系统的正常操作期间，NameNode会在内存中保留所有块位置的映射信息。在安全模式下，各个DataNode会向NameNode发送最新的块列表信息，NameNode了解到足够多的块位置信息之后，即可高效运行文件系统。...

原创 集群中增加数据节点与退役数据节点

注意不允许白名单和黑名单中同时出现同一个主机名称，既然使用了黑名单blacklist成功退役了hadoop105节点，因此要将白名单whitelist里面的hadoop105去掉。添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。添加到黑名单的主机节点，不允许访问NameNode，会在数据迁移后退出。随着业务的增长，数据量会越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。...

原创 HDFS中DataNode的工作机制

可在hdfs-site.xml配置文件中进行修改二者的值，值得注意的是，heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。集群运行中可以安全加入和退出一些机器。...

原创 NameNode故障处理的两种方法

NameNode故障后，可以采用两种方法恢复数据。

原创 NameNode (NN) 和SecondaryNameNode (2NN)工作机制

​元数据存储着hdfs的目录结构及每一个文件的块信息（如块的id、块的副本数量、块的存放位置）​元数据由NameNode负责管理，由于元数据经常需要进行随机访问与响应客户请求，若存储在NameNode节点的磁盘中，效率必然过低，因此元数据需要存放在内存中。但如果只存放在内存中，一旦断电，元数据丢失，整个集群就无法工作了，因此产生了。文件（只进行追加操作，效率很高）。...

原创 HDFS数据的读写流程

客户端通过DistributedFileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。NameNode返回是否可以上传。客户端请求第一个Block上传到哪几个DataNode服务器上。NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。...

原创 HDFS简介与HDFS的SHELL操作命令大全

​HDFS(HadoopDistributedFileSystem)，它是一个文件系统，用于存储文件，通过目录树来定位文件;其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。...

原创 方程求根之二分法

二分法也称对分区间法、对分法等，是最简单的求根方法，属于区间法求根类型。利用连续函数零点定理，将含根区间逐次减半缩小构造点列来逼近根。设连续函数f(x)f(x)f(x)在[a,b][a,b][a,b]只有一个根，满足f(a)f(b)...

原创 从感知机到前馈神经网络的数学推导

感知机是一种用来处理二分类的经典线性模型。其原理朴素直观，引入了学习概念，是神经网络的基本构成单元之一。本文通过讲解感知机的数学原理及缺陷，进一步引申出前馈神经网络的概念。...

原创 CNN经典模型解读---LeNet模型及mnist实战

简介LeNet是一个早期用来识别手写数字图像的卷积神经网络。这个名字来源于LeNet论文的第一作者Yann LeCun。LeNet展示了通过梯度下降训练卷积神经网络可以达到手写数字识别在当时最先进的结果。这个奠基性的工作第一次将卷积神经网络推上舞台，为世人所知。LeNet分为卷积层块和全连接层块两个部分，其网络结构如下图所示。卷积层块卷积层块里的基本单位是卷积层后接最大池化层：卷积层用来识别图像里的空间模式，如线条和物体局部，之后的最大池化层则用来降低卷积层对位置的敏感性。卷积层块由两个这样的基本单

原创 贝塞尔曲线的python实现（简单易理解）

简介贝塞尔曲线在计算机图形学中被大量使用，通常可以产生平滑的曲线。比如ps中的钢笔工具，就是利用的这种原理。由于用计算机画图大部分时间是操作鼠标来掌握线条的路径，与手绘的感觉和效果有很大的差别。即使是一位精明的画师能轻松绘出各种图形，拿到鼠标想随心所欲的画图也不是一件容易的事。这一点是计算机万万不能代替手工的工作，所以人们只能颇感无奈。使用贝塞尔工具画图很大程度上弥补了这一缺憾。贝塞尔曲线是计算机图形图像造型的基本工具，是图形造型运用得最多的基本线条之一。通过在二维平面上放置几个锚点，根据锚点的路径和描绘

原创 常见损失函数综述及区别

损失函数和风险函数首先引入损失函数与风险函数的概念。损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。监督学习问题是在假设空间F\Bbb FF中选取模型fff作为决策函数，对于给定的输入XXX，有f(X)f(X)f(X)给出相应的输出YYY，这个输出的预测值f(X)f(X)f(X)与真实值YYY可能一致也可能不一致，用一个损失函数（loss function）或代价函数（cost function）来度量预测错误的程度。损失函数是f(X)f(X)f(X)和YYY的非负实值函数，记作L

原创 感知机手写推导

原创 常见激活函数适用场景及优缺点分析

什么是激活函数激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。在神经元中，输入的input经过一系列加权求和后作用于另一个函数，这个函数就是这里的激活函数。下图为单个感知机模型的结构，其中f(⋅)f(·)f(⋅)即为激活函数，y=f(∑wixi)y=f(\sum w_ix_i)y=f(∑wi​xi​)。激活函数的作用对于一个多层感知机，给当一个小批量样本X∈Rn×dX \in \Bbb R^{n×d}X∈Rn×d，其批量大小为nn

原创 灰色多变量预测模型之MGM(1,n)的手写推导

原创 灰色预测模型之GM(1,1)的手写推导

原创 XGBoost算法的手写推导

原创 手推梯度提升树GBDT

原创 手推提升算法之AdaBoost

原创 手推支持向量机

原创 手推决策树之CART算法

原创 手推决策树之ID3与C4.5算法

原创 手推机器学习算法之朴素贝叶斯

原创 使用PIL对图像进行灰度和二值化处理，并使用pyautogui在ps上自动绘制

首先用PIL库里的Image打开图像：img = Image.open(r'C:\Users\xxxxx\Desktop\jks.jpg')使用img.size发现这个图像为1920x1031个像素点，在ps上没法完全显示出来，因此我们需要对其进行压缩一下。width,height = img.sizeya_suo_lv = 0.8img = img.resize((int(width*ya_suo_lv),int(height*ya_suo_lv)),Image.ANTIALIA.

原创 接雨水问题（python实现单调栈问题）

题目描述给定n 个非负整数表示每个宽度为 1 的柱子的高度图，计算按此排列的柱子，下雨之后能接多少雨水。上面是由数组 [0,1,0,2,1,0,1,3,2,1,2,1] 表示的高度图，在这种情况下，可以接 6 个单位的雨水（蓝色部分表示雨水）。示例:输入: [0,1,0,2,1,0,1,3,2,1,2,1]输出: 6来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/trapping-rain-water...

原创 leetcode 529. 扫雷游戏 （python）

题目描述让我们一起来玩扫雷游戏！给定一个代表游戏板的二维字符矩阵。'M'代表一个未挖出的地雷，'E'代表一个未挖出的空方块，'B'代表没有相邻（上，下，左，右，和所有4个对角线）地雷的已挖出的空白方块，数字（'1' 到 '8'）表示有多少地雷与这块已挖出的方块相邻，'X'则表示一个已挖出的地雷。现在给出在所有未挖出的方块中（'M'或者'E'）的下一个点击位置（行和列索引），根据以下规则，返回相应位置被点击后对应的面板：如果一个地雷（'M'）被挖出，游戏就结束了- ...

原创 Manache（马拉车）算法基本原理与python实现

马拉车算法：在元素向两边扩散进行查找的基本思路不变的情况下，充分利用回文串的对称性，大幅减少算法时间的一种算法（时间复杂度o(n)）。字符的处理在每个字符和字符串开头与结尾都添加上特殊符号“#”。然后在两端分别加入一个全新的符号，这样可以省去边界的判断。如”aba“可以改写成”@#a#b#a#$“。几个重要变量的初始化建立列表p，并给其添加和字符串等数量的0，之后会用来记录每个元素向两边扩散所能达到的最大回文长度。将max_right，max_mid_index初始...