- 博客(297)
- 收藏
- 关注
RSS订阅
原创 MySQL之索引作用与实现，所以的创建、删除、唯一索引、普通索引、及命名规则；何时创建索引、创建注意事项、如何优化索引、索引失效；聚簇索引与非聚簇索引；使用自增还是UUID
B-tree的结构与二叉搜索树不同，它的每个节点可以包含多个键和对应的指针，且所有叶子节点均处于同一层级，因此它的查找和遍历效率更高。它的应用可以提高查询效率，减少磁盘I/O操作，从而提高数据库系统的性能。key_len 索引的长度（key_len显示的值为索引字段的最大可能长度，并非实际使用长度）：唯一索引要求索引列的值必须唯一，不允许重复值，但允许空值。：复合索引是指一个索引包含多个列。，相对于index的全索引扫描，它有范围限制，因此要优于index。：是最基本的索引类型，用于加速对列的查询。
2023-02-13 17:57:42
1610
原创 mysql本人常遇到的错误码及解决办法(32种)
1406pymysql.err.DataError: (1406, '') 传入的数据不正确（长度，类型有误）1054pymysql.err.InternalError: (1054, 'Unknown error 1054')
2019-05-06 23:08:39
9653
1
原创 python基础之dynaconf配置参数，背景、示例、方法(根据环境动态配置参数)
【代码】python基础之dynaconf配置参数，背景、示例、方法(根据环境动态配置参数)
2024-03-13 18:38:50
422
原创 python 之xml 使用原生xml.dom
将一个xml文档某个元素插入另一个文档，插入另一文档中。将某个文档直接插入另一个文档的某个节点下。将一个文档下的子节点放入另外一个节点。将另个文档中的节点，插入指定节点。通过父节点定义子节点 并获取值。
2023-10-12 00:44:55
627
原创 pandas(四十四)pandas100个神仙级用法
创建一个示例DataFramedata = {# 使用describe方法获取数据摘要统计信息A B C名称解释名称解释count非空值的数量unique唯一值的数量top出现频率最高的值freq最高频率的值出现的次数mean平均值std标准偏差min最小值25%第25百分位数50%中位数75%第75百分位数max最大值。
2023-09-10 02:19:47
291
原创 如何设计一个高性能架构(若干个考虑的意见或建议)
明确需求与目标在设计之初需求明确系统业务需求和性能，例如：系统需要支持多少并发？响应时间的要求？数据一致性要求如何？选择合适架构模式例如微服务架构，可以将系统分解为小型、独立的微服务，每个服务都可以独立部署可扩展异步事件驱动：利用消息队列实现异步通信，解耦系统的不同部分，提高系统的响应能力负载均衡：使用负载均衡器来分散流量，确保系统的负载均匀分布在多个服务器上灵活可扩容：利用Kubernetes实现服务的自动扩容，根据系统的负载动态添加删除资源优化数据库使用合适的数据库类型（如关系型、
2023-09-07 11:32:13
181
原创 python 之 进程与线程区别、GIL锁产生背景及对Python性能的影响？python的多线程是假的，为啥还用多线程
GIL全局解释锁全局解释锁: 每个线程在执行过程的过程都需要先获取GIL，确保在同一时刻只有一个线程可以执行字节码，目的是简化CPython的设计, 保证线程安全在I0操作等可能会引起阻塞的system call之前，可以暂时释放GIL，但在执行完毕后，必须重新获取GILPython 3.x使用计时器(执行时间达到國值后，当前线程释放GIL）或Python 2.x, tickets计t数达到100python使用多进程是可以利用多核的CPU资源的。
2023-08-18 11:42:05
206
原创 python 之 浮点数精度丢失例如：0.1 + 0.2，产生的原因、问题的推导、解决的方案
python是以双精度(64bit）来保存浮点数的，后面多余的会被砍掉，所以在电脑上实际保存的已经小于0.1的值了，后面拿来參与运算就产生了误差。浮点数的总数是无限且不可数的，浮点数在计算机占用的内存是有限的，计算机内存占满了。不可能用有限的内存空间存储无限多的浮点，后面多余的部分都会被砍掉。同上并不是所有的十进制数都可以用二进制格式精确表示，计算机基本上使用二进制数字，即 0 或 1表示；有些是使用有限数量的二进制数字来近似的。计算机的浮点类型也是由二进制表示的。
2023-07-27 14:11:02
1652
原创 pandas(二十三)使用apply函数给表格同时添加多列
定义了一个名为 my_func 的函数，该函数接受一个行对象 row 作为参数，并返回两个值：wencha 和 avg。将这个函数应用于 DataFrame df 的每一行，使用 .apply() 方法，并指定 axis=1 来按行操作。将函数返回的两个值分别赋值给 DataFrame df 的新列 ‘wencha’ 和 ‘avg’使用 result_type=‘expand’ 来指定结果是扩展成新的列。
2023-07-12 18:56:28
1641
原创 pandas(二十)数据转换函数map、apply、applymap
数据转换函数对比：map、apply、applymap:1. map：只用于Series，实现每个值 --> 值的映射：2. apply：用于Series实现每个值的处理，用于Dataframe实现某个轴的Series的处理；3. applymap：只能用于DataFrame，用于处理该DataFrame的每个元素
2023-07-11 14:56:39
227
原创 python 之 maketrans、translate应用场景、底层原理、使用方式
更进一步，使用unicodedata程序包生成大型重映射表，并使用其中的combining()进行生成和映射。在一些敏感数据中，我们需要进行一个数据关系的映射保存我们的的数据不会被进行抓去，或者提高抓取的难度。到空格符\ n和\ t都被替换成了单个空格，\ r都被删掉。
2023-07-10 18:05:13
516
原创 pandas(十九)分层索引Multilndex，多层索引如何筛选数据
1. Series的分层索引Multilndex2. Series有多层索引怎样筛选数据？3. DataFrame的多层索引Multilndex？4. DataFrame有多层素引怎样筛选数据？
2023-07-07 20:24:32
982
原创 pandas(十七)批量拆分与合并Excel文件
Pandas批量拆分与合并Excel文件：1. 将一个大Excel等分，拆成多个Excel；2.将多个小Excel合并并标记来源
2023-07-06 17:34:49
1070
原创 pandas (十) 缺失值的处理：填充、删除、过滤、查询
将姓名的缺失值填充： 使用前面的有效值填充，用ffill： forward fill。将清晰好的数据保存到excle中。读取excel，忽略前几行空行。将分数为空的填充为0分。
2023-07-02 16:18:19
1252
原创 pandas(三)数据查询
数值、列表、区间、条件、函数Pandas查询数据的几种方法.loc既能查询，又能覆盖写入，强烈推荐！Pandas使用df.Ioc查询数据的方法6. 使用单个label值查询数据7. 使用值列表批量查询8. 使用数值区间进行范围查询9. 使用条件表达式查询10. 调用函数查询以上查询方法，既适用行，也适用列注意观察降维打 DataFrame > Series > 值。
2023-07-01 23:47:57
671
原创 pandas(九) 数据读取-读取csv、excle、txt、mysql数据
数据资料：https://grouplens.org/datasets/movielens/读取excel文件，使用默认的标题行、逗号分隔符。读取CSV， 使用默认的标题行、逗号分隔符号。读取txt， 自己指定分隔符，标题行。查看数据的形状，返回(行数、列数)读取MySQL数据库。
2023-07-01 18:26:23
632
原创 区块链 之 ERC20、ERC721出现的原因、解决了哪些问题
ERC20代币标准是为DApp开发人员设计的一套规范，用于确保他们在项目中创建的代币能够与ERC20协议兼容。ERC20，所有代币都是可互换的，每个代币的价值和功能都是相同的，一些需要有独一无二的资产（非同质化代币 Non-Fungible Tokens，NFTs）便不再适用。ERC721 是ETH智能合约更加完善的体现，可以把象征各种不同特征的事物进行具象化定义，并求的完全非同质的解。ETH上发行最广泛的是同质化ERC20代币，作为一个预发行的通用代币，构建市面上绝大多数的通证经济的基础。
2023-06-26 13:43:12
122
原创 python 之 web3 与智能合约的交互、编译等使用
最初的 API 源自Web3.js Javascript API，但后来不断发展以满足 Python 开发人员的需求和物质享受。它常见于去中心化应用程序 (dapps)中，帮助发送交易、与智能合约交互、读取块数据以及各种其他用例。web3.py是一个用于与以太坊交互的 Python 库。本人在合约审计于模糊测试中需要验证一些基础信息，学习了一下。调用合同函数或访问合同变量。
2023-06-25 19:45:59
2161
原创 区块链之web1.0、web2.0、web3.0、特点、示例、出现的问题
网站主要提供信息，内容由网站所有者创建；用户可以访问阅读内容，但无法产生互动。时间范围：1990年代中期到2000年代初。让用户在互联网中拥有更大的权利和自由。时间范围：2010年代（至今发展）平台仅收取少量的技术服务费和手续费。
2023-06-23 18:50:17
1830
原创 node.js多版本管理nvm安装、切换、443问题等
由于不同的项目支持的node版本不同，此时需要一个node多版本的管理工具。由于我本地的node版本时16.3.0，项目编译需要v14.19.3；线上环境出现问题，前端小哥本地编译不通过需要帮其看一下具体原因；这是需要nvm管理node多版本。
2023-06-04 11:09:40
236
原创 python 之反射机制 hasattr、getattr、setattr、delattr
指在运行时检查、访问和修改对象的属性和方法，而不需要提前知道这些属性和方法。
2023-05-22 15:28:12
924
原创 python 之 shutil 文件的复制、删除、移动文件以及目录，并支持文件的归档、压缩和解压
shutil 模块于文件和文件集合的高级操作，包括：复制、删除、移动文件以及目录，并支持文件的归档、压缩和解压等。源文件的权限无法获取，那么 shutil.copymode() 会抛出一个 PermissionError 异常。本质上，它检查给定命令是否在环境变量中列出的任何目录中可用PATH。目标文件已存在，shutil.copymode() 会改变它的权限来匹配源文件的权限。复制文件的权限位、最后访问时间、最后修改时间和标记。不会复制文件内容，只复制文件的状态信息。和文件夹内所有的内容。
2023-05-20 14:16:29
1316
原创 如何用python 执行一些linux 命令同时得到返回值的三种方法
因为一条命令可能有部分正确，有部分不正确，正确的输出正确的管道，错误结果输出错误管道。为什么即有错误管道，又有正确管道？
2023-05-20 11:40:42
1635
原创 python 之 logging的使用
console_logger 记录器只将日志消息发送到控制台，file_logger 记录器只将日志消息发送到文件。字典配置可以让你更详细地控制日志记录器、处理器、过滤器和格式化器；可以定义多个日志记录器（logger），并且为每个记录器配置不同的处理器（handler）,每个记录器可以独立地设置它的日志级别和处理器。warning（告警）级别用于输出警告信息，表示可能会出现潜在的问题或异常情况，但不会影响应用程序的正常运行。info（消息）级别用于输出正常的日志消息，用于提供应用程序的运行状态信息。
2023-05-20 11:21:16
2090
原创 python 之 django、flask等如何发送带有图片的邮件html以及要避的坑
最近用django 配合celery 发送邮件，发送邮件html 格式，邮件内容有图(非附件)，需要用展示一下邮件中只有1张图片，懒得用文件服务器、nginx服务器结论：我还是用了nginx 静态服务，跳得坑还是有借鉴意义的
2023-05-04 16:19:09
414
原创 AE 之插件 GEOLayers 3运用
Mettle FreeForm Pro 是一款专业的三维动画插件，主要用于Adobe After Effects。它可以帮助用户创建复杂的三维动画和视觉效果，得三维动画制作更加简单和高效，而无需使用其他三维软件。GEOLayers 3是一款地理信息系统（GIS）插件，专门用于Adobe After Effects。它可以帮助用户在After Effects中创建地图动画，并可以将地理数据与视觉效果相结合。项目创建会发现由3部分组成。2048 -改成1024。
2023-04-05 19:25:10
1371
原创 Linux之curl 风骚用法
它非常强大且灵活，可以用于从服务器获取数据、向服务器发送数据、文件上传和下载等操作。curl 支持多种协议，例如 HTTP、HTTPS、FTP、FTPS、SFTP 等。想把它输入到文件内，于是本人用了-O 然后指定一个json文件，发现文件不进去。新来的实习小姑娘，怎么从远程下载文件；一个请求链接，返回一串json数据。早些年，本人一直用curl 在服务器上发送请求，并没留意其它用法。curl 是一个命令行工具，用于在各种协议之间传输数据。经过查询，发现-o 与-O是由区别的。
2023-04-04 13:45:57
345
原创 python算法 之 快速排序（Quick Sort）
快速排序（Quick Sort）是一种基于分治思想的排序算法，是目前使用最广泛的排序算法之一。其基本思想是选取一个基准元素，然后将数组分成小于等于基准的子数组和大于基准的子数组，再递归地对这两个子数组进行快速排序，最后将它们合并起来即可。划分操作采用两种方式：Lomuto 分割和 Hoare 分割。
2023-03-21 10:33:23
4577
5
原创 HelloGitHub我感兴趣的python项目
github地址 https://github.com/521xueweihan/HelloGitHubdoccano：一款开源的文本标记工具。它可以提供文本分类、序列标记、情感分析、文本摘等功能，帮助快速完成打标工作，支持中文和多人协作：用 Python 编写 systemd 服务的教程。许多 Linux 发行版都用 systemd 来管理系统的服务，比如开机启动、自动重启、守护进程等。
2023-03-12 02:17:21
667
原创 python之dataclasses
如果您需要一个简单的类来存储一些数据，例如配置信息、用户信息、数据记录等，那么使用dataclass是非常合适的。dataclass可以自动为您生成适当的属性和方法，以便您可以轻松地访问和修改数据。：如果您的代码需要处理大量的数据对象，例如在数据分析、机器学习、自然语言处理等领域中，那么使用dataclass可以使代码更加清晰易读，减少手动编写大量的属性和方法的重复性工作。它可以帮助开发者更容易地创建简单的类，同时提供了一些实用的功能，例如自动实现__init__()、field 支持的参数。
2023-03-08 18:32:38
1266
原创 AE学习笔记
按着option + 左键 调整细节参数 注。项目、合成 、 图层之间的关系。保存 command + S。4.1.1 基础扫盲(跳过)5边形移动(两个关键帧)编辑 -> 首选项 ->选择工具选择更小个体。图层变换1.1.45。图层类型(新建图层)
2023-03-08 00:34:41
369
原创 python 之 参数校验《三》 marshmallow参数校验
2.1 marshmallow的安装pip install marshmallow2.2 字段及属性介绍。
2023-03-01 13:49:21
626
原创 python语音识别whisper
stable-ts在 OpenAI 的 Whisper 之上修改并添加了更大的破解代码发布，生成更准确的阶段时间切换，并在无须额外推介的情况下获得申领。是一种通用的语音识别模型。它在不同音频的大型数据集上进行训练，也是一个多任务模型，可以执行多语言语音识别以及语音翻译和语言识别。自带语言识别功能，language最好加上，下面歌曲识别为英语，加后为中文。最近想提取某个视频的文案，语音文案，研究了一波。可能是伴奏声音过大，你才出来这是什么歌了吗？模型越大，越精确，相应话费的时间越长。
2023-02-25 01:21:35
4898
7
原创 合约检测之slither(草稿)
Slither是一个静态分析框架，它通过将 Solidity 智能合约转换为称为 SlithIR 的中间表示来工作。SlithIR使用静态单一赋值 (SSA) 形式和精简指令集来减慢分析执行速度，同时保留在 Solidity 转换为字节码时可用的语义信息。自动漏洞检测：无需用户干预即可检测智能合约漏洞，实现漏洞自动检测。自动优化检测：Slither 可以检测编译器可能忽略的代码优化，从而自动化检测代码优化的过程代码理解：对合约信息进行归纳和展示，帮助研究人员理解代码库，提高对智能合约的理解。
2023-02-22 14:44:23
675
原创 centos之python安装与多版本python之间的共存
随着python版本迭代加快，有写python模块再低版本无法运行，此时需要我们在进行安装一个python版本。本人则进行 本人已经安装过python3.8，下面是新增3.11具体模块安装方法。在python3.7上运行；python 3.6官方不再维护与更新。软连接(结合自身实际配置、最好查看一下，本人没有配置因为直接能用啦)此时需要我们升级系统上的python安装包。解决办法：将上面的文件路径陪知道环境变量中。没有装过python3其他版本。
2023-02-20 13:29:24
1487
1
原创 python 之 资源使用与控制 resource模块
函数首先调用 getrlimit 函数获取当前 CPU 时间的软限制和硬限制，然后将软限制设置为指定的时间，将硬限制保持不变。最后，该函数调用 signal 模块中的 signal 函数，安装一个处理超时信号 SIGXCPU 的信号处理程序，该处理程序在超时时打印一条提示信息并引发 SystemExit 异常以终止脚本。该函数首先调用 getrlimit 函数获取当前内存使用量的软限制和硬限制，然后将软限制设置为指定的大小，将硬限制保持不变。目的：我们的程序部署甲方服务器上不能阻碍其甲方服务的正常运行。
2023-02-15 15:20:32
2670
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人