- 博客(26)
- 收藏
- 关注
RSS订阅原创 图解transformer
基于RNN结合Attention的seq2seq模型的缺点：无法对整个序列输入进行并行计算。本文介绍了Transformer模型，他是基于编码器-解码器结构的用于解决seq2seq的一种架构。它结合了注意力机制，使得模型并行计算能力增强；它结合了多头注意力机制，使得模型能够关注到更多方面的信息。
2023-09-07 16:26:38
236
原创 图解Attention
本文通过基于RNN的seq2seq模型，引出该类模型在处理长序列文本时所展示的不足（单向量难以保存整个序列的信息），进而引出结合注意力机制的解码器进行改造传统的RNN结构，注意力机制本质上是一个向量在一组向量集合中，通过某种计算规则算出该向量与该组向量内的所有向量的相似度，然后将相似度作为权重，对该组向量进行加权，实现有重点地关注输入序列。这种实现方式就保证了整个输入序列中所有的单词都有机会被关注到（因为都在这一组向量集合中），从而解决了单向量难以保存整个序列的信息。
2023-09-07 14:25:21
43
原创 Explain工具和索引优化（二）
分析工具及索引优化Explain一、简介Explain是MySQL内置的select语句分析工具➤ 通过EXPLAIN，我们可以分析出以下结果：表的读取顺序数据读取操作的操作类型哪些索引可以使用哪些索引被实际使用表之间的引用每张表有多少行被优化器查询二、字段1. id1. 定义：id列的编号就是select的序列号2. 特点：id值越大，优先级越高，NULL最后执行2. select_type1. 定义：表示对应行的查询类型2. 分类：simple —— 简单
2022-02-22 22:36:14
347
原创 数据结构与算法 排序（一）
简单排序记录一些简单的排序算法异或运算性质相同为0，不同为1交换律、结合律根据这两个性质，可以推广偶数个相同的数异或结果为0，奇数个相同的数异或结果为它本身用处寻找数组中出现奇数次的数交换两个内存地址不相同的数为什么可以寻找出现奇数次的数？因为偶数次的数都被异或抹掉为0，剩下的是奇数次的数之间的异或结果为什么要内存地址不相同？异或运算实际上是对内存地址的异或，如果两个数内存地址相同，当i==j时，arr[i]执行完异或运算后，arr[j]的值会被洗成0..
2022-01-19 20:02:28
232
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人