- 博客(486)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 机器学习教学大纲
一、周志华《机器学习》西瓜书训练营【第一阶段】1.了解机器学习基本概念2.线性模型3.入门比赛：“达观杯”NLP算法大赛【第二阶段】1.支持向量机2.贝叶斯分类器3.入门比赛：“达观杯”NLP算法大赛（其他算法进阶应用）【第三阶段】1.决策树2.集成学习3.进阶比赛：决策树和集成学习应用于天池o2o优惠券使用预测赛【第四阶段】1.特征选择...
2018-11-16 09:51:39
3191
原创 变分自编码器生成新的手写数字图像
VAE将经过神经网络编码后的隐藏层假设为一个标准的高斯分布，然后再从这个分布中采样一个特征，再用这个特征进行解码，期望得到与原始输入相同的结果，损失和AE几乎一样，只是增加编码推断分布与标准高斯分布的KL散度的正则项，显然增加这个正则项的目的就是防止模型退化成普通的AE，因为网络训练时为了尽量减小重构误差，必然使得方差逐渐被降到0，这样便不再会有随机采样噪声，也就变成了普通的AE。通过训练编码器和解码器，VAE可以生成与训练数据类似的手写数字图像，同时学习数据的潜在结构。它由两部分组成：编码器和解码器。
2024-04-09 11:02:31
439
原创 深度学习中的注意力模块的添加
在 PyTorch 中实现将注意力机制与骨干网络并行处理输入数据，我们可以在骨干网络的输出上应用注意力机制，然后将其与骨干网络的输出进行合并或融合。注意力模块可以让模型更好地关注输入序列中的不同部分，并学习它们之间的相关性，从而提高模型的性能和泛化能力。：有些模型设计中，注意力机制被整合到模型的整个结构中，例如在 Transformer 模型中，注意力机制是模型的核心组件之一，与编码器、解码器等其他模块相互作用，共同完成任务。总的来说，骨干网络和注意力模块的结合方式取决于具体的任务和模型设计需求。
2024-04-03 16:49:59
1110
原创 backbone骨干网络
这些网络由多个卷积层和池化层组成，具有深层的架构。：在语义分割任务中，通常在骨干网络的基础上添加一个解码器网络，用于将骨干网络提取的特征映射回原始图像的像素级别，以生成语义分割的结果。: ResNeXt 是对 ResNet 的改进，引入了分组卷积的概念，以提高网络的表示能力，同时保持模型的计算效率。以上是一些常见的骨干网络，每个网络都有其独特的架构和特点，可以根据具体的任务需求和资源限制选择合适的骨干网络。：在目标检测任务中，通常在骨干网络的基础上添加一个额外的头部网络，用于预测图像中物体的位置和类别。
2024-04-03 16:27:35
461
原创 wordvect嵌入和bert嵌入的区别
这里，Word2Vec 通过简单的神经网络训练得到词向量，而 BERT 是一个预训练的深度双向 Transformer 模型，在给定任务的基础上进行微调以获得更好的嵌入表示。Word2Vec 产生的向量通常具有相似含义的单词在空间中彼此靠近，而 BERT 的嵌入则更具有上下文感知性，可以更好地捕捉句子中的语义和语境。
2024-04-03 16:12:07
787
原创 一个最简单的Three.js的井筒三维云图渲染示例
在Three.js中实现井筒的三维云图渲染，需要先准备井筒的属性数据，例如井筒的几何结构、温度分布、压力分布等。然后，利用Three.js创建对应的三维模型并将属性数据应用到模型上，最终呈现出井筒的三维云图效果。在这个简单的示例中，创建了一个圆柱体作为井筒的模型，并应用了简单的绿色线框材质。你可以根据实际需求修改模型的形状、颜色和材质，以及添加更多的属性数据，实现更丰富的井筒三维云图效果。
2024-03-01 11:06:06
250
原创 用Bert进行文本分类
在BERT中，这位“侦探”通过双向（Bidirectional）的方式阅读输入文本，不仅关注当前词汇的上下文，还能同步考虑整个句子的信息。通过这样的全局性理解，BERT能够更准确地捕捉语境，处理复杂的语义关系，就如同侦探通过全方位的了解来解开小说中的谜团。就像是一位多才多艺的侦探，擅长深入阅读整个小说，而不是只看故事的一小部分。这位侦探能够洞察每个人物的思维、每个情节的发展，并在探索小说时积累丰富的背景知识。这使得侦探在面对新任务时，能够利用之前学到的经验，更好地适应新的情境。
2024-01-10 22:22:06
976
原创 Word2Vec的CBOW模型
Word2Vec中的CBOW（Continuous Bag of Words）模型是一种用于学习词向量的神经网络模型。CBOW的核心思想是根据上下文中的周围单词来预测目标单词。需要注意的是，代码中的训练过程比较简单，通常在实际应用中可能需要更复杂的数据集、更大的模型和更多的训练策略。此处的代码主要用于展示CBOW模型的基本实现。一个简单的CBOW模型。
2024-01-10 17:42:31
1179
原创 神经网络语言模型（Neural Network Language Model，NNLM）
NNLM 通过学习文本序列中的词汇之间的概率关系，能够捕捉到语言的结构和语境，从而能够生成自然语言文本或进行其他与语言相关的任务。嵌入层用于将输入的单词转换为连续向量表示，隐藏层用于学习输入序列的语言结构，而输出层则输出下一个单词的概率分布。具体而言，NNLM 试图最大化给定前文单词的条件下，下一个单词出现的概率。NNLM 的输入是一个固定长度的前文单词序列，用于预测下一个单词。每个单词通常由其词嵌入（word embedding）表示，这是一个固定维度的实数向量，它将单词映射到连续的向量空间中。
2024-01-09 23:42:23
1285
原创 softmax详解
是一个用于多类别分类的激活函数。给定一个包含原始分数（未经处理的模型输出）的向量，Softmax 将这些分数转化为表示概率分布的向量。它的作用是将原始的类别分数转化为概率分布，使得所有类别的概率之和为 1。例如，如果神经网络用于图像分类，Softmax 层可以将网络输出的原始分数（每个类别的得分）转换为每个类别的概率。在数字识别任务中，Softmax 层可以将神经网络输出的原始分数转换为图像包含不同数字的概率分布。在翻译任务中，Softmax 层可以将神经网络输出的原始分数转换为每个词汇的翻译概率分布。
2024-01-09 22:53:58
1066
原创 自然语言处理中的语言模型
知乎好文章，建议参考学习语言模型（Language Model, LM）是用于计算或预测一系列词语（句子或文本段落）出现概率的统计模型。它们能够基于已知的词序列来预测下一个词或者评估一个句子的语言学合理性。
2024-01-08 21:28:41
657
原创 精确率（Precision，P），召回率（Recall，R）以及F1值（F1-score，F1）
它是精确率和召回率的调和平均值。在狗狗识别系统中，如果我们希望找到一个既能高效地找到狗狗（召回率高），又不会错误地将其他东西误认为狗狗（精确率高）的系统，那么我们希望F1值尽可能高。召回率是指在所有真正是狗狗的图像中，我们成功地识别出了多少。在狗狗识别系统中，如果总共有20张真正是狗狗的图像，而我们只成功识别了其中的15张，那么召回率就是75%。精确率是指在我们识别为狗狗的图像中，有多少是真正是狗狗的。在狗狗识别系统中，如果我们识别了10张图像为狗狗，而只有其中的8张是真的狗狗，那么精确率就是80%。
2024-01-02 15:10:53
584
原创 NLP中的嵌入层
在自然语言处理（NLP）中，嵌入层（Embedding Layer）是一个特殊的层，。每个单词或短语被映射到固定大小的密集向量中。嵌入层基本上是一个查找表，模型通过查找表中对应的单词索引来获取单词的向量表示。
2023-12-22 22:32:38
596
1
原创 最简单的RNN预测股票收盘价
为了使用RNN模型，你需要将时间序列数据分割成输入序列和目标序列。在这个示例中，我们将使用前N天的数据来预测下一天的股票收盘价。你可以调整N的值来控制输入序列的长度。你需要将输入序列传递给模型，计算损失并反向传播进行优化。这里只提供一个简单的示例，实际训练通常需要更多的数据和迭代次数。需要准备好包含历史股票收盘价的一维时间序列数据。在这个例子中，我们将使用NumPy模拟一些示例数据。5定义损失函数和优化器。
2023-09-28 16:46:40
390
原创 一个基本的BERT模型框架
请注意，这只是一个简化的版本，真实的BERT模型还包括Masked Language Modeling（MLM）和Next Sentence Prediction（NSP）等预训练任务。在实际环境中，强烈建议使用已经经过大规模预训练的BERT模型，如Hugging Face的transformers库中的预训练模型，以获得更好的性能效果。构建一个完整的BERT模型并进行训练是一个复杂且耗时的任务。这段代码给出了一个基本的BERT模型结构，并包含了Transformer块、注意力机制和前馈神经网络等组件。
2023-09-14 21:19:38
222
原创 使用bert进行文本二分类
在使用训练好的BERT模型进行预测时，我们通过输入句子使用tokenizer进行编码，并传入BERT模型获取输出。在训练过程中，使用交叉熵损失函数和Adam优化器进行训练。在每个训练周期中，将输入数据传递给BERT模型和线性层，计算输出并计算损失。然后更新模型的权重。库加载已经预训练好的BERT模型和tokenizer。然后定义了一个自定义的BERT模型，它包含一个BERT模型层（请确保在运行代码之前已经安装了PyTorch和transformers库，并且已经下载了BERT预训练模型（
2023-09-14 21:17:12
510
原创 Word2Vec的原理是什么，如何用训练Word2Vec
例如，在句子"I enjoy playing football with my friends"中，对于上下文单词"enjoy"、"playing"、"with"和"friends"，连续词袋模型会尝试预测中心单词"football"。例如，在句子"I enjoy playing football with my friends"中，对于中心单词"playing"，跳字模型会尝试预测周围的上下文单词"enjoy"、"football"、"with"和"my"。收集大规模的语料库，例如新闻文章、维基百科等。
2023-09-14 17:40:54
377
原创 使用 PyTorch 实现 Word2Vec 中Skip-gram 模型
使用 PyTorch 实现 Word2Vec 中Skip-gram 模型
2023-09-14 17:34:21
455
1
原创 python实现三维应力云图
要画三维的应力分布云图，包括深度（Z轴）、X轴、Y轴，可以使用Matplotlib库中的mplot3d子库来实现。在这个示例中，使用NumPy库生成了示例的X轴和Y轴数据范围，然后通过。生成了X轴和Y轴上的网格数据，同时生成了深度（Z轴）数据。函数在3D子图中绘制了应力分布云图。然后，创建了一个3D图形对象，通过。参数指定了使用的颜色映射。设置了坐标轴的标签，通过。创建了一个3D子图。
2023-09-06 20:48:19
1091
1
原创 使用Python实现二维应力云图
要画应力分布云图，可以使用Python中的科学计算和可视化库来实现。接下来，根据具体的应力计算公式，计算了X轴和Y轴方向上的应力值。库生成了示例的X轴和Y轴数据范围。函数绘制了X轴方向应力的颜色图，并使用。函数生成了X轴和Y轴上的网格数据。最后，添加了轴标签和标题，并使用。在这个示例中，首先使用。函数添加了颜色刻度。
2023-09-06 20:45:28
1498
1
原创 使用pytorch 的Transformer进行中英文翻译训练
在每个训练周期中，我们计算损失并进行反向传播和参数更新。请注意，在实际应用中，还需要根据任务需求进行更多的定制和调整。例如，加入位置编码、使用更复杂的编码器或解码器模型等。在训练过程中，我们使用交叉熵损失函数和Adam优化器进行模型训练。进行序列到序列（Sequence-to-Sequence）的机器翻译任务的示例代码，包括数据加载、模型搭建和训练过程。首先，我们加载数据并进行预处理，然后为源语言和目标语言建立词汇表。上述代码是一个基本的序列到序列机器翻译任务的示例，其中使用。
2023-08-20 22:15:38
1709
2
原创 用pytorch实现Resnet
网络架构包括不同的变体，如ResNet-18、ResNet-34、ResNet-50、ResNet-101和ResNet-152，其中数字表示网络中总层数。它的残差学习概念也启发了其他使用跳跃连接的架构的发展，如DenseNet和Highway Networks。它在计算机视觉领域引起了革命性的变革，使得训练更深的神经网络成为可能，超越了传统网络架构的限制。传统神经网络存在梯度消失的问题，即随着梯度在多个层传播，其数值变得指数级小，从而阻碍了学习过程，限制了网络的有效训练深度。ResNet的核心构建块是。
2023-08-18 22:33:41
1114
原创 用pytorch实现google net
此外，为了减少计算量和参数数量，Inception模块还引入了1x1卷积核，用于降低通道的维度。GoogleNet的创新点在于其深度和复杂度，并且采用了多个Inception模块的并行组合，使得模型能够同时学习到不同尺度和层次的特征。GoogleNet的设计目标是构建一个更深的网络架构，以提高准确性，并通过减少网络参数的数量来降低过拟合的风险。它采用了"Inception"模块，其中包含多个并行的卷积层和池化层，这使得网络能够同时捕捉不同尺度的特征。类中的层次结构和参数，以适应你的特定任务。
2023-08-18 22:17:39
501
原创 机器学习优质视频
1贝叶斯网络深蓝学院https://www.bilibili.com/video/BV1ig4y1v764?from=search&seid=9683871677976225711
2020-12-12 21:44:48
265
原创 前后端学习视频
Java Web从入门到实战【完整版】https://www.bilibili.com/video/BV1BJ411L7NR?from=search&seid=2103743418325897055尚硅谷SpringBoot顶尖教程(springboot之idea版spring boot)https://www.bilibili.com/video/BV1gW411W76m?from=search&seid=8882489863872168739前端基础必会教程-..
2020-12-07 20:48:55
354
1
原创 Idea上Spring Boot编译报错：Error:(3, 32) java: 程序包org.springframework.boot不存在
Error:(3, 32) java: 程序包org.springframework.boot不存在 以及其他一堆ErrorMaven配置问题，这样设置一下就可以跑Maven了：File -> Setting -> Build,Excution,Deployment -> Build Tools -> Maven -> 修改Maven home directory、User setting file为你本机的Maven -> 点击ok...
2020-09-24 21:11:20
563
原创 git 常用命令
git拉取远程代码git clone https://xxx.gitgit拉取远程指定分支下代码（-b 分支名称）git clone -b v2.8.1 https://xxx.git本地提交到git索引（缓存）中git add . #把新增的、修改的都加到缓存git add -A #把新增、和修改的、和删除的都加到缓存本地从缓存中加到文件库（repository）中git commit -m '版本描述' #提交到文件库查看当前g...
2020-07-22 12:13:41
280
原创 Eth
const auto workItems = dagNumItems * 2; // GPU computes partial 512-bit DAG items. uint32_t fullRuns = workItems / m_globalWorkSize; uint32_t const restWork = workItems % m_globalWor...
2020-05-02 22:22:45
458
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人