- 博客(79)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【深度学习-数据加载优化-训练速度提升一倍】
1，介绍数据加载深度学习的训练，简单的说就是将数据切分成batch，丢入模型中，并计算loss训练。其中比较重要的一环是数据打batch部分（数据加载部分）。训练时间优化：深度学习训练往往需要大量的数据，训练过程也比较慢，常见的提升训练速度的方法包括：数据加载优化、模型计算优化、fp16半精度训练、加大batch、多卡训练等方法。这篇文章主要介绍从数据加载的思路提升训练速度。结论：数据加载优化后，可以提升1倍以上的训练速度。2，数据加载流程数据加载一般分为四步：从文本中
2022-03-20 20:57:09
2169
原创 git从入门到放弃
git重要命令一、本地操作1，git commit --amend：修改作用：通过创建一个新的提交替换当前分支的提示重复提交时候可以当做一次提交2，git rebase：变基作用一：合并分支：这个合并与git merge不同。merge后git提交的历史会变成多条，rebase会使得提交历史比较干净；作用方向也不同，git merge other 是当前分支主动去合并其他分支，g...
2019-09-15 22:33:14
600
原创 Subword Regularization
论文：Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates1，动机subword的问题：子词分割可能是模糊的，即使使用相同的词汇，也可能进行多次分割。BPE的缺点在于，它不能提供多种分割的概率。因此不能作为Regularization分割的方法。...
2019-08-21 21:10:52
1064
1
原创 BPE论文解读
论文：Neural Machine Translation of Rare Words with Subword Unitshttps://github.com/rsennrich/subword-nmt1，一般的词库生成方式：提出问题词库生成方法：在做nlp的时候，对语料生成词库。为了不让字典太大，我们通常只会把出现频次大于某个阈值的词丢到字典里边，剩下所有的词都统一编码成#UNK。问...
2019-08-20 21:00:01
2361
原创 RAdam论文解读
中国博士生提出最先进AI训练优化器，收敛快精度高，网友亲测：Adam可以退休了论文解读：Radam：ON THE VARIANCE OF THE ADAPTIVE LEARNING RATE AND BEYOND上面的了链接是对论文的解读，这里只是我个人的理解。1,目的想找到一个比较好的优化器，能够在收敛速度和收敛的效果上都比较号。目前sgd收敛较好，但是慢。adam收敛快，但是容易...
2019-08-17 17:48:24
9566
4
原创 如何深度理解回溯法，让它变得简单
这篇文章主要是想深入浅出的讲解回溯法，会从回溯法的原理上分析，也会从应用的角度的分析回溯法的使用。一、回溯法怎么理解回溯法的解释：深度优先搜索法，又称为试探法，实际上一个类似枚举的搜索尝试过程，主要是在搜索尝试过程中寻找问题的解，当发现已不满足求解条件时，就“回溯”返回，尝试别的路径，满足回溯条件的某个状态的点称为“回溯点”。（多读几遍，你会发现这涵盖了回溯法的全部类容，如果不能理解看完...
2019-07-12 23:24:07
3015
1
原创 tensorflow学习率控制及调试
在深度学习中，学习率变化对模型收敛的结果影响很大，因此很多时候都需要控制学习率的变化。本文以tensorflow实现learning rate test为例，讲述学习率变化控制的方法，以及怎么调试。一、learning rate test学习率测试（learning rate test）是一个找到学习率变化的范围的测试，详情可以查看自 Adam 出现以来，深度学习优化器发生了什么变化二、te...
2019-05-04 16:37:22
3138
2
原创 nlp中文本预处理技术
自然语言处理NLP（Natural Language Processing），就是使用计算机对语言文字进行处理的相关技术。本文主要是总结一下中、英文的常用的文本预处技术。文本分析的流程如下：一、中文文本分析流程1，中文文本处理的特点中文没有单词的分割符号，因此需要复杂的分词模型进行分析。中文的编码不是utf8，而是unicode。这样会导致在分词的时候，和英文相比，我们要处理编码的问题...
2019-01-20 15:40:07
3535
原创 提取内容摘要
本篇文章主要介绍文章摘要提取的方法，将从抽取式摘要提取和生成式摘要提取两种思路介绍。一，背景介绍利用计算机将大量的文本进行处理，产生简洁、精炼内容的过程就是文本摘要，人们可通过阅读摘要来把握文本主要内容，这不仅大大节省时间，更提高阅读效率。自动摘要（Automatic Summarization）的方法主要有两种：Extraction 是抽取式自动文摘方法，通过提取文档中已存在的关键词，...
2019-01-09 21:05:54
8700
3
原创 论文解读：Tips and Tricks for Visual Question Answering: Learnings from the 2017 Challenge
这是关于VQA问题的第十二篇系列文章。这篇论文具有很强的指导意义，本篇文章将介绍论文：主要思想；模型方法；试验细节。有兴趣可以查看原文：Tips and Tricks for Visual Question Answering: Learnings from the 2017 Challenge1，论文思想这篇论文主要是提出一些细节上的优化提升vqa的结果。主要的细节包括如下：sigmoi...
2019-01-08 21:59:26
1421
1
原创 论文解读：From Pixels to Objects: Cubic Visual Attention for Visual Question Answering
这是关于VQA问题的第十篇系列文章。本篇文章将介绍论文：主要思想；模型方法；主要贡献。有兴趣可以查看原文：From Pixels to Objects: Cubic Visual Attention for Visual Question Answering1，主要思想作者提出一般的Spatial visual attention只是选出了最关注的视觉对象，在通道上采用的相同的权重，这不符合a...
2018-12-27 21:24:24
890
原创 论文解读：Feature Enhancement in Attention for Visual Question Answering
这是关于VQA问题的第十篇系列文章。本篇文章将介绍论文：主要思想；模型方法；主要贡献。有兴趣可以查看原文：Feature Enhancement in Attention for Visual Question Answering1，主要思想：这是2018年顶会（International Joint Conference on Artificial Intelligence ）的一篇关于vq...
2018-12-21 23:02:39
649
原创 论文解读：Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering
这是关于VQA问题的第九篇系列文章。本篇文章将介绍论文：主要思想；模型方法；主要贡献。有兴趣可以查看原文：Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering1，主要思想论文使用了目标检测算法，先找出候选的区域；然后再采用注意力机制去找到重要的区域。文章提出一种自上而下与自下而上...
2018-12-19 23:21:28
3422
原创 论文解读：Dual Attention Networks for Multimodal Reasoning and Matching
这是关于VQA问题的第八篇系列文章。本篇文章将介绍论文：主要思想；模型方法；主要贡献。有兴趣可以查看原文：Dual Attention Networks for Multimodal Reasoning and Matching1，主要思想：这篇文章依然从多模态推理上介绍，不同的是文章引入两种类型的DANs进行多模态推理,匹配以及分类。 推理模型允许可视化并在协作推理期间用文本注意机制互相关联...
2018-12-15 20:11:22
2505
2
原创 论文解读：Hierarchical Question-Image Co-Attention for Visual Question Answering
这是关于VQA问题的第七篇系列文章。本篇文章将介绍论文：主要思想；模型方法；主要贡献。有兴趣可以查看原文：Hierarchical Question-Image Co-Attention for Visual Question Answering1，主要思想：当前基于视觉注意的些VQA方法主要关注：”where to look”或者 visual attention。本文认为基于问题的atte...
2018-12-11 21:08:39
4449
1
原创 论文解读：Dynamic Memory Networks for Visual and Textual Question Answering
这是关于VQA问题的第六篇系列文章。本篇文章将介绍论文：主要思想；模型方法；主要贡献。有兴趣可以查看原文：Dynamic Memory Networks for Visual and Textual Question Answering1，主要思想：这篇文章是从动态记忆网络改进的：Ask Me Anything: Dynamic Memory Networks for Natural Lang...
2018-12-09 22:36:32
1293
原创 论文解读：记忆网络（Memory Network）
在了解vqa问题的论文时，发现有很多论文采用了记忆网络的思路，模拟推理过程，这篇文章主要总结关于记忆网络的三篇经典论文，目的是对记忆网络有个认识。分别是：MEMORY NETWORKS，End-To-End Memory Networks，Ask Me Anything: Dynamic Memory Networks for Natural Language Processing一，MEMO...
2018-12-09 13:20:19
28889
3
原创 论文解读：Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for VQA
这是关于VQA问题的第五篇系列文章。本篇文章将介绍论文：主要思想；模型方法；主要贡献。有兴趣可以查看原文：Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for Visual Question Answering。1，主要思想：论文采用基于空间（图像）的记忆网络（记忆网络是NLP领域中的模型，用于处理逻辑推...
2018-12-07 21:13:00
1301
原创 论文解读：A Focused Dynamic Attention Model for Visual Question Answering
这是关于VQA问题的第四篇系列文章。本篇文章将介绍论文：主要思想；模型方法；主要贡献。有兴趣可以查看原文：A Focused Dynamic Attention Model for Visual Question Answering。1，主要思想：Focused Dynamic Attention (FDA)模型： 通过问题的关键词，识别图像中重要的对象；并通过LSTM单元融合来自区域和全局特...
2018-12-05 21:36:26
1009
原创 论文解读：Stacked Attention Networks for Image Question Answering
这是关于VQA问题的第二篇系列文章，这篇文章在vqa领域是一篇比较有影响的文章。本篇文章将介绍论文：主要思想；模型方法；主要贡献。有兴趣可以查看原文：Stacked Attention Networks for Image Question Answering。原论文中附有作者源码。1，论文想法作者认为在vqa（图像问答中），带有一定的推理过程。比如：“what are sitting in ...
2018-12-02 19:48:37
1861
原创 论文解读：Ask Your Neurons: A Neural-based Approach to Answering Questions about Images
这是关于VQA问题的第二篇系列文章，这篇文章是一篇比较经典的文章，所以跟大家分享。本篇文章将介绍论文：主要思想；模型方法；主要贡献。有兴趣可以查看原文：Ask Your Neurons: A Neural-based Approach to Answering Questions about Images。1，想法模型以CNN和LSTM为基础，以一种新的使用方式，设计了一个预测结果长度可变的模...
2018-11-25 15:55:29
894
原创 论文解读：Where To Look: Focus Regions for Visual Question Answering
可能要很久时间开始关注vqa问题，vqa问题就是图像的问答问题，即对图像提问，并产生答案。关于图像问答综述性文章推荐：Visual Question Answering:Datasets, Algorithms, and Future Challenges。今天开始可能要跟大家分析关于vqa的相关论文解读，今天是第一篇文章Where To Look: Focus Regions for Visu...
2018-11-21 20:55:41
1043
原创 文本分类概述（nlp）
文本分类问题：给定文档p（可能含有标题t），将文档分类为n个类别中的一个或多个 文本分类应用：常见的有垃圾邮件识别，情感分析 文本分类方向：主要有二分类，多分类，多标签分类 文本分类方法：传统机器学习方法（贝叶斯，svm等），深度学习方法（fastText，TextCNN等） 本文的思路：本文主要介绍文本分类的处理过程，主要哪些方法。致力让读者明白在处理文本分类问题时应该从什么方向入手，重...
2018-06-22 23:28:27
100194
7
原创 nlp中文本相似度计算问题
文章的目的：文本相似度计算一直是nlp中常见的问题，本文的目标是总结并对比文本相似度计算方法。当然文本的相似度计算会有进一步的应用，比如文本的分类、聚类等。 文章结构：本文先介绍最直接的字面距离相似度度量，而后介绍语义主题层面的度量，最后介绍目前一些新的相似度计算方法。一、字面距离相似度度量：这一种相似性度量的方法比较简单，文本是由字词组成，重点是各种距离的度量方法。其中SimHash方法目...
2018-06-19 22:24:55
14689
2
原创 机器学习项目开发过程（End-to-End Machine Learning Project）
引言：之前对于机器学习的认识停留在算法的分析上，这篇文章主要从项目开发的角度分析机器学习的应用。这篇文章主要解释实际项目过程中的大致方针，每一步涉及的技术不会介绍很细致。机器学习项目开发步骤如下： 1. Look at the big picture. 2. Get the data. 3. Discover and visualize the data to gain insights. ...
2018-06-15 00:02:51
2015
原创 Python中的defaultdict方法
python中的dict是一个重要的数据类型，知道如何使用这个数据类型很简单，但是这个类型使用过程中容易进入一些误区，这篇文章主要对defaultdict方法的讲解，深入的了解dict数据类型。字典（dictionary）数据类型，不同于其他由数字索引的序列，字典是用”键”（key）来索引的。通常表示为dict(key: val, …)，有以下特征：键可以是任何不可变（immutable...
2018-02-19 23:12:44
51382
5
原创 递归原理解析
大部分的人对递归的理解可能停留在递归编程：递归（recursion）就是子程序（或函数）直接调用自己或通过一系列调用语句间接调用自己。这篇文章会从递归编程出发一步步了解递归原理。一、递归编程：递归（recursion）就是子程序（或函数）直接调用自己或通过一系列调用语句间接调用自己，是一种描述问题和解决问题的基本方法。1，采用递归方法的原因：递归通常用来解决结构自相似的问题。所谓结构自...
2018-02-14 14:27:27
11360
原创 python有序遍历dict（字典）
大家都知道dict是无序的，这篇文章介绍dict的有序遍历。这里我们主要用到一个python的方法sorted（）。一，sorted（）方法介绍：内建函数sorted方法，可以对所有可迭代的对象进行排序操作。 1，方法-sorted(iterable, key=None, reverse=False)：iterable，可以看到其中第一个参数是可迭代对象；key，主要是用来进行比较的
2018-02-07 16:37:07
16940
原创 数组的子集集合
这篇文章是寻找数组的所有子集的集合，例如nums=[1,2],子集集合为[[],[1],[2],[1,2]]。这个题目来自于leetcode78. Subsets。一，动态规划思想：状态：前面i个数的子集集合res1状态转移方程：前面i+1个数的子集集合res2 = 前面i个数的子集集合res1 + res1所有项添加第i+1个数的集合cur代码：res = [[]] f
2018-02-02 12:25:50
1560
原创 摩尔投票算法( Boyer-Moore Voting Algorithm)
摩尔投票算法也可以叫做多数投票算法，是我在看到 leetcode 169（Majority Element）题目时看到的算法。这篇文章从 leetcode 169（Majority Element）出发讲解摩尔投票算法的原理和优势，同时从 leetcode 229（Majority Element2）出发讲解摩尔投票算法的改进和推广。（本文所有代码都是python代码）一、Majority E
2018-02-01 16:29:59
15979
1
原创 python数据内存形式-引用与对象的认识
这篇文章主要是对python中的数据进行认识，对于很多初学者来讲，其实数据的认识是最重要的，也是最容易出错的。本文结合数据与内存形态讲解python中的数据，内容包括：引用与对象可变数据类型与不可变数据类型引用传递与值传递深拷贝与浅拷贝（id函数：你可以通过python的内置函数 id() 来查看对象的身份(identity)，这个所谓的身份其实就是 对象 的内存地址）一、引
2018-01-26 12:29:00
3140
2
原创 进化策略
进化策略和遗传算法统称为进化算法，二者的思想很类似，但步骤和应用方向有所差别。 对遗传算法感兴趣的可以参考博客：遗传算法讲解这篇文章主要讲解进化策略，从以下三个方面入手：进化策略的思想进化策略与遗传算法的差别进化策略的两个实例 （对第一部分和第二部分的理解可以在看完第三部分有一个认识后，在进一步回过头来理解）一、进化策略的思想： 1，进化策略： （1）进化策略的认识：进
2018-01-23 19:13:57
13006
原创 遗传算法
本篇文章讲解遗传算法，主要从三个方面入手：遗传算法的思想：物竞天择遗传算法的实例：函数优化，寻找句子，最短路径（TSP）问题遗传算法的优化：精英主义思想 （第一部分刚开始有点迷糊不要紧，建议把过一下第一部分，看完第二部分再回过来品味第一部分）一、遗传算法的思想： 1，遗传算法： （1），遗传算法认识：遗传算法是模仿自然界生物进化的一种随机全局搜索和优化方法，它是一种自适应的优
2018-01-15 10:16:45
2136
原创 RF,GBDT,XGBoost,lightGBM的对比
RF,GBDT,XGBoost,lightGBM都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善基本学习器的泛化能力和鲁棒性。 根据基本学习器的生成方式，目前的集成学习方法大致分为两大类：即基本学习器之间存在强依赖关系、必须串行生成的序列化方法，以及基本学习器间不存在强依赖关系、可同时生成的并行化方法；前者的代表就是Boosting，后者
2018-01-09 20:54:46
8225
4
原创 机器学习模型优化之模型融合
前言：在机器学习训练完模型之后我们要考虑模型的效率问题，常用的模型效率分析手段有：研究模型学习曲线，判断模型是否过拟合或者欠拟合，并做出相应的调整；对于模型权重参数进行分析，对于权重绝对值高/低的特征，可以对特征进行更细化的工作，也可以进行特征组合；进行bad-case分析，对错误的例子分析是否还有什么可以修改挖掘模型融合：模型融合就是训练多个模型，然后按照一定的方法集成过个模型，应为...
2018-01-07 15:37:24
53780
9
原创 统计学习方法-李航（第8章 提升方法笔记)
这一章主要讲boosting提升方法，代表方法是AdaBoost算法，我会从算法的本质去解释算法，尽量用简单的语言其描述，具体推导过程参考原文。 提升方法就是从弱学习算法出发，反复学习，得到一系列弱分类器(又称为基本分类器)，然后组合这些弱分类器，构成一个强分类器。 一、 提升方法AdaBoost（AdaptiveBoosting）算法第一部分主要简述算法的过程，这个算法的本质是把训练好的
2018-01-05 15:45:27
941
原创 机器学习之特征工程
做了一段机器学的东西，一直对特征这块很模糊，有时候凭感觉在找特征，然后做一些简单的变换。这篇文章的目的是系统的讲解特征的获取过程，因为在机器学习的过程中，其实数据特征才是限制模型效果的东西，很重要。 特征是数据中抽取出来的对结果预测有用的信息，可以是文本或者数据。特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。过程包含了特征提取、特征构建、特征选择等模块...
2018-01-02 17:09:41
3698
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人