- 博客(314)
- 资源 (10)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 跨模态检索论文阅读：Learnable Pillar-based Re-ranking for Image-Text Retrieval(LeadRR)基于可学习支柱的图像文本检索重排
图像-文本检索旨在弥合模态鸿沟，根据语义相似性检索跨模态内容。之前的工作通常侧重于成对关系（即一个数据样本是否与另一个样本匹配），但忽略了高阶邻接关系（即多个数据样本之间的匹配结构）。重新排序是一种流行的后处理方法，它揭示了在单模态检索任务中捕捉邻接关系的优越性。然而，将现有的重新排序算法直接扩展到图像文本检索中效果并不理想。本文从泛化性、灵活性、稀疏性和不对称性四个角度分析了原因，并提出了一种新颖的基于可学习支柱的重新排序范式。
2024-01-07 16:29:27
1305
3
原创 跨模态检索论文阅读：Plug-and-Play Regulators for Image-Text Matching用于图像文本匹配的即插即用调节器
在本文中，引入了[32]-[35]定义的调节器机制，其中可以通过自适应地优化具有合理的后向反馈的前向学习过程来改进网络，并验证了精心设计的监管操作可以在不需要额外数据和复杂结构的情况下，在获得准确的相互作用和进行跨模式的最佳聚合方面发挥巨大作用。更具体地说，我们提出了一种递归相关性调节器（RCR）和递归聚合调节器（RAR）来逐步促进图像-文本匹配过程，如图1所示。RCR学习每个特定单词/区域的自适应注意因子，以迭代地细化跨模式注意单元，为不同图像-文本对中语义不同的单词/区域获得更合理的注意分布。
2023-12-28 12:09:43
1662
4
原创 跨模态检索论文阅读：Cross-Modal Implicit Relation Reasoning and Aligning for Text-to-Image Person Retrieval
文本到图像的人物检索仍然是一项艰巨的任务，原因在于身份内部的显著差异以及视觉和语言之间的模式异质性。前一个挑战源于这样一个事实，即身份的视觉外观因姿势、视角、照明和其他因素而不同，而文本描述则因任意描述顺序和文本模糊性而不同。后一个挑战是跨模态任务中的主要问题，是由视觉和语言之间固有的表征差异造成的。为了应对上述两个挑战，文本到图像的人物检索的核心研究问题是探索更好的方法来提取具有区分性的特征表征，并设计更好的跨模态匹配方法来将图像和文本统一到一个联合嵌入空间中。
2023-12-17 20:17:09
1294
4
原创 A Differentiable Semantic Metric Approximation in Probabilistic Embedding for Cross-Modal Retrieval
跨模态检索旨在通过学习一个公共的表示空间来建立多个模态之间的对应关系。通常，图像可以在语义上匹配多个文本，反之亦然，这大大增加了这项任务的难度。为了解决这个问题，提出了概率嵌入来量化多对多关系。然而现有的数据集（例如MS-COCO）和度量（例如。，recall@k)由于非详尽的注释，不能完全表示这些多样性对应关系。基于这一观察结果，我们利用CIDEr计算的语义相关性来寻找潜在的对应关系。然后，我们提出了一个有效的度量标准，称为平均语义精度（ASP），它可以衡量检索集语义相关性的排序精度。
2023-12-08 18:52:28
1044
3
原创 跨模态检索Retrieve Fast, Rerank Smart:Cooperative and Joint Approaches for Improved Cross-Modal Retrieval
目前最先进的跨模态检索方法是基于 Transformer 的架构，通过交叉注意力机制对图像中的所有文字和对象进行关注，从而联合处理文本和视觉输入。这些模型虽然提供了无与伦比的检索性能，但也存在以下问题1）通常是从头开始预训练，因此可扩展性较差，2）存在巨大的检索延迟和效率低下问题，这使它们在现实应用中不切实际。为了解决这些关键差距，实现改进和高效的跨模态检索，我们提出了一种新颖的微调框架，可将任何预训练的文本-图像多模态模型转化为高效的检索模型。
2023-12-03 13:58:39
1022
3
原创 跨模态检索论文阅读：Learning Semantic Relationship among Instances for Image-Text Matching学习实例之间的语义关系实现图像-文本匹配
图像-文本匹配是连接图像和语言的桥梁，也是一项重要的任务，它一般通过学习跨模态的整体嵌入来实现两种模态之间高质量的语义对齐。然而，以往的研究只关注捕捉特定模态的样本内的片段级关系，例如图像中的突出区域或句子中的文本词，而通常不太关注捕捉样本和模态之间的实例级交互，例如多个图像和文本。因此，我们提出了一种新颖的分层关系建模框架（HREM），它能明确捕捉片段和实例级关系，以学习具有区分性和鲁棒性的跨模态嵌入。
2023-11-30 17:40:45
1283
3
原创 Seeing What You Miss: Vision-Language Pre-training with Semantic Completion Learning视觉语言预训练任务SCL
简而言之，我们的贡献有三个方面。(1) 为了提高全局表征的全局到局部一致性，我们提出了一种新的预训练任务，称为语义填充学习（Semantic Com-pletion Learning，SCL），它能从未加掩码的数据中恢复缺失的语义信息，促进学习更具代表性的全局特征。(2) 我们设计了一种自适应视觉编码器，可以在图像和视频之间方便地传输多模态预训练知识。(3) 我们进行了多个视觉语言下游任务来证明语义完成学习和视觉编码器的通用性，包括视觉问题解答、视觉推理、图像文本检索和视频文本检索。
2023-11-28 18:45:13
1073
2
原创 跨模态检索论文阅读：Improving Cross-Modal Retrieval With Set of Diverse Embeddings利用多样嵌入集提高跨模态检索
跨图像和文本模态的跨模态检索由于其固有的模糊性而成为一项具有挑战性的任务：图像通常表现出各种情况，并且字幕可以与不同的图像相结合。基于集合的嵌入已经被研究作为这个问题的解决方案。它试图将样本编码为一组不同的嵌入向量，这些嵌入向量捕获样本的不同语义。本文提出了一种新的基于集合的嵌入方法，该方法在两个方面与以往的工作有所不同。首先，我们提出了一种新的相似性函数，称为光滑切角相似性，该函数旨在减轻现有相似性函数对基于集嵌入的副作用。
2023-11-26 22:30:31
1196
3
原创 2023前端大厂高频面试题之JavaScript篇(5)
typescript和javascript有什么区别模板字符串扩展运算符Object.assign基于发布订阅模式的js事件处理中心EventEmitter类中的constructorjs不引入第三个变量的情况下交换a、b的值console.log输出空值合并操作符(??)及可选链式操作符(?.)ES6 中常见的语法特性
2023-11-20 15:43:16
269
2
原创 2023前端大厂高频面试题之CSS篇(2)
页面导入样式表时，和@import的区别伪类和伪元素三栏布局，左右两栏固定，中间自适应两栏布局，左边固定，右边自适应清除浮动CSS的相对单位CSS外边距重叠CSS常用单位
2023-11-16 17:48:57
543
1
原创 2022大厂高频面试题之HTML篇
DOCTYPE、严格模式/混杂模式块级标签和行内标签H5新特性Web语义化src和href的区别display:none与visibility：hidden的区别重绘和重排什么时候触发重排和重绘减少重绘和重排
2023-11-02 23:40:06
3164
2
原创 2023大厂高频面试题之Vue篇(3)
说说你对 SPA 单页面的理解，它的优缺点分别是什么？数据请求在created和mounted的区别Vue中给对象添加新属性页面不刷新？怎样解决？前端路由Vue Router两种路由模式如何检测 URL 变化了？Vue组件之间的通信方式Vuex与localStorage
2023-10-28 12:25:19
2117
原创 如何成为开源组件库NutUI的contributor：解决issue并提交PR
NutUI是一套京东风格的轻量级移动端组件库。自诞生以来，一直在紧跟技术的发展不断推陈出新，始终保持稳健的发展态势，从一个单一的基础组件库发展到如今服务于数千开发者的多端 UI 组件库。NutUI 的成长离不开团队成员的努力，更离不开广大社区开发者的反馈和共建。因此本文就以一个新人视角来完成一次issue的解决以及PR的提交，成为NutUI的共建者，为开源社区共享自己的一份力量！庞大的开源社区一定有很多值得去学习的东西，开源本身是一场历练和修行。
2023-10-22 11:52:18
263
1
原创 跨模态检索综述A Survey of Full-Cycle Cross-Modal Retrieval: From a Representation Learning Perspective
图1.跨模态检索中的问题和挑战。
2023-08-26 12:42:27
1009
3
原创 详细介绍Webpack5中的Plugin
webpack在运行过程中会广播事件，插件只需要监听它所关心的事件，就能加入到这条生产线中，去改变生产线的运作。站在代码逻辑的角度就是：webpack在编译代码过程中，会触发一系列 Tapable钩子事件，插件所做的就是找到相应的钩子，往上面挂上自己的任务，也就是注册事件，这样当webpack构建的时候，插件注册的事件就会随着钩子的触发而执行了。开发插件，离不开这些钩子。插件Plugin可以扩展webpack，加入自定义的构建行为，使 webpack 可以执行更广泛的任务，拥有更强的构建能力。
2023-07-31 19:18:01
1007
4
原创 跨模态检索论文阅读：Discrete-continuous Action Space Policy Gradient-based Attention for Image-Text Matching
现有的跨模态图文检索方法并没有明确地将不同的模态转换到一个共同的空间。同时，在图像-文本匹配模型中广泛使用的注意力机制不具备监督功能。我们提出了一种新颖的注意力方案，它将图像和文本嵌入投射到一个共同的空间，并直接根据评估指标优化注意力权重。所提出的注意力方案可视为一种监督注意力，无需额外注释。它通过一种新颖的离散-连续动作空间策略梯度算法进行训练，与之前的连续动作空间策略梯度算法相比，该算法在模拟复杂动作空间时更加有效。
2023-07-29 09:57:33
572
2
原创 详细介绍Webpack5中的Loader
用来清理 js 代码中的console.log// 将console.log替换为空 return content . replace(/ console\.log\(.*\);?/ g , "");
2023-07-27 10:15:51
818
1
原创 万字长文详解Webpack5高级优化
使用 Source Map 让开发或上线时代码报错能有更加准确的错误提示。使用 HotModuleReplacement 让开发时只重新编译打包更新变化了的代码，不变的代码使用缓存，从而使更新速度更快。使用 OneOf 让资源文件一旦被某个 loader 处理了，就不会继续遍历了，打包速度更快。使用 Include/Exclude 排除或只检测某些文件，处理的文件更少，速度更快。使用 Cache 对 eslint 和 babel 处理的结果进行缓存，让第二次打包速度更快。
2023-07-26 09:45:36
1167
原创 怎么在Linux中用tmux跑深度学习模型
当我们SSH 登录远程服务器，打开一个远程窗口执行命令，网络中断再次登录的时候，是找不回上一次执行的命令的。因为上一次 SSH 会话已经终止了，里面的进程也随之消失了。最常见的就是使用vscode连接远程服务器跑的深度学习任务，自己的电脑中途断网了再次登录找不到上一次执行的命令。为了解决这个问题，即将会话与窗口"解绑"：窗口关闭时，会话并不终止，而是继续运行，等到以后需要的时候，再让会话"绑定"其他窗口。这时就需要用到**Tmux**这个会话与窗口的"解绑"工具，将它们彻底分离。
2023-07-24 10:59:29
993
4
原创 详细总结Webpack5的配置和使用
webpack是一种前端静态资源打包工具。在webpack看来,前端的所有资源文件(js/json/css/img/less/…)都会作为模块处理。以一个或多个文件作为打包的入口，将我们整个项目所有文件编译组合成一个或多个文件输出出去。输出的文件就是编译好的文件，就可以在浏览器段运行了。它将根据模块的依赖关系进行静态分析，打包生成对应的静态资源(bundle)。
2023-07-23 00:46:46
1921
1
原创 跨模态检索论文阅读：(ViLT)Vision-and-Language Transformer Without Convolution or Region Supervision
ViLT使用预训练的ViT来初始化交互的transformer，这样就可以直接利用交互层来处理视觉特征，不需要额外增加一个视觉encoder。文本特征输入部分，将文本看成一个词序列，通过word embedding matrix转化成word embedding，然后和position embedding进行相加，最后和modal-type embedding进行concate。
2023-07-17 16:15:00
735
3
原创 跨模态检索论文阅读：(PTP)Position-guided Text Prompt for Vision-Language Pre-training
在这项工作中，我们提出了一种新的位置引导的文本提示（PTP）范式，以提高用VLP训练的跨模态模型的视觉定位能力。具体来说，在VLP阶段，PTP将图像分为N×N块，并通过VLP中广泛使用的目标检测器识别每个块中的目标。然后，它通过鼓励模型预测给定区块中的目标或重新定义给定目标的区块，将视觉定位任务重新表述为给定PTP的填空问题，例如，在PTP中填写"[P]“或”[O]"，“区块[P]中有一个[O]”。 这种机制提高了VLP模型的视觉定位能力，从而帮助它们更好地处理各种下游任务。
2023-06-23 12:18:14
1589
2
原创 跨模态检索2023年最新顶会论文汇总
我们的实验验证了我们的检索增强对比性（RECO）训练在几个具有挑战性的细粒度任务上大幅提高了CLIP的性能：例如，在斯坦福Cars上+10.9，在CUB-2011上+10.2，在最近的OVEN基准上+7.3。在本文中，我们提出了一种新的图像文本检索技术，被称为鲁棒的视觉语义嵌入（RVSE），它由新的基于图像和文本的增强技术组成，称为图像语义保护增强（SPAugI）和文本增强（SPAugT）。在全局和局部跨模态混合相似性的基础上，所提出的方法实现了最先进的检索性能，与最近的代表性方法相比，推理时间极短。
2023-06-22 11:47:00
2628
4
原创 跨模态检索最新高质量综述《Image-text Retrieval: A Survey on Recent Research and Development》
本文从四个方面对ITR方法进行了全面和最新的调查。通过将ITR系统剖析为两个过程：特征提取和特征对齐，我们从这两个角度总结了ITR方法的最新进展。在此基础上，对ITR系统的效率研究作为第三个角度进行了介绍。为了与时俱进，我们还从第四个角度对跨模态预训练的ITR方法进行了开创性的概述。最后，我们概述了ITR的通用基准数据集和评估指标，并对有代表性的ITR方法进行了准确性比较。本文最后还讨论了一些关键但研究不多的问题。
2023-06-17 14:21:28
4256
3
原创 跨模态检索论文阅读：Dissecting Deep Metric Learning Losses for Image-Text Retrieval(GOAL)
提出了一个通用框架GOAL来全面分析现有深度度量学习损失函数的梯度更新，并应用这个框架来帮助寻找VSE问题的更好目标。提出了一种新的方法，通过用梯度目标家族来优化模型，而不是使用损失函数，直接处理图像-文本检索任务。展示了对现有方法的持续改进，在COCO数据集的图像-文本检索任务中取得了最先进的结果。
2023-06-14 19:31:57
1523
5
原创 论文阅读：Towards a Unified View of Parameter-Efficient Transfer Learning对参数高效迁移学习的统一看法
参数高效的微调在NLP中是较新的方法，早期的代表工作是2019年发表的adapter。2021年开始有越来越多的人关注这一方向并有不同的方法被提出， 代表工作有prefix tuning, P-tuning, prompt tuning, bitfit, LoRA等。本文中提供了统一的角度对这些工作进行了分类。
2023-05-26 17:24:36
1355
3
原创 跨模态检索论文阅读：Multi-Grained Vision Language Pre-Training: Aligning Texts with VisualConcepts(X-VLM)
提出进行多粒度的视觉语言预训练，以处理文本和视觉概念之间的对齐问题。提出通过定位图像中的视觉概念来优化模型（X-VLM），并同时将文本与视觉概念对齐，其中的对齐是多粒度的。通过经验验证，我们的方法在微调中有效地利用了学到的多粒度对齐。 具有256×256图像分辨率的X-VLMbase在许多下游的V+L任务上比现有的最先进的方法取得了实质性的改进。
2023-05-16 16:17:13
507
4
原创 跨模态检索论文泛读：VisualSparta-利用加权的词袋进行大规模的文本到图像的检索
VisualSparta，一个高效的跨模态检索模型，同时保证检索精度；该模型结合了预训练编码器和细粒度级别的打分方式；大规模的图像倒排索引使得检索非常高效，适合现实场景的跨模态检索。
2023-05-10 10:38:08
558
3
原创 SSH远程登录 提示access denied
当用MobaXterm远程连接服务器时出现上面的错误，可能是因为服务器配置的问题(网上有很多方法)，也可能是用户名错误这样的低级问题。改为root后输入密码即可成功连接。
2023-05-05 14:58:09
2576
1
原创 2023前端大厂高频面试题之项目篇
注册登录如何减少前端页面的首屏加载时间？图片懒加载网站性能优化项目启动后白屏，怎么解决？怎么查？说一下你在前端项目中遇到印象深刻的项目场景，并且怎么解决的？前端工程化小程序体积压缩前端单元测试在做完前端项目之后，一般都会写哪些文档，readme里面写一些什么？项目难点微信小程序聊天功能微信小程序第三方授权（点击登录弹出微信授权）小程序页面加载速度优化小程序响应式设计
2023-05-02 11:58:37
1135
1
原创 ALBEF：基于动量蒸馏的视觉语言表示学习
大规模的视觉和语言表征学习在各种视觉-语言任务上显示出有希望的改进。大多数现有的方法采用了基于Transformer的多模态编码器来联合建模视觉标记（基于区域的图像特征）和单词标记。由于视觉标记和单词标记是不一致的，多模态编码器要学习图像-文本的相互作用是很有挑战性的。在本文中，我们引入了一种对比性的损失，通过跨模态的注意力，将图像和文本表征进行ALign BEfore Fusing（ALBEF），这使得视觉和语言表征的学习更加接地气。
2023-05-01 21:03:50
1277
5
原创 2023前端大厂高频面试题之浏览器篇
从一个url地址到页面完成渲染，发生了什么？有了IP地址怎么找到指定的服务器（ARP协议）前端攻击有哪些，抵御前端攻击的方式有哪些网络劫持有哪些，怎么防范Cookie、sessionStorage、localStorage 的区别浏览器内核有哪些同源策略如何解决跨越问题强缓存和协商缓存浏览器标签页用进程还是线程来实现？如何实现浏览器内多个标签页之间的通信?
2023-04-26 14:39:43
375
1
原创 2023大厂高频面试题之Vue篇(2)
虚拟DOM的理解vue 和 react 里的key的作用是什么? 为什么不能用Index？用了会怎样? 如果不加key会怎样?为何Vue采用异步渲染Vue.nextTick()组件中的 data为什么是一个函数为什么new Vue这个里面的data可以放一个对象？vue如何检测数组变化ajax请求放在哪个生命周期中Vue父子组件生命周期调用顺序Vue组件为什么只能有一个根元素？vue 的keep-alive的作用是什么？怎么实现的？如何刷新的?何时需要使用beforeDestroy
2023-04-25 09:55:44
360
原创 Vue报错解决[Vue warn]: Error in render: “TypeError: Cannot read property ‘state‘ of undefined“
这个错误提示通常出现在 Vue 组件中，它尝试读取 Vuex store 的 state 对象，但是该对象没有被定义。这假设 store.js 文件位于 src/store 目录中。如果store.js 文件位于其他目录中，请相应地更改导入路径。如果 Vuex store 中没有定义尝试使用的状态，则会出现这个错误。反复确认代码后，发现并没有上述问题。这里的 myState 是Vuex store 中定义的状态名称。如果组件中使用其他名称，请相应地更改代码。3.Vuex store 中没有定义所需的状态。
2023-04-24 19:31:12
3394
原创 跨模态检索论文阅读：Context-Aware Attention Network for Image-Text Retrieval
图像-文本双向检索在很大程度上依赖于每个图像-文本对的联合嵌入学习和相似性度量。先前的工作很少同时探索模态之间的语义对应和单一模态的语义关联。在这项工作中，我们提出了一个统一的上下文感知注意力网络工作（CAAN），它通过聚合全局上下文有选择地关注关键的局部片段（区域和单词）。具体来说，它同时利用全局模态间的对齐和模态内的关联来发现潜在的语义关系。考虑到检索过程中图像和句子之间的相互作用，模内关联来自于对区域-词排列的二阶关注，而不是直观地比较原始特征之间的距离。
2023-04-10 13:50:24
1160
6
原创 2023前端大厂面试题之JavaScript篇(4)
严格模式use strictJavaScript this 关键字call、apply和bindmap 和 weakMap 的区别js 延迟加载的方式js的模块化规范JavaScript多态JavaScript中常见设计模式冒泡和捕获JS 单线程的好处路由懒加载js 垃圾回收机制js释放变量内存哪些操作会造成内存泄漏
2023-04-06 13:40:49
344
原创 详细介绍React路由
单页Web应用（single page web application，SPA），整个应用只有一个完整的页面，点击页面中的链接不会刷新页面，只会做页面的局部更新。当有多个path相同的情况，不用Switch包的话匹配到home时，第一个匹配了还会往下继续匹配，第二个也会匹配，从而两个都展示，包住后匹配到第一个后就不往下匹配了，从而只显示第一个。1.默认使用的是模糊匹配（输入的路径to必须包含要匹配的路径paath，且顺序要一致）。3.严格匹配不要随便开启，需要再开，有些时候开启会导致无法继续匹配二级路由。
2023-04-05 22:12:03
1466
原创 React脚手架
项目的整体技术架构为: react + webpack + es6 + eslint，使用脚手架开发的项目的特点: 模块化, 组件化, 工程化。第二步，切换到想创项目的目录，使用命令：create-react-app project_name。(2)【子组件】给【父组件】传递数据：通过props传递，要求父提前给子传递一个函数。——某个组件使用：放在其自身的state中。
2023-04-04 12:36:53
1932
1
原创 跨模态检索的持续学习
多模态表示和持续学习是与人类智能密切相关的两个领域。前者考虑了共享表示空间的学习，其中来自不同模态的信息可以进行比较和集成(我们关注语言和视觉表示之间的跨模态检索)。后者研究如何防止在学习新任务时忘记以前学过的任务。虽然人类在这两个方面表现出色，但深度神经网络仍然相当有限。在本文中，我们提出将这两个问题结合到一个连续的跨模态检索设置中，在其中我们研究了新任务引起的灾难性干扰如何影响嵌入空间及其有效检索所需的跨模态对齐。我们提出了一个通用框架，将训练、索引和查询阶段解耦。
2023-04-02 15:46:47
1293
2
原创 一道例题理清ACM模式的多行输入输出(js和Python版)
具体的已经在之前这篇博客里讲的很清楚了：《用Python3在牛客网acm模式刷题怎么输入输出》，本文作为一个实际的例子辅助说明一下。
2023-03-31 21:27:55
604
深度学习三巨头在Nature上共同发表的名为《深度学习》的综述文章
2022-05-20
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
2021-03-18
Pycharm、Anaconda安装文档.pdf
2020-03-29
Python程序设计基础与应用
2020-03-08
机票预订系统（完整项目可运行）
2020-02-29
关于#c++#的问题：C++项目中怎么单独编译一个.cc文件
2022-07-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人