- 博客(99)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 实现Newton方法的最小化函数(pytorch)
首先，我们要明确需求● theta是优化参数的初始值的一个向量。● f是要最小化的目标函数。该函数应将PyTorch张量作为输入，并返回一个张量。● tol是收敛容忍度。● fscale 粗略估计最佳状态下f的大小–用于收敛性测试。● maxit 在放弃之前尝试的牛顿迭代的最大数量。● max_half 一个步骤在得出该步骤未能改善目标的结论之前应该被减半的最大次数。目标。1.函数需检查初始θ是否有限，并计算目标值f0。
2023-04-30 23:57:42
984
1
原创 两篇2023 ICLR多模态论文分享(模态互补性对多模态鲁棒性影响 与 对多模表示学习有效的单模学习)
本文讨论了模态互补性在多模态鲁棒性中的重要性，并基于信息论提出了一种数据集层面量化度量，用于量化不同模态之间有多少互补信息，以及这些信息对预测标签有多大贡献。该指标基于互信息神经估计器（MINE）来计算。提出了一个两阶段pipeline，分成数据生成阶段和度量计算阶段。在数据生成阶段，作者生成具有受控模态互补性的数据集。在度量计算阶段，作者使用生成的数据集计算度量并分析结果。，并通过实验验证了其有效性。此外，本文还讨论了各种相关主题，如变压器、对抗性示例和深度学习模型。
2023-03-29 17:47:01
3900
3
原创 数据结构与算法入门(follow 左神)
1.堆结构优先级队列堆是完全二叉树，满足左右孩子分别是2i+1和2i+2，父节点是(i-1)/2完全二叉树高度是O(logN)，删掉最大值往下调整成堆也是O(logN)假如有序是自小到大，堆排序就是构建大根堆，把构建好的堆最后一个位置与堆顶做交换，然后heapsize–，此时最后一位是最大值，然后对交换后的结构调整成堆，然后继续上述操作 逐步把大根堆顶放置最后一个(类似冒泡，但每次比较的值少了，且不额外空间复杂度O(1))。return;i ++) {
2023-03-10 12:36:33
649
原创 在torch.load的时候报错 result = unpickler.load() ModuleNotFoundError: No module named ‘xxx‘ 个人错误解决记录
torch.load(“xxx.pt”)的时候出现这种错误一般是模型加载异常当时搜了好半天网上给的解决方法。
2023-03-02 15:46:44
2436
原创 JAVA基础半天速通集锦(only 40点，查找and复习必看)
以下内容根据[【尚硅谷】7天搞定Java基础，Java零基础极速入门](https://www.bilibili.com/video/BV1o841187iP) 视频简单总结而成所谓变量就是可以改变的向量存储；标识符即标识数据的符号——变量名：只有下划线和$，预定义关键字或保留字不给用1. 基本数据类型 byte 8,short 16,int,long 64, float f = 1.0F; 范围小的数据转换为大的没问题，但大到小需要 引用数据类型 类：对象是将内存地址赋值给了变量，所以变量其实是引用
2023-02-23 11:11:16
434
1
原创 RuntimeError: DataLoader worker (pid(s) 46220) exited unexpectedly
其实吧，这个问题说难不难，说简单也简单。出现这个Error很明显，就是，而且不是以往那种CPU利用率拉满，而GPU虽然占用率拉满，但实际利用率不高的情况。打个比方，以前是cpu加载数据要个20-30s，但gpu零点几秒就处理完成了，从而一直等待。这种情况只会让模型运行时间变长而已。现在则是两极反转，Dataloader的了。导致cpu加载数据快到飞起，反而GPU跟不上了，就会出现异常，然后杀死进程，出现如上结果。
2022-11-02 18:05:53
2322
原创 深度学习之GPU显存与利用率 浅析小结
首先就一笔带过说一下GPU的重要性吧，以Pytorch为例，就是使用CUDA，cuDNN对深度学习的模型推理时执行的各种计算转换为矩阵乘法进行加速，来达到从猴年马月的运行，到现在几十成百倍的提速。至于我们爱之深恨之切的显存呢，以数据读取时GPU运行内存的变化作为参考，具体实现机制一般是通过worker进程+队列的方式，让多个worker异步地读取、预处理数据入列，然后主管训练主进程从队列的另一头取数据。如果队列满了、训练进程来不及取数据，worker进程就会阻塞住，运行内存也就不会无限制地增长了。显而
2022-11-02 17:50:47
4381
原创 Installation Failure(git clone --recursive [email protected]:xxx.git)
Failing to clone the repo and its submodules.```bash$git clone --recursive [email protected]:microsoft/Oscar.gitCloning into 'Oscar'[email protected]: Permission denied (publickey).fatal: Could not read from remote repository.Please make sure you have
2022-10-08 11:02:35
260
1
原创 执行sh文件或者在运行项目时出现 --dataset: command not found这类 及 SyntaxError: EOL while scanning string literal
执行sh文件或者在运行项目时出现 --dataset: command not found这类 及 SyntaxError: EOL while scanning string literal
2022-09-23 22:02:49
499
转载 做科研想 idea 发现早就有人做过了，该怎么调整心态？(附创新点提出，创新点较小，论文写作的方案)
边看文献，边在想idea，想到一个觉得很不错的想法开始做，个人有每天抽一部分时间看文献的习惯，然后做到一半突然看到文献几年前就实现了我的想法，瞬间心态崩溃，好几天都没精打采的。发生好几次这种情况，积极性也在一步步减退，该怎么调整呢。
2022-09-18 11:37:42
1008
转载 如何使用多类型数据预训练多模态模型？
本文介绍了多模态模型优化中的引入多种类型数据的研究方向。近期的论文中，这类工作表多，是目前业内研究的热点，也是能够显著提高多模态模型效果的方法。
2022-07-20 17:15:54
1899
2
原创 pip下载包时出现不适配导致无法下载安装包:error: subprocess-exited-with-error；error: metadata-generation-failed；
这里提一嘴，虽然可以简单使用conda-forge强制安装最新版，但如果要具体版本的话还是去。最老实的办法莫过于弄清楚环境具体应该如何适配，然后再pip下载。而使用condainstall则会十分顺利成功(PS)不用怀疑，首先排除将pip升级到最新这个没啥用的主意。最简单有效的方法则是用condainstall下载。仍旧以seqeval为例，这就有两个版本的，点开一个。中庸之策略则是下载该包的wheel文件，再本地安装。其次，这个问题出现一般是环境不匹配导致的。复制以下任意指令中的一个即可。......
2022-07-14 21:46:09
50452
5
原创 PL-Marker(ACL 2022)——信息抽取(NER+RE)新SOTA，论文浅析与代码浏览
动机：之前的实体和关系提取工作专注于研究如何从预训练的编码器中获得更好的span表示。但却忽略了span（pairs）之间的相互关系。贡献：提出了一种名为Packed Levitated Markers (PL-Marker)新的span表示方法 。目前， span representation提取的方法主要分为三种：T-Concat、Solid Marker、Levitated Marker。T-ConcatT-Concat 就是将span的边界 token（开始和结束）的嵌入拼接起来用以表示span
2022-07-14 10:08:25
8979
2
原创 Pytorch中自定义(修改)的模型加载所需部分预训练模型参数并冻结
二. 这个则就复杂不少，按自己所需进行更改，比如我的，就是本模型增加了四层’dense’, ‘unary_affine’, ‘binary_affine’, ‘classifier’，通过j+=8，跳过他们的weight和bias，这个可以参考权重衰减。同时将原模型参数中’crf’部分不加载。后面了解到有一种更简单的方法：就是当你设置好你自己的模型后，如果仅想使用预训练模型相同结构处的参数，即在加载的时候将参数strict设置为False即可。该参数值默认为True，表示预训练模型的层和自己定义的网络结
2022-06-25 15:22:34
2237
原创 论文笔记：DETR: End-to-End Object Detection with Transformers (from 李沐老师and朱老师)
先前广泛使用的检测模型将detection通过等将几何预测任务间接转化为回归/分类任务去解决问题，也受限于postprocessing。Transformer作NLP Decoder就用自回归生成，而DETR则是直接输出结果，一是快，二是图片无须依靠顺序回归，每个bounding box结果没有相联系的关系而于2020 ECCV上DETR这篇的里程碑式的目标检测论文将Transformer is all you need运用到了Object Detection任务上来，直接利用Transformer这种全局
2022-06-21 19:45:00
1759
原创 时间序列早期分类问题定义和基本思想以及具体方法简述
时间序列分类是将待测样本分配到预先定义好的类别中。时间序列数据定义：狭义：按时间顺序排序的一组数据。广义：任何实质性的有次序的序列都可以当作时间序列处理。应用：医学诊断、灾害预测、入侵检测、过程控制、道路交通等方面。早期分类特点：针对时间序列数据尽早做出预测，并满足预测的质量。更注重优化分类的早期性。在一些领域中越早做出分类用来指导决策越有利。早期的分类器满足需两个要求。首先，早期分类器应该能够确定可靠分类的最早时间，以便早期预测可以用于进一步的动作。其次，早期分类器应保持与使用全长时间序列或某些用户
2022-06-17 02:15:00
677
原创 RuntimeError: Input type (torch.FloatTensor) and weight type (torch.cuda.FloatTensor) should be same
简而言之，就是输入类型是对应cpu的torch.FloatTensor，而模型网络的超参数却是用的对应gpu的torch.cuda.FloatTensor一般是在本地改代码的时候，忘记将forward(step)的一些传递的参数to(device)导致的，本人就是如此，哈哈。以下是针对每个batch解压数据的时候，对其每类数据to(device)，一般在for batch in self.train_data(或者train_dataloader这个循环中)反之同理如果就是将模型/网络采用to(de
2022-06-13 22:01:56
2416
3
原创 论文精读：ITA: Image-Text Alignments for Multi-Modal Named Entity Recognition
论文地址论文代码提出ITA将图像特征多层次对齐到文本空间中(更好利用transformer model，多层次分别是局部-目标检测器，全局-图像描述，字符级-OCR)，再concatenate T input 得到CrossModal input加入到Feed forward和ATT中达到Cross-View Alignment，使得两个模态输入View的输出分布的KL散度最小化。[核心：专注于整合视觉信息，通过有效地对齐视觉和文本信息来改进输入Tokens的表示。]PS:其实就是将视觉信息转为文本形式(
2022-06-07 10:14:49
1509
原创 论文精读：Joint Multi-modal Aspect-Sentiment Analysis with Auxiliary Cross-modal Relation Detection
1.JML方法首先定义了联合多模态方面集情感分析任务。在给定数据样例D={(X_n,I_n,A_n,S_n)}n=1~N的情况下，X为长为k的单词序列，I是的图片。而联合任务即是同时抽取方面术语list A(m个)，并对这m个aspect进行分类的sentiment list S。其实就是联合抽取方面术语和其对应的情感(ATE+SC)，基于正确的Aspect来predicate sentiment。【 the goal of JMASA( Joint MultimodalAspect-Sentimen
2022-05-31 15:45:17
1100
2
原创 ERROR: Command errored out with exit status 1:
明明已有version里面有我所需要的版本，怎么会报错呢一开始以为网有问题，就重连一次，结果同样报错然后升级pip也没解决，只好看报错日志，才发现原来是distutils.errors.DistutilsError: Could not find suitable distribution for Requirement.parse(‘setuptools_scm’)这就好办了参考添加链接描述1、安装scm：pip install setuptools-scm2、 升级pip：pip ins.
2022-05-23 10:20:06
740
原创 图文融合模型(续) and VQA过往简述
一.ALBEF(对比学习用cosine对一个batch的样本做个交叉熵)思考点1 图文对比学习可以用相似度吗，就CLIP和FLIP那样的，或者不是单纯交叉熵，可以用focal loss或者一些别的，比如说根据多模态贡献度来决定各个损失更新方向，【参考cvpr 2022 oral的一篇论文：多模态学习中的贡献不平衡问题】本文是维护了两个队列来存储动量单模态编码器的最新的M个图像-文本表示动态模型各个特征归一化，代替原本模型的特征计算概率分布H是交叉熵函数，也可以看成InfoNCE，即负对数
2022-05-20 15:45:05
1139
原创 论文泛读记录(多模情感分析/探测；厌恶语音探测；属性级情感分析；CVPR2022和ACL2022 三元组/对比学习/视觉语言预训练/机器翻译/预训练模型/机器阅读理解)
1.1 CTFN: Hierarchical Learning for Multimodal Sentiment Analysis Using Coupled-Translation Fusion NetworkJiajia Tang, Kang Li, Xuanyu Jin, Andrzej Cichocki, Qibin Zhao and Wanzeng Kong1.2 Multimodal Sentiment Detection Based on Multi-channel Graph Neura
2022-05-16 20:58:28
1361
原创 k-means聚类算法(pyspark实现)
import sys #The sys module contains functions related to the Python interpreter and its environment.from typing import List #The typing library is a library that helps us implement type annotationsimport numpy as np #This code requires NumPyf
2022-05-10 11:39:39
626
原创 seed+transformer+finetune+图文融合+VLP+Prompt Learning整合
1.Seed在神经网络中，参数默认是进行随机初始化的。不同的初始化参数往往会导致不同的结果，如果不设置的话每次训练时的初始化都是随机的，导致结果不确定。当得到比较好的结果时我们通常希望这个结果是可以复现的，如果设置初始化，则每次初始化都是固定的，在pytorch中，通过设置随机数种子也可以达到这么目的。#固定随机种子 args.seed=SEED(SEED之前已经设置初值，如31)在设置随机数种子时需在最前面加上 np.random.seed(args.seed) #给numpy也设置随机数种子
2022-05-04 20:15:50
2761
原创 简单的聊天应用程序(多客户端聊天服务器) from multithread
文章目录1.介绍2.功能2.1 注册2.2 聊天2.3 注销2.4 离线聊天2.5 频道-群组聊天3. 实现展示1.介绍多客户端聊天服务器，可以在一个channel聊天。当用户想要加入聊天室时，服务器会询问用户名，并且仅当用户名是唯一时才接受连接。然后，它将消息从一个客户端广播到连接的所有其他客户端。还通知任何客户端的进入/退出2.功能完整的聊天应用程序可以大致分为以下五个功能。每个功能都涉及客户端部分或服务器部分或两者的组合。服务器和客户端中的四个功能及其各自的部分将在以下部分中进行说明。2.
2022-04-28 22:13:29
773
原创 Jupyter notebook内使用(添加)虚拟环境
法一在Anaconda里安装一个插件。conda install nb_conda然后启动Jupyter notebook即可参考https://www.jianshu.com/p/afea092dda1d法二先激活想要添加的虚拟环境然后pip install ipykernel ipython安装成功后ipython kernel install --user --name pytorch1.6注意：pytorch1.6是自己的虚拟环境名，大家按照自己的更改输入命令之后，敲
2022-04-22 11:34:24
5740
5
原创 urllib.error.URLError: ＜urlopen error [SSL: WRONG_VERSION_NUMBER] wrong version number 成功解决
方法总共记录了四种其一是SSL证书问题。可以采用以下代码打开该urlimport ssl # This restores the same behavior as before.context = ssl._create_unverified_context()response = urllib.request.urlopen("https://no-valid-cert", context=context)以上方法中的https://no-valid-cert可以换成你自己想要的网址其
2022-04-19 21:19:14
3582
原创 多模态关键任务与应用综述（从表示到融合，从协同学习到关键技术梳理）
冗余性 和 互补性 是多模态各种特性存在的基础1.双线性池化特征融合即输入两个模态的特征向量，输出融合后的向量。最常用的方法是拼接、按位乘、按位加。有些作者认为这些简单的操作效果不如外积/叉乘得tensor，不足以建模两个模态间的复杂关系。但外积计算存在复杂度过高的问题。双线性（Bilinear）就是向量外积的计算。双线性池化（Bilinear Pooling）是对双线性融合后的特征进行池化。例如LMF（Low-rank Multimodal Fusion），PTP (polynomialtensor
2022-04-18 15:39:23
7638
原创 多线程字典服务器实现(Java)
回顾前文多线程入门练习 在之前的Java多线程学习中，了解了TCP/UDP网络Socket编程，解决了服务器端建立连接后向客户端发送多条消息接收的问题，解决方法通俗易懂，接收信息的功能由客户端集中到线程处理，实现多线程同步。但是有时候服务端只实现了单用户的功能，而现在需要多用户访问服务端资源，服务端要和各个客户端建立连接，用对话进行通信，就像我们用微信、视频等每天都有客户端，这是多用户与服务器通信的一个例子。 简单来说，本次任务就是使用客户端-服务器架构，设计和实现服务器端和客户端，允许并发客户端
2022-04-15 13:00:00
822
2
原创 hash通信(python多线程应用)采用md5加密
相关知识1.python的hashlib提供了常见的摘要算法，如MD5,SHA1等等。2.算法又称哈希算法，散列算法。它通过一个函数，把任意长度的数据转换为一个长度固定的数据串（通常用16进制的字符串表示）。3.算法就是通过摘要函数 f() 对任意长度的数据 date计算出固定长度的摘要 digest，目的是为了发现原始数据是否被人篡改过。预期输出I am connecting the server!发送字符串是: aBch 收到字符串 ABch 其中摘要是: def786e77
2022-04-12 10:49:10
323
原创 2022 AAAI 多模态/情感分析/命名实体识别/(信息抽取)关系抽取/知识图谱(知识蒸馏)/阅读理解 论文一览表
1.Tailor Versatile Multi-Modal Learning for Multi-Label Emotion RecognitionYi Zhang, Mingyuan Chen, Jundong Shen, Chongjun Wang2.Sentiment and Emotion-Aware Multi-Modal Complaint IdentificationApoorva Singh, Soumyodeep Dey, Anamitra Singha, Sriparna Sah
2022-04-08 15:33:39
7362
原创 Python 基本功能应用与简单数据分析
任务 1 - 掷骰子编写一个Python脚本来生成6面骰子掷骰子。脚本应提示用户"再次掷骰子？（y/n）。如果用户键入"y"，则掷骰子并再次显示提示。如果用户键入"n"，则脚本应结束。提示:若要生成某个范围中的随机数，请使用以下代码：import randomrand_number = random.randint(1, 6)掷骰子获取用户输入使用 while 循环执行条件import randomrand_number = random.randint(1, 6)whi
2022-04-06 16:52:21
791
原创 加权二叉树的实现与单元测试(python)
加权二叉树，每个节点存储权值(非负整数)。我们定义节点的inbalance作为它的左右子树的和权值的绝对差。一个空子树的权值为0。我们的实现应该支持以下操作:•更新节点权值。•插入新节点。•移动根节点的子树。•找到最不平衡的节点，即最不平衡的节点。因此需要维护一个树，其中树中的每个节点都持有一个权重值作为它的key“inbalance”的value等同于此节点左右子树的求和权值之差。Example:Tree:A(5)/ C(2) D(8)/B(10)
2022-04-03 20:48:39
513
原创 多线程例题练手(c入门)
使用pthreads进行实时编程需要模板代码critical.c和multithread.c。/* * critical.c * * Demonstrate use of mutual exclusion using mutexes * * Upper case output indicates critical output * lower case output indicates non-critical output * * compile with gcc critical.
2022-04-02 19:50:35
470
原创 ERROR: Invalid requirement: ‘_libgcc_mutex=0.1=main‘ XXX Hint: = is not a valid operator. Did you me
添加‘Anaconda安装目录\Library\bin’到环境变量中例如：C:\ProgramData\Anaconda3\Library\binF:\Anaconda\ScriptsF:\AnacondaF:\Anaconda\Library\bin
2022-03-31 21:20:03
9635
原创 通解:HTTP超时，或者require TLS/SSL，亦或者conda install / update/ create Solving environment不停
对于conda环境各种问题的通用解决办法
2022-03-29 15:30:38
5585
原创 Linux 用户管理
用户管理用户和用户组操作命令IdFingerPwck检查/etc/passwd 配置文件内的信息与实际主文件夹是否存在，还可比较/etc/passwd 和/etc/shadow 的信息是否一致，另外如果/etc/passwd 中的数据字段错误也会提示。Grpck和 pwck 功能相近，这是检查用户组的。Groupsnewgrpuseraddusermodusermod 不仅能改用户的 SHELL 类型，所归属的用户组，也能改用户密码的有效期，还能改登录名。usermod 如此看来就
2021-12-31 00:15:00
263
1
原创 机器学习基本算法思想和步骤
文章目录一、EM算法二、 线性回归公式三、 K-means算法四、正则化五、 boosting和bagging六、 深度学习的定义，特征七、 生成式和判别式模型八、 SVM九、 SVM概念十、 BP神经网络十一、 决策树十二、 stacking十三、 特征选择十四、 异常检测18-Lecture15-XV. Anomaly Detection十五、 推荐系统Recommender Systems一、EM算法EM算法是一种迭代优化策略，由于它的计算方法中每一次迭代都分两步，其中一个为期望步（E步）
2021-12-30 12:00:00
1529
转载 集成学习之Adaboost算法
文章目录1.背景2.基本原理3.Adaboost算法4.周志华老师Boosting25周年5.Adaboost算法优缺点6.Q&A转载自https://blog.csdn.net/fwh_1307/article/details/1220213481.背景集成学习(ensemble learning)通过构建并结合多个学习器来提升性能集成学习分为两大类：个体分类器存在强依赖方法(Boosting)个体学习器之间不存在强依赖关系(Bagging,随机森林)提升方法的思路：对于一个复杂任
2021-12-29 04:45:00
2483
悉尼大学 THE UNIVERSITY OF SYDNEY Database Management System课程
2022-11-22
香港大學 (HKU)计算机科学专业C++课程(CS2311)课件
2022-05-10
英格兰BRISTOL学院计算机科学专业必修课与对应练习
2022-05-09
爱丁堡大学 信息检索课程相关资料
2022-05-06
多客户端聊天服务器实现
2022-04-28
权重平衡树的python实现
2022-03-30
i春秋 CTF大本营 竞赛训练营 200+道题目答案
2022-03-30
i春秋 CTF大本营 竞赛训练营 200+道题目答案
2022-03-30
Lazy Linked-List(论文实现方法)
2021-12-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人