- 博客(137)
- 资源 (4)
- 问答 (11)
- 收藏
- 关注
RSS订阅原创 生产环境断网条件下的Python环境打包与部署
这两天要在内网的服务器上部署一个服务，但是运维的老师说服务器不能访问公网。我只能想其他的办法… 顺便记录下，万一以后又遇到这种情况呢。
2023-04-23 16:38:16
987
原创 pytorch加载模型时报错：RuntimeError: Cuda error: out of memory
在加载训练好的模型进行测试时，遇到了RuntimeError: Cuda error: out of memory。觉得很诧异，明明模型也不是很大，怎么就爆显存了。后面去pytorch 论坛上找到了答案，原来是加载模型的时候需要先通过torch.load()的map_location参数加载到cpu上，然后才放到gpu上。def load_model(model, model_save_path, use_state_dict=True): print(f"[i] load model fro
2021-12-31 07:40:11
2712
1
原创 Pycharm调试卡在“Collecting data...”
今天在远程调试的时候又遇到一个玄学的bug，Pycharm一直卡在“Collecting data…”，等我蹲完坑摸鱼回来了它还在collect…刚好在Stack Overflow上也有人遇到这个问题：Debugger times out at “Collecting data…”解决方案就是将Python Debugger中的Gevent compatible勾选上。...
2021-09-06 16:08:36
1956
5
原创 git push报错：remote: Support for password authentication was removed on August 13, 2021.
今天在推送代码到github上的时候报错了：原因是因为github不支持密码验证的方案了，用personal access token代替。解决方案在Github上生成tokenSettings -> Developer Settings -> Personal Access Token -> Generate New Token -> 根据需求勾选 -> 点击 Generate token -> 复制生成的token将本地的凭证改为Personal Acce
2021-08-15 20:01:40
720
原创 pycharm远程调试的“bug”：/miniconda3/envs/learn/bin/python: can‘t open file ‘//＜a2a1d7b1c-6145-4e45-...
因为环境在实验室服务器上配好了，在本地再配一遍有点烦。就想到了用pycharm远程连接服务器进行调试的方法。总的配置可以分成两部分：第一部分是配置sftp，用于同步。第二部分是配置python interpreter，使用远程服务器上的python解释器。具体的可以参考下面的一些博客文章。大家写的大差不差。最新版的pycharm和他们的截图上可能有点出入，但是只要仔细找一下就行。pycharm2018.3实现远程开发与调试（图文详解）手把手教你Pycharm远程连接服务器端项目进行本地开
2021-07-03 12:42:31
3714
5
原创 stanza和DBPedia的安装与使用
项目中需要通过Stanford的CoreNLP提取一些linguistic features。在官网的介绍中提到，用python语言来调用CoreNLP的best practice是使用他们开发的stanza 库。We are actively developing a Python package called Stanza, with state-of-the-art NLP performance enabled by deep learning. Besides, this package a
2021-06-21 10:38:16
1332
原创 pip报错：文件urllib3-1.26.4.dist-info\\METADATA不存在
今天在装一个python库的时候发现每次都报错：ERROR: Could not install packages due to an OSError: [Errno 2] No such file or directory: 'd:\\programdata\\anaconda3\\envs\\nlp\\lib\\site-packages\\urllib3-1.26.4.dist-info\\METADATA'大概意思就是说 urllib3-1.26.4.dist-info 目录下的METADAT
2021-06-20 19:45:56
3606
1
原创 pytorch报错：Too many open files
程序运行到一半报了Too many open files的错：... ...File "/home/miniconda3/envs/gpu/lib/python3.9/multiprocessing/resource_sharer.py", line 48, in __init__OSError: [Errno 24] Too many open files参考github上的issueIt is expected because the default file_descriptor sh
2021-05-22 09:51:50
2598
3
原创 深度学习可视化工具wandb
在训练和评估模型的过程中，我们需要保存很多的数据，比如loss，precision、recall、f1等等。通过这些信息，来更好地了解模型的情况，对模型进行优化。一般来说，我们用pytorch的tensorboard就够了。但是我发现tensorboard有几个缺点：需要本地开一个服务器：tensorboard --logdir=/xxx/log --port 6008 --bind_all每次重新运行的时候都得关掉服务器再重新运行才能看到新的图在看了师兄的代码以后，发现了这么一个工具：wa
2021-05-13 12:38:29
6660
12
原创 报错解决：one of the variables needed for gradient computation has been modified by an inplace operation
写完了训练的代码，运行了以后发现了这么一个错：RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [544, 768]], which is output 0 of ViewBackward, is at version 1; expected version 0 instead. Hint: en
2021-05-12 09:41:03
51082
5
原创 重新安装nvidia驱动、Cuda以及Cudann，解决报错：Unable to determine the device handle for GPU 0000:09:00.0
实验室服务器的CUDA_HOME莫名其妙的没了，执行命令nvidia-smi的时候报错：Unable to determine the device handle for GPU 0000:09:00.0: Unknown Error在尝试了万能的重启之后，终于。。。还是没解决哎，毕业的道路上重重险阻o(╥﹏╥)o不过最后在abinge和师兄的帮助下解决了。abinge yyds1. nvidia驱动到网站 https://www.nvidia.cn/Download/index.aspx
2021-05-11 09:04:39
11996
2
原创 TP、FP、TN、FN傻傻分不清楚
我在计算Precision、Recall和F1的时候，总觉得TP、FP、TN、FN傻傻分不清楚的。（好像计算这三个指标的时候不需要TN…这四个情况的含义如下：TP — True Positive，实际上是正，预测为正。在抽取的任务中，就是预测出了这个span，实际上也有这个spanFP — False Positive，实际上是负，预测为正。在抽取的任务中，就是预测出了这个span，实际上没有这个spanTN — True Negative，实际上是负，预测为负。在抽取的任务中，就是没预测出这个s
2021-05-01 10:27:59
2618
1
原创 GPU高显存占用、低使用率的原因分析过程
今天在训练模型的时候，发现GPU的显存都快满了，但是GPU的利用率很低，基本是隔几秒才会到100%，然后马上恢复为0。如下图所示。训完一个epoch要一天左右，心态都给我整崩了在网上找到了一些不错的资料：训练效率低？GPU利用率上不去？快来看看别人家的tricks吧～深度学习PyTorch，TensorFlow中GPU利用率较低，CPU利用率很低，且模型训练速度很慢的问题总结与分析GPU: high memory usage, low GPU volatile-util猜测在train函数
2021-04-26 19:08:31
11980
5
原创 torch.matmul() 张量相乘
如果是二维的矩阵相乘，那就跟平时咱们做的矩阵乘法一样：a = torch.tensor([[1,2], [3,4]])aOut[31]: tensor([[1, 2], [3, 4]]) b = torch.tensor([[2,2], [3,4]])bOut[33]: tensor([[2, 2], [3, 4]]) torch.matmul(a, b)Out[34]: tensor([[ 8, 10],
2021-04-14 09:18:14
6071
3
原创 pycharm调试时高亮的行与实际运行的行不一致
1. 问题话说今天在debug的时候遇到了个玄学bug…怎么个玄学法？我写了一个if-else，但是调试的时候发现，两个基本块都进去执行了：发现执行到后面的行的时候，这里的变量才有变化。那就说明当前高亮的行起始和实际运行的行不一致。跟同学交流了一下，阿宾哥说是因为调试的过程中修改了代码的缘故。hangg说需要清除缓存，但是我试了一下没用。（如下两图）本来我写的bug就多，现在调试功能还出问题了，让不让我活了…(╯‵□′)╯︵┻━┻2. 解决于是在谷歌搜了一下 “pycharm deb
2021-04-05 15:57:51
2587
1
原创 “迷人”的np.where()
最近看代码，发现这个np.where()太难理解了。这返回的是个啥，太迷了吧下面用一个例子来看一下。在这里，我定义了一个矩阵a，我的需求是找出a中所有超过阈值0.5的索引。我们观察矩阵a，发现大于0.5的，只有0.7（a[0,1,1]），0.8（a[1,0,0]），0.9（a[1,0,1]），0.6（a[1,1,2]）In [78]: a = np.array([[[0.1, 0.2, 0.5], [0.5, 0.7, 0.1]], [[0.8, 0.9, 0.2], [0.4, 0.5, 0.6]]
2021-03-25 20:58:14
170
原创 被报错信息“欺骗”了：torch.matmul RuntimeError: expected scalar type Long but found Float
是这样的，我被报错信息“欺骗”了！当我的代码运行到 torch.matmul(a, b) 时，报了个这样的错：RuntimeError: expected scalar type Long but found Float这个报错的意思是说，希望的数据类型是Long，但是有参数的数据类型是Float.于是我debug了，发现是Float的那个参数（里面有很多小数），如果强行变成Long的话，整个几乎都变成0矩阵了。在Stack Overflow上类似问题的回答中，看到这样的回答：This is not
2021-03-24 20:20:36
1648
4
原创 NER中多特征做Embedding时的维度记录
1. 前言在这个NER 的练手项目中，我对每个word额外提取了词性、词位、偏旁部首、拼音四种特征。下面记录一下多的这四种特征做embedding嵌入时，特征是如何拼接处理的。( 仅仅是自己做笔记用…2. 流程2.1 Embedding在得到了word的index序列，以及其余四个特征的index序列以后，需要做Embedding。简单的理解为是到目标空间中去查找词向量。如下图，假设上面的矩阵是目标空间中的词向量，下面的矩阵是两个句子的word或者其他特征的index序列。那么，对于第一个
2021-03-15 21:32:42
1548
3
原创 torch.cat 示例
前言最近学nlp，看到网上的示例代码有个torch.cat，不是很明白，自己写了点代码测试了一下。示例In [54]: a = torch.ones(1,2,3)In [55]: aOut[55]:tensor([[[1., 1., 1.], [1., 1., 1.]]])In [56]: b = torch.ones(1,2,3)In [57]: bOut[57]:tensor([[[1., 1., 1.], [1., 1., 1.]]])
2021-03-15 09:27:13
144
原创 Jupyter Lab报错：ImportError: DLL load failed while importing win32api: 找不到指定的模块
前言昨天把conda的环境搞崩了，重新开了一个。在运行jupyter lab的时候，报错：...import win32apiImportError: DLL load failed while importing win32api: 找不到指定的模块。解决一开始我用pip重新安装，发现没有用。o(╥﹏╥)o最后，看了网友提供的方法解决了：首先，找到文件pywin32_postinstall.py，路径在[Path to Anaconda3]\Scripts\然后执行：python [P
2021-01-11 09:29:19
3159
12
原创 ST2020
2020年最后一天，坐在实验室里写一下今年的总结。可能有的人会对文章的标题感到疑惑，为什么叫“ST2020”？其实呢，在文章标题前面应该还有个星号的，也就是说这篇文章的标题应该是*ST2020。*ST的含义是当一只股票有退市风险时，会在名称前面加上一个*ST，但是文件名不让加星号呀o(╥﹏╥)o。无他，只是想表达2020快过去了而已。滞涨的2020我的2020是一个“滞涨”的状态。疫情在家学习的时候没有好好把握时间找方向。在九月初来实验室以后，决定开始打CTF，做Reverse题（当时还是决定转博
2020-12-31 22:53:21
241
原创 攻防世界Reverse进阶区-easy_Maze-writeup
1. 介绍本题是xctf攻防世界中Reverse的进阶区的题easy_Maze2. 分析$ file easy_Mazeeasy_Maze: ELF 64-bit LSB pie executable, x86-64, version 1 (SYSV), dynamically linked, interpreter /lib64/ld-linux-x86-64.so.2, for GNU/Linux 3.2.0, BuildID[sha1]=0cb6db3836551a104de9a42d40
2020-12-04 20:44:13
678
原创 攻防世界Reverse进阶区-SignIn-writeup
1. 介绍本题是xctf攻防世界中Reverse的进阶区的题SignIn题目来源： 2019_SUCTF2. 分析2.1 静态分析$ file signinsignin: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, interpreter /lib64/ld-linux-x86-64.so.2, for GNU/Linux 3.2.0, BuildID[sha1]=b98a398a7beb
2020-12-04 20:36:17
915
原创 攻防世界Reverse进阶区-666-writeup
1. 介绍本题是xctf攻防世界中Reverse的进阶区的题666题目来源： 2019_UNCTF2. 分析$ file 666666: ELF 64-bit LSB pie executable, x86-64, version 1 (SYSV), dynamically linked, interpreter /lib64/ld-linux-x86-64.so.2, for GNU/Linux 3.2.0, BuildID[sha1]=eaed290e5801a19d53e8597ac1a04
2020-11-13 16:38:22
1133
原创 攻防世界Reverse进阶区-re4-unvm-me-writeup
1. 介绍本题是xctf攻防世界中Reverse的进阶区的题re4-unvm-me题目来源： alexctf-20172. 分析文件是一个pyc文件，将该文件上传到pyc反编译网站中，得到源代码：# uncompyle6 version 3.5.0# Python bytecode 2.7 (62211)# Decompiled from: Python 2.7.5 (default, Aug 7 2019, 00:51:29) # [GCC 4.8.5 20150623 (Re
2020-11-05 10:37:53
681
1
原创 git push/clone 失败解决
前言这两天发现自己的电脑不管是git push还是git clone都失败了。git push：git clone不管是用https还是ssh，也都失败了：解决参考从Github 使用ssh clone 项目时出现问题，这里提到可能的问题是因为被q了。因此，我们可以为git bash设置代理。即使你设置代理为全局代理，git bash也是不走代理的…我在这里设置的是https的代理：# 打开 git bash，然后输入git config --global http.proxy "h
2020-10-28 17:06:54
344
原创 攻防世界Reverse进阶区-simple-check-100-writeup
1. 介绍本题是xctf攻防世界中Reverse的进阶区的题simple-check-100题目来源： school-ctf-winter-2015题目提供了三个文件：task9_x86_ed82b6faaf979658e040c77422d01b1b3db183f7.exe => windows下的可执行程序task9_x86_2fb0b7e96f097597851f24faaf664fdb20ad8b8a => Linux 32bittask9_x86_64_46d01fe
2020-10-28 15:25:09
343
原创 攻防世界Reverse进阶区-re2-cpp-is-awesome-writeup
1. 介绍本题是xctf攻防世界中Reverse的进阶区的题re2-cpp-is-awesome题目来源： alexctf-2017题目描述：他们说c++是复杂的，证明他们说的是错的！2. 分析$ file 5d6da120dfe6499884ac53ef9fe3c80f 5d6da120dfe6499884ac53ef9fe3c80f: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked, i
2020-10-23 19:25:35
398
原创 Dark CTF 2020-Rev/c_maths-writeup
1. 介绍本题是dark ctf Reverse的第四题：c_maths ， 网址：https://ctf.darkarmy.xyz/challs题目描述：Clearly u know some C programming and a bit of maths right…? Note:Enclose the flag within darkCTF{} There are 3 parts to the flag.nc cmaths.darkarmy.xyz 7001题目中提到了 There
2020-10-23 19:22:22
329
原创 Dark CTF 2020-Rev/strings-writeup
1. 介绍本题是dark ctf Reverse的第三题：strings，网址：https://ctf.darkarmy.xyz/challs题目描述：Just manipulation of couple of strings…Note: Enclose the final output inside darkCTF{}2. 分析$ file stringsstrings: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dyna
2020-10-10 19:48:07
353
原创 Dark CTF 2020-Rev/HelloWorld-writeup
1. 介绍本题是dark ctf Reverse的第二题：HelloWorld，网址：https://ctf.darkarmy.xyz/challs题目描述：taking small Bites of Bytes2. 分析$ file hw hw: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically lin
2020-10-07 14:20:34
979
原创 Dark CTF 2020-Rev/so_much-writeup
1. 介绍本题是dark ctf Reverse的第一题：so_much，网址：https://ctf.darkarmy.xyz/challs题目描述：strcmp printf2. 分析2.1 IDA静态分析$ file so_much so_much: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, interpreter /lib64/ld-linux-x86-64.so.2, Bui
2020-10-07 09:24:08
584
1
原创 攻防世界Reverse进阶区-tt3441810-writeup
1. 介绍本题是xctf攻防世界中Reverse的进阶区的题tt3441810题目来源： tinyctf-20142. 分析$ file rev100rev100: ASCII text, with CRLF line terminators用vscode打开，是一堆十六进制数00400080 68 66 6C 00 00 48 BF 01 00 00 00 00 00 00 00 4800400090 8D 34 24 48 BA 02 00 00 00 00 00 0
2020-10-07 09:18:02
758
1
原创 攻防世界Reverse进阶区-流浪者-writeup
1. 介绍本题是xctf攻防世界中Reverse的进阶区的题流浪者题目描述：答案为flag{XXX}形式2. 分析$ file cm.execm.exe: PE32 executable (GUI) Intel 80386, for MS Windows根据IDA里的粗略分析，函数的调用图如下：#mermaid-svg-LF6nL1D2SqfmkXpJ .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--m
2020-10-06 10:40:14
578
原创 攻防世界Reverse进阶区-elrond32-writeup
1. 介绍本题是xctf攻防世界中Reverse的进阶区的题elrond32题目来源： tinyctf-20142. 分析$ file rev300 rev300: ELF 32-bit LSB executable, Intel 80386, version 1 (SYSV), dynamically linked, interpreter /lib/ld-linux.so.2, for GNU/Linux 2.6.24, BuildID[sha1]=a93ffe39302e19ef5184a1
2020-10-01 10:37:54
590
原创 攻防世界Reverse进阶区-answer_to_everything-writeup
本题是xctf攻防世界中Reverse的进阶区的题answer_to_everything题目来源： 2019_ISCC题目描述：sha1 得到了一个神秘的二进制文件。寻找文件中的flag，解锁宇宙的秘密。注意：将得到的flag变为flag{XXX}形式提交。2. 分析根据结果：NOT Win EXE - .o - ELF executable [ 64bit obj. Exe file - CPU : AMD x86-64 - OS: unspecified ]，该文件是一个linux下的64位可
2020-10-01 10:27:06
1096
原创 攻防世界Reverse进阶区-re1-100-writeup
1. 介绍本题是xctf攻防世界中Reverse的进阶区的题re1-1002. 分析$ file RE100RE100: ELF 64-bit LSB executable, x86-64, version 1 (GNU/Linux), dynamically linked, interpreter /lib64/ld-linux-x86-64.so.2, for GNU/Linux 2.6.32, BuildID[sha1]=94dd59e952c54304bd14f282695ae62c4f6c
2020-09-24 23:17:42
690
nltk的punkt资源
2021-04-04
爬取数据一直增加的页面
2020-12-29
C语言多线程传参数时，线程里的参数值一直没变？
2017-10-12
请问普通用户的ip地址网段大概在什么范围内？应该怎么看呢？
2017-10-07
关于spring boot部署后与本地数据库数据访问不一致的问题
2017-08-21
关于spring data jpa的问题.
2017-08-21
spring boot工程在intellij idea里打jar包以后无法运行
2017-08-17
centos7 同一个文件夹下引用的jar包的问题
2017-03-19
postgresql9, initdb: 命令行参数太多
2017-03-08
360提示隔离运行adb.exe, appt.exe, java.exe
2017-03-05
MySQL添加用户时报错，没有password字段
2017-02-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人