- 博客(512)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 刷题-面试准备
刷题时仍然觉得C++比python方便（索引等），但记不住那些函数语法……——待补list1.reverse()，将list1翻转sorted(list1, key=lambda x:x[0], reverse=True). 不知道如何能考虑两个因素进行排序，比如[0]=是比较[1]，笨办法是：[0]*1000+[1]——待补现在觉得这些语法挺有道理，不知道为什么当时记不住也不愿意记int x;int * p1 = &x; // 指针可以被修改，值也可以被修改const int * .
2021-05-23 01:23:55
366
4
原创 机器学习基础知识拾遗
logits：Odds指的是 事件发生的概率 与 事件不发生的概率 之比。而logit则是 log it。在深度学习之中logits就是输入到softmax之前的数值，本质上反映的也是概率，但不用考虑是否在0-1之间。softmax是归一化一下。参考：https://www.zhihu.com/question/60751553、https://zhuanlan.zhihu.com/p/27188729...
2021-05-15 10:09:14
314
原创 实验中的失败记录及原因
本文与实验中的 代码bug ， python语法备忘 ， C语言语法 同步更新，各有侧重。应当先跑正常版本、基础版本，再跑所谓的自以为的“优化”版本：emnlp大作业中的log linear模型自作聪明加上TF-IDF筛选特征有感。结果低到1/12. ：(...
2021-05-07 08:45:32
467
原创 基础知识-面试准备
机器学习中一般怎么衡量模型效果？auc值怎么理解？https://zhwhong.cn/2017/04/14/ROC-AUC-Precision-Recall-analysis/怎么衡量两个分布的差异？KL散度和交叉熵损失有什么不同？关系是啥？ https://www.zhihu.com/question/39872326/answer/83688277https://zhuanlan.zhihu.com/p/93853664https://blog.csdn.net/Dby_freedom/ar.
2021-04-19 17:42:37
284
原创 C语言 基本语法备忘笔记（持续更新）
三个圆点的第一个用法，是用来表示变参函数的参数列表的，比如：int printf(const char *format, ...);在这里，printf就是一个典型的变参函数，其参数列表的"…"表示0个或者多个参数。除此之外，三个圆点的第二个用法，是用来表达一个取值范围，比如：switch(n){ case 1 ... 9: printf(" small number\n "); break; case 10 ... 100: .
2021-03-21 20:55:58
238
原创 中文查不到然后自己总结的NLP知识
注：用作个人笔记，不保证正确性。有心让中文有更多的博客，但没太有时间整理，希望氛围能越来越好吧！SARI ： 一种文本生成的评价方法，主要从词共现的角度衡量操作，来源于论文：Automatic annotation and evaluation of error types for grammatical error correction.中心思想如图：re-rank 或者 re-score：一种优化生成结果的方法：主要是由于单方向容易受分布偏差的影响，于是训练两个模型：left2right 和
2020-12-14 18:08:23
330
原创 博客链接记录
关于LSTM的原理：http://colah.github.io/posts/2015-08-Understanding-LSTMs/
2020-12-10 11:52:12
207
原创 一些小bug记录
matplotlab 绘图时：f8,=plt.plot(x, result[‘f8’][ff])plt.legend(handles=[f5, f7, f8],labels=[‘f5’, ‘f7’, ‘f8’],loc=‘best’)一开始图例没有显示：需要在f8后面加逗号一开始y坐标没有按顺序排列：需要将y转化为float（之前是字符）...
2020-11-17 19:25:11
738
2
原创 linux 常用命令备忘（持续更新）
命令描述ps -u列出当前进程kill -9 进程号杀死进程nvidia -smi列出GPU使用情况top列出CPU使用情况screen -ls / -r 窗口号 / ctrl A + d/k分别是列出、恢复、挂起、杀死mv/cp a b移动/复制文件，可重命名scp -P 端口号 用户名@地址 用户名@地址传输文件watch -n 秒数 命令重复执行刷新命令find | grep 字符串递归寻找目录下含有字符串的文件名...
2020-11-05 11:16:29
310
原创 无root权限安装fish、cmake、openssl、ncurses等软件
起源于无意间听舍友谈起fish，而且最近不想做正事，于是想安装玩玩。由于服务器上没有root权限，而且各种开发软件和环境都没配好，于是很艰难。
2022-07-22 12:09:41
1213
1
原创 numpy 代表性语句
a = np.array([1,2]) a.size : Number of elements in the array. Equal to np.prod(a.shape), i.e., the product of the array’s dimensions.np.zeros((2,2))np.ones((1,2))c = np.full((2,2), 7) # Create a full of constant arrayd = np.eye(2) # Create a .
2022-04-24 13:58:11
1248
原创 制作学术PPT的注意事项&如何制作模板（附模板下载链接）
被问到答不上来的问题，就说自己不会，下去会找到答案跟您探讨。不要定住，啥也不说，更不要胡乱说个路唇不对马嘴的话。每页slide都使用标题“6×6原则”：每页不超过六个bullet points，每个不超过6个词。最好是三个bullet points以内，相应的字数可以多几个。具体看情况而定，主旨就是字不能多，阅读会影响听。缩略词第一次出现的时候需要定义。一定不要引入超过两个缩写词，听众记不住什么LSC，NEFGR啥的。虽然定义了，但是尽量不太长的就用全称讲出来（slide里可以用缩略词）。数学、物.
2022-04-19 14:55:58
2487
原创 pytorch 深度学习补充
a = torch.ones((4,8)) * 6 b = torch.ones(8) * 4 b[2]=2 a/b # / 必须维度要匹配，除非b是单一元素（会自动扩展）。除以b是会按照b的每个元素分别来除（按位除） [email protected] # 等价于 a.matmul(b.T) # 不会改变 a a.mean(0) x = torch.tensor([2.], requires_grad=True) y = x * x * 4 # 3x^2 y.backw...
2022-04-17 17:14:11
1424
原创 2022 我科研生活中的工作方式
时间记录及分类决定用toggle来记录我的生活，分为：OneLabLifeschool work具体事项分为：看/写论文/代码，复习，作业，整理，反思等记录决定用notion来记录 论文笔记、工作计划、日记、其他笔记读论文：纸质论文：勾画+记在标题的关键词+重要性+反思Zotero：保存论文、注意分类Notion：表格化记笔记、关键的地方工作计划：待办事项分为：科研、学业、生活杂事三栏，长远的DDL专门一页，每天检查。日记：记在每天末尾，每天11点开始写。其他笔记及想法：
2022-01-01 15:25:40
2239
转载 深度学习内存使用和pytorch的一些优化策略
Understanding memory usage in deep learning models trainingShedding some light on the causes behind CUDA out of memory ERROR, and an example on how to reduce by 80% your memory footprint with a few lines of code in PytorchUnderstanding mem...
2021-12-27 23:09:18
1159
原创 连接服务器的vscode在虚拟环境中调试具有命令行参数使用gpu的python代码
值得专门一篇文章，把链接存在乱七八糟小技巧中吧。首先，在run中点击 add configuration。进行编辑，示例如下：{ // Use IntelliSense to learn about possible attributes. // Hover to view descriptions of existing attributes. // For more information, visit: https://go.microsoft.com/fwlink/?li
2021-09-19 10:33:47
374
1
原创 关于服务器的CUDA问题
一直觉得cuda之类的版本很麻烦，这下换了新的服务器于是又要折腾，记录一下以免以后又重新搜索可以用 nvcc --version 来查看版本，看看是否符合要求如果不符合，可以去 /usr/local/cuda 查看有哪些现在的版本（服务器上一般有很多，所以我没自己安装而且自己没有root权限，所以需要下面操作：然后使用软链接，ln -sf 想要版本的路径 自己的位置名称然后更改 .bashrc 文件，添加用户环境变量：export PATH=/usr/local/软链接/bin${PATH:
2021-08-31 14:47:04
1321
原创 远程关闭Linux服务器（解决其他用户正在登录问题）
主要使用 shutdown命令：shutdown now但此时报错：查看who -s，发现有很多用户正在登录中于是：sudo pkill –kill –t pts/x （x是数字）杀死正在登录的用户（：杀光之后，仍然报错（如上图）w也显示无了，不知道为什么于是根据建议：systemctl poweroff -i直接关机。。于是关机了（上述需要管理员权限）...
2021-07-15 10:53:28
1431
1
转载 HMM、CRF、MEMM区别
隐马尔可夫模型（Hidden Markov Model，HMM），最大熵马尔可夫模型（Maximum Entropy Markov Model，MEMM）以及条件随机场（Conditional Random Field，CRF）是序列标注中最常用也是最基本的三个模型。HMM首先出现，MEMM其次，CRF最后。三个算法主要思想如下：1）HMM模型是对转移概率和表现概率直接建模，统计共现概率，HMM就是典型的概率有向图，其就是概率有向图的计算概率方式，只不过概率有向图中的前边节点会有多个节点，而隐马尔可夫.
2021-07-01 17:08:04
650
原创 还在用白皮PPT？几个小技巧教你5min做个有模有样的PPT！
保姆级的PPT教程，细致到每一次点击了（x1. 好看的背景不想套模板又不想做的太白皮PPT是可以一键替换所有背景的，只需要提前找一张淡色的或者黑白灰的图片。例如：操作步骤：设置背景格式 图片填充 选择图片 全部应用现在你所有的页面都是这个背景了~例子：然后如果你找的图片颜色有点重，感觉影响阅读，可以选完图片之后设置透明度例子：第一张透明度60% 第二张0%：这是第一个 关于背景，最直观的改变白皮PPT的样貌2. 巧用容器使用容器，例如圆角矩形 用来盛放文字说白了
2021-07-01 00:02:29
390
4
转载 ACE2005语料库文件格式及内容解析
前提ACE2005语料库是语言数据联盟(LDC)发布的由实体，关系和事件注释组成的各种类型的数据，包括英语，阿拉伯语和中文培训数据，目标是开发自动内容提取技术，支持以文本形式自动处理人类语言。ACE语料解决了五个子任务的识别：entities、values、temporal expressions、relations and events。这些任务要求系统处理文档中的语言数据，然后为每个文档输出有关其中提到或讨论的实体，值，时间表达式，关系和事件的信息。ACE语料库的获取链接：https://cata
2021-06-13 09:17:08
1665
1
原创 我的面经
字节AI lab NLP 算法实习生自我介绍介绍项目。问了模型原理。代码题：0001100100111000，包含三个1的串的数量字节教育部门NLP算法实习生自我介绍算法题：滑动窗口：找到两数之和=target进阶：a+b+c = 0的三元组的数目。（可以转化为2，难点在去重，不知道写对没有（我选择去重后做2，然后多于两个的尝试行不行）项目提问：为什么不用data2text的任务介绍，数据集形式，使用的模型，评价方法，BLEU的不足；纠错模型，bert-fuse，为什么不先标错，poi
2021-05-23 18:08:10
274
转载 灰度、灰度级、分辨率、像素值 概念解析
1、像素点 像素点是最小的图像单元，一张图片由好多的像素点组成。如下图 可以看到上述图片尺寸是500 * 338 的，表示图片是由一个500 * 338的像素点矩阵构成的，这张图片的宽度是500个像素点的长度，高度是338个像素点的长度，共有500 * 338 = 149000个像素点。 2、像素 把鼠标放在一个...
2021-05-09 13:30:14
20113
5
转载 多线程编程之优先级翻转问题
多线程编程之优先级翻转问题一、什么是优先级翻转问题 所谓优先级翻转问题（Priority Inversion）即当一个高优先级任务通过信号量机制访问共享资源时，该信号量已被一低优先级任务占有，而这个低优先级任务在访问共享资源时可能又被其它一些中等优先级任务抢先，因此造成高优先级任务被许多具有较低优先级任务阻塞，实时性难以得到保证。 例如：有优先级为A、B和C三个任务，优先级A>B>C，任务A，B处于挂起状态，等待某一事件发生，任务C正在运行，此时任务C开始使用某一共享资源S。在使用中，任..
2021-04-29 00:58:33
426
原创 关于spring boot 返回json的控制
今天帮一个同学debug，想在spring boot框架下将 controller返回一个 一定规范的json，大致代码如下：package com.example.test.bean;public class ResultJson<T> { private int codes; private String success; private T data; /** * 操作成功 */ public static final Resu
2021-04-10 00:41:18
317
转载 NLG简要调研(data2text+(Abstractive) Summarization)
目录 NLG简介： 典型任务： 文本生成方法 一、Data2text方法 早期方法： 基于NN方法： 基于神经机器翻译（Neural Machine Translation） 基于神经语言模型（Neural Language Model） 二、生成式自动摘要生成(基于NN) 最新模型： 评价指标： 客观评价指标： 主观评价指标： 数据集： 应用： NLG简介： 我们认为NLP = NLU + NLG，NLU-Neural Language Understanding指的自然语言理解，NLG-N.
2021-04-07 09:39:50
806
转载 Data2Text 综述
最近看了很多这方面的论文，尝试做个总结。 早期发展路线 早期的文本生成系统多是基于规则的，Reiter等对规则系统进行了归纳总结【1】，认为文本生成系统可以分为三个较为独立的模块：（1）内容规划（Content planning），即选择描述哪些数据记录或数据域；（2）句子规划（Sentence planning），即决定所选择的数据记录或数据域在句子中的顺序；（3）句子实现（Surface realization），即基于句子规划的结果生成实际的文本。可以认为...
2021-04-07 09:35:10
866
转载 大端法与小端法，记住！
一、什么是字节序 字节序，顾名思义字节的顺序，再多说两句就是大于一个字节类型的数据在内存中的存放顺序(一个字节的数据当然就无需谈顺序的问题了)。 高/低地址： 指的是内存的高、低地址，计算机在内存中存放数据的顺序都是从低地址到高地址 高/低字节：有些文章中称低位字节为最低有效位，高位字节为最高有效位。如果我们有一个32位无符号整型0x12345678，那么高位是什么，低位又是什么呢？ 其实很简单。在十进制中我们都说靠左边的是高位，靠右...
2021-04-05 09:54:45
426
转载 正则化中 L1范数与L2范数的区别
把答案放在前面L0范数是指向量中非0的元素的个数。(L0范数很难优化求解) L1范数是指向量中各个元素绝对值之和L2范数是指向量各元素的平方和然后求平方根 L1范数可以进行特征选择，即让特征的系数变为0.L2范数可以防止过拟合，提升模型的泛化能力，有助于处理 condition number不好下的矩阵(数据变化很小矩阵求解后结果变化很大) （核心：L2对大数，对outlier离群点更敏感！） 下降速度：最小化权值参数L1比L2变化的快 模型空间的限制：L1会产生稀疏 L2不会。 L1会趋向于产生少量的特征
2021-03-22 21:34:16
807
1
转载 source insight 入门教程
前言 “Source Insight（以下简称SI）是世界上最好的编辑器”，说这句话不知道会不会出门被打呢？-_- 中国古话说得好，“文无第一，武无第二”，所以不敢说SI是最好的，但是说是“最好的之一”绝对是妥妥的。它以丰富的语言支持、便捷的功能、快速的源码导航、实时的上下文显示、独立的符号数据库等众多优点，在全世界范围内广受程序员们的欢迎。本文将结合笔者的实际操作和学习，基于SI3.5做一些使用记录。另外，笔者对SI的使用，主要是用于阅读.
2021-03-17 15:30:28
1140
1
转载 远程服务器离线安装vscode及扩展组件
1. 场景 本地（Windows 10）安装了vscode，因为环境、资源等都是在服务器上（Ubuntu），因此想要通过vscode远程连接服务器，实现在本地操作服务器的目标。vscode在2019年对上述目标的支持已经很完（sha）善（gua）了，只需要安装几个和Remote相关的扩展插件（Extensions）就可以了，可以通过图形界面一键安装，这里不再赘述了，我在前期使用的时候也很顺畅。 后来远程服务器网络出现了一些问题，可以正常本地建立连接，但在使用一些常见的更新管道（pip，wget，ap
2021-03-14 16:08:10
5322
3
转载 GPU 显存不足的讨论（有用转载）
前言 最近跑的模型都比较大，尤其是Bert， 这真的是难为我 1080ti 了， 在Bert的Example中，官方提供了一些 Trick 来帮助我们加速训练，很良心， 但感觉还不够，于是花费一些时间整理出一个 Trick 集合，来帮助我们在显存不足的时候来嘿嘿嘿。 本文分为两大部分，第一部分引入一个主题：如何估计模型所需显存， 第二个主题：GPU显存不足时的各种 Trick 。 监控 GPU 监控GPU最常用的当然是 nvidia-smi ，但...
2021-03-12 13:31:16
635
2
原创 jupyter使用技巧
本文包括如下内容快捷键魔法命令扩展主题设置制作slides小工具其他技巧补充：使用sublime快捷键+自定义快捷键基于windows10操作系统。快捷键快捷键规律对文本进行操作的快捷键都是Ctrl Shift Alt等，比如Ctrl + C/V/X/Z/A对Cell（即jupyter中的单元格）进行操作的快捷键都是Esc，比如Esc + C/V//X/Z。还有一个差别在于，用Ctrl必须和字母同时按下生效，而Esc可以先按，再按字母。最常用快捷键Esc + A/B 在上/下方添加Cell
2021-02-08 15:57:28
1710
转载 YAML 语言教程
编程免不了要写配置文件，怎么写配置也是一门学问。YAML 是专门用来写配置文件的语言，非常简洁和强大，远比 JSON 格式方便。本文介绍 YAML 的语法，以 JS-YAML 的实现为例。你可以去在线 Demo 验证下面的例子。一、简介YAML 语言（发音 /ˈjæməl/ ）的设计目标，就是方便人类读写。它实质上是一种通用的数据串行化格式。它的基本语法规则如下。 大小写敏感使用缩进表示层级关系缩进时不允许使用Tab键，只允许使用空格。缩进的空格数目不重要，只要相同层级的元素左侧对
2021-02-01 09:28:04
224
转载 二维码的生成细节和原理
<p>二维码又称QR Code，QR全称Quick Response，是一个近几年来移动设备上超流行的一种编码方式，它比传统的Bar Code条形码能存更多的信息，也能表示更多的数据类型：比如：字符，数字，日文，中文等等。这两天学习了一下二维码图片生成的相关细节，觉得这个玩意就是一个密码算法，在此写一这篇文章 ，揭露一下。供好学的人一同学习之。</p>关于QR Code Specification，可参看这个PDF：http://raidenii.net/files/da...
2021-01-29 09:49:59
171
转载 [DL笔记] Attention机制
本文主要对Attention机制进行了简单的介绍。1. 介绍（1）人脑对信息的过滤其实就是一种注意力机制。注意力机制一般分为两种：聚焦式（Focus）注意力：是一种自上而下的有意识的注意力；显著性（Saliency-Based）注意力：是一种自下而上的无意识的注意力。（2）目前的神经网络中，可以将 池化（max pooling）、门控（Gating） 近似看作是自下而上的基于显著性的注意力机制；而接下来描述的则是自上而下的聚焦式注意力机制。（3）注意力分布： 为了从个输入向量中选择出和某个特定任务相关的信息
2021-01-27 12:38:18
588
转载 numpy不同阶数张量相加问题(broadcast)
设有 阶张量 , 阶张量 。如果 和 的最后 个维度相等。且其中一个张量,不妨设为 ,的前 个都等于1或者 。则这两个张量可以进行有效的相加。就好比一个低阶的张量加到高阶的张量的每个元素上去。最典型的有样本数据的去中心化操作， 。 是数据向量(1阶张量),而 则是标量(0阶张量)，是一个更高阶张量的每个元素减去低阶张量的操作，而每个元素需要与低阶张量有相同的形状(shape)。而最终相加后的到的张量的阶数是相对高阶张量的阶数。例子：import numpy as np2阶张量+3阶
2021-01-21 22:31:11
563
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人