lucas-nlp-CSDN博客

原创修改docker默认存储路径

默认情况下，docker镜像的默认存储路径是/var/lib/docker，这相当于直接挂载系统目录下，而一般在搭系统时，这个区都不会太大，所以如果长期使用docker开发应用，就需要把默认的路径更改到需要路径下或外挂存储。1、查看docker镜像的默认路径，找到Docker Root属性处# docker info Docker Root Dir: /var/lib/docker 2、为了解决这个问题, 计划将docker的默认存储路径从/var/lib/docker中...

2022-01-26 13:01:26 5090 4

转载 Pytorch模型保存与加载

pytorch保存模型非常简单，主要有两种方法：只保存参数；（官方推荐）保存整个模型 (结构+参数)。由于保存整个模型将耗费大量的存储，故官方推荐只保存参数，然后在建好模型的基础上加载。本文介绍两种方法，但只就第一种方法进行举例详解。一、只保存参数1.保存一般地，采用一条语句即可保存参数：torch.save(model.state_dict(), path)其中model指定义的模型实例变量，如 model=vgg16( ), path是保存参数的路径，如 path=

2022-01-18 10:27:15 770

原创 python numpy.arry, pytorch.Tensor及原生python中list相互转换

1 原生python list转numpy listmy_list = np.ndarray(my_list)2 numpy.array 转原生listmy_list = my_list.tolist()3 numpy.array转torch.Tensormy_list = torch.from_numpy(my_list)4 torch.Tensor转numpy.arraymy_list = my_list.numpy() # cpumy_list = my..

2022-01-17 14:15:46 934

转载转载-BERT源码详解（一）——HuggingFace Transformers源码解

众所周知，BERT模型自2018年问世起就各种屠榜，开启了NLP领域预训练+微调的范式。到现在，BERT的相关衍生模型层出不穷（XL-Net、RoBERTa、ALBERT、ELECTRA、ERNIE等），要理解它们可以先从BERT这个始祖入手。HuggingFace是一家总部位于纽约的聊天机器人初创服务商，很早就捕捉到BERT大潮流的信号并着手实现基于pytorch的BERT模型。这一项目最初名为pytorch-pretrained-bert，在复现了原始效果的同时，提供了易用的方法以方便在这一强大模型

2022-01-02 22:21:59 1367

转载 2021-09-26

1.1 list 转 numpyndarray = np.array(list)1.2 numpy 转 listlist = ndarray.tolist()2.1 list 转 torch.Tensortensor=torch.Tensor(list)2.2 torch.Tensor 转 list先转numpy，后转listlist = tensor.numpy().tolist()3.1 torch.Tensor 转 numpyndarray =

2021-09-26 23:11:26 407

转载 Python对json文件进行操作

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于ECMAScript的一个子集。 JSON采用完全独立于语言的文本格式，但是也使用了类似于C语言家族的习惯(包括C、C++、Java、JavaScript、Perl、Python等)。这些特性使JSON成为理想的数据交换语言。易于人阅读和编写，同时也易于机器解析和生成(一般用于提升网络传输速率)。JSON在python中分别由list和dict组成。这是用于序列化的两个模块：json: 用于字符串

2021-09-25 23:59:12 367

原创 ERROR: Could not install packages due to an OSError: [Errno 13] Permission denied: pip安装权限问题

1、问题描述：在使用pip安装transformers时，报如下错误：pip install transformersERROR: Could not install packages due to an OSError: [Errno 13] Permission denied: '/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/PyYAML-3.12-py3.6.egg-info/P

2021-09-23 16:04:04 2410

原创 ORA-01653: 表 LUCAS.Books 无法通过 8192 (在表空间 USERS 中) 扩展

一：首先，我们先做个准备工作，弄清楚我们数据库几个对应关系信息：用户-表空间，表空间和数据文件关系1. 我们查看我们用户和表空间之间的关系信息：select username,default_tablespace from dba_users;2.查看表空间的详细数据文件和自增长等信息：SELECT T.TABLESPACE_NAME,D.FILE_NAME,D.AUTOEXTENSIBLE,D.BYTES,D.MAXBYTES,D.STATUS FROM DBA_TABL...

2021-05-22 22:43:20 654

原创 ORA-00604: 递归 SQL 级别 1 出现错误 ORA-01000: 超出打开游标的最大数

可以连接oracle进入sql命令行界面，用如下命令进行查询和修改即可。SQL> show parameter open_cursors;NAME TYPE VALUE------------------------------------ ----------- ------------------------------open_cursors integer 300SQL> alter s...

2021-05-22 17:45:57 1782

转载 ORA-00257: archiver error. Connect internal only, until freed——解决

参考http://www.2cto.com/database/201109/104615.html，https://www.cnblogs.com/lanzi/p/3301729.html开启归档后，操作一个大表迁移表空间，执行了1个多小时没完成就手动给中断了，但是再次用plsql登陆时提示“ORA-00257: archiver error. Connect internal only, until freed”，原来是日志满了，根据上述网址提供的步骤操作后就可以，即删除部分归档日志。1.首先查看

2021-05-15 23:36:57 3054

转载 oracle出现问题无法启动：ORA-01034: ORACLE not available ORA-27101: shared memory realm does not exist

我是在导入数据库时候，数据太大，结果网突然断了，导致数据库导入进程卡住了，我就强行关闭进程，最后连接时出现了该问题：ORA-01034: ORACLE not available ORA-27101: shared memory realm does not exist。我也尝试找了很多网上的博文一步一步操作，可是就是不行，最终通过如下方法一成功解决：首先打开注册表，win+R运行regedit然后HKEY_LOCAL_MACHINE\SOFTWARE\ORACLE\KEY_OraD..

2021-05-15 22:14:54 3353

原创 python连接redis并存储和查询

python与redis数据之间转化有两种形式：一：利用pickle模块：# lucas210303操作redis testimport pickle as pkimport redis# 连接redispool = redis.ConnectionPool(host='localhost', port=6379, db=0)red = redis.StrictRedis(connection_pool=pool)mydict = {1: 2, 2: 3, 3: 4}p_mydic

2021-03-03 17:18:32 751 1

转载按照cite顺序自动排序文献编号，用\bibliographystyle{unsrt}

按照cite顺序自动排序文献编号，用\bibliographystyle{unsrt}其他几种如下[转]：通过设置 bibliographystyle 就可以达到上述目的，Bibtex 自身已具备排序的功能，而且可以选择自己想要的排序方式。Bibtex 已自带有 8 种样式，分别如下（下面内容摘自 LaTeX 编辑部）：1. plain，按字母的顺序排列，比较次序为作者、年度和标题2. unsrt，样式同plain，只是按照引用的先后排序3. alpha，用作者名首字母+年份后两位作标号.

2021-01-17 14:41:08 3136

转载 Macbook删除文件但是Trash垃圾桶废纸篓中没有显示？

If the files you're deleting are on a hard drive connected to your Mac, and you're getting a message saying something about the files being deleted immediately, you have a problem with your trash folder. The quickest fix is to open the Terminal and paste t

2020-10-20 23:37:52 1881

转载安装使用NVIDIA-Docker--使用GPU的Docker容器

nvidia-docker是一个可以使用GPU的docker，nvidia-docker是在docker上做了一层封装，通过nvidia-docker-plugin，然后调用到docker上，其最终实现的还是在docker的启动命令上携带一些必要的参数。因此在安装nvidia-docker之前，还是需要安装docker的。docker一般都是使用基于CPU的应用，而如果是GPU的话，就需要安装特有的硬件环境，比如需要安装nvidia driver。所以docker容器并不直接支持Nvidia GPU。为

2020-10-04 20:27:21 1037

转载梯度下降（Gradient Descent）小结

在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1. 梯度　　　　在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x,∂f/∂y)T,简称grad f(x,y)或者▽f(x,y)。对于在点(x0,y0)的具体梯度向量就是(∂f/∂x0,∂f/∂..

2020-09-21 15:03:19 5887

转载最小二乘法小结

最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。1.最小二乘法的原理与要解决的问题　　　　　最小二乘法是由勒让德在19世纪发现的，原理的一般形式很简单，当然发现的过程是非常艰难的。形式如下式：目标函数=∑（观测值−理论值）2目标函数=∑（观测值−理论值）2　　　　观测值就是我们的多组样本，理论值就是我们的假设拟合函数。目标函数也就是在机器学习中常说的损失函数，我们的目标是得到使目标函数最小化时

2020-09-21 14:58:47 1397

转载推荐算法之贝叶斯个性化排序 BPR

就像哲学有不同的流派一样，推荐系统的算法设计思路也可以分为不同的流派。排序学习恰恰就是其中的一种流派。熟悉 RecSys 等推荐系统国际会议的从业者可能会发现，自 2010 年以后的若干年内，陆续出现了许多基于排序学习的推荐系统算法。从 Bayesian Personalized Ranking (BPR) 到后续的 Collaborative Less is More Filtering (CLiMF) 以及 GapFM 和 XCLiMF 等算法，在推荐系统领域出现了百家争鸣，百花齐放的局面。今天主要学习

2020-09-08 09:43:56 2401

原创 Tensorflow CUDA gpu对应版本大全，更新于2020年8月

背景问题：在使用服务器cuda和tensorflow的时候，总是有版本不兼容问题，网上查了好多都没有更新，现在tensorflow官网官方测试源码编译版本总结更新下：（来源：https://www.tensorflow.org/install/source）版本对应详情：...

2020-08-12 15:18:35 2718

原创 python中将我们自己程序的一个二维的list按照某一列数据进行排序

假设本程序使用的二维list数据如下：a=[[1,"bosh"],[7,"lucas"],[3,"wade"],[4,"james"],[23,"davis"]]1.目标需要按照a中子元素中的第一列数值排序（降序）：a.sort(lambda x, y: cmp(x[0],y[0]), reverse=True) 排序后的结果：[[23, 'davis'], [7, 'lucas'], [4, 'james'], [3, 'wade'], [1, 'bosh']]2.如果需..

2020-07-31 10:42:39 5000 5

转载 Python中的json操作

1.什么是Json?JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它是JavaScript的子集，易于人阅读和编写。前端和后端进行数据交互，其实就是JS和Python进行数据交互JSON注意事项：（1）名称必须用双引号（即：””）来包括（2）值可以是双引号包括的字符串、数字、true、false、null、JavaScript数组，或子...

2019-06-18 15:13:04 273 1

转载 html之间数据传输方式

一. 通过cookie方式1. 传递cookie页面的html,此处命名为a.html请输入用户名和密码：<input id="userName" type="text" /><input id="passwords" type="password" /><button id="btn">设置</button><button onc...

2019-05-20 18:56:56 4786

转载 BootStrapTable获取选中数据值并传参至父页面

BootStrapTable获取选中数据值并传参至父页面如何实现以下效果呢？首先，我们先要了解一下BootStrapTable如何获取选中数据的具体值。如下图所示，怎样选择任意一行，获取其中的数据一、首先想要选择任意一行，就得必须先有选择框，选择框是BootStrapTable自带的： 1 $('#exampleTable1').bootstrapTable( ...

2019-05-20 15:48:47 3310

转载 GET和POST两种基本请求方法的区别别人写的，太好了转载

GET和POST是HTTP请求的两种基本方法，要说它们的区别，接触过WEB开发的人都能说出一二。最直观的区别就是GET把参数包含在URL中，POST通过request body传递参数。你可能自己写过无数个GET和POST请求，或者已经看过很多权威网站总结出的他们的区别，你非常清楚知道什么时候该用什么。当你在面试中被问到这个问题，你的内心充满了自信和喜悦。...

2019-05-19 21:56:30 164

转载按钮点击事件绑定响应函数

例子：给按钮添加绑定事件：<button type="submit" id="btn">btn</button>第一种:$("#btn").click(function(event){第二种:document.getElementById('#foo').addEventListener('click', function() {});第三种:ht...

2019-05-14 16:55:23 5385

转载前端之bootstrap模态框

　　简介：模态框（Modal）是覆盖在父窗体上的子窗体。通常，目的是显示来自一个单独的源的内容，可以在不离开父窗体的情况下有一些互动。子窗体可提供信息、交互等。Modal简介 Modal实现弹出表单 Modal实现删除提示框其他用法Bootstrap模态框（Modal）插件模态框（Modal）是覆盖在父窗体上的子窗体。通常，目的是显示来自一个单独的源的内容，可以在不离开父窗体的...

2019-05-14 13:42:57 483

原创 centos配置网络时候内网都能ping通，外网就是ping不通，应该是DNS问题

服务器配置网络，在配置linux网络时候，可以ping通局域网，ping DNS时提示： connect: network is unreachable1：检查DNS配置信息是否正确；2：这条命令就可以搞定：route add defaultgw192.168.1.1...

2019-05-13 18:11:25 1750

原创 mysql中有时候需要模糊查找多个关键字，而使用name like时候无法匹配多个，可以使用regexp

select * from book where book_nameregexp ‘123|456|354’;#匹配任意一个字符串正则表达式查询select * from book where book_nameregexp ‘^php’; 字符串开头regexp ‘php$’; 字符串结尾regexp ‘p.’; #匹配任意一个字符regexp ‘[abc]’; ...

2019-05-13 15:37:59 4570 2

转载使用 Bootstrap Typeahead 组件

Bootstrap 中的 Typeahead 组件就是通常所说的自动完成 AutoComplete，功能很强大，但是，使用上并不太方便。这里我们将介绍一下这个组件的使用。第一，简单使用首先，最简单的使用方式，就是直接在标记中声明，通过data-provide="typeahead"　来声明这是一个 typeahead 组件，通过data-source=来提供数据。当然了，你还必须...

2019-05-12 21:25:31 185

转载 linux修改path方法汇总

查看PATH：echo $PATH以添加mongodb server为列修改方法一：export PATH=/usr/local/mongodb/bin:$PATH//配置完后可以通过echo $PATH查看配置结果。生效方法：立即生效有效期限：临时改变，只能在当前的终端窗口中有效，当前窗口关闭后就会恢复原有的path配置用户局限：仅对当前用户修改方法二：通过修改.bas...

2019-04-03 13:08:59 226

转载 Oracle用户密码过期和用户被锁解决方法

【原因/触发因素】确定是由于Oracle11g中默认在default概要文件中设置了“PASSWORD_LIFE_TIME=180天”所导致。【影响和风险】影响密码过期后，业务进程连接数据库异常，影响业务使用。问题发生频率数据库密码过期后，业务进程一旦重启会提示连接失败。【解决方案】按照如下步骤进行操作：1、查看用户的proifle是哪个，一般是defau...

2019-04-03 09:03:14 247

转载机器人领域的国际会议介绍

机器人领域的顶级国际会议有2个： 1. ICRA 全称是 International Conference on Robotics and Automation。机器人方向的都可以投，投稿日期是每年的4~5月左右。在ICRA上发表的文章有的会以扩充的方式随后出现在一些顶级期刊上，比如TRO和IJRR，可见文章的分量。不容易中，录用率很低，不过我也在上面见到过一些垃圾...

2019-01-06 16:48:29 3532

转载前端菜鸟------了解BootStrap的文件及作用

bootstrap.css bootstrap.min.css bootstrap-responsive.css bootstrap-responsive.min.css bootstrap.js bootstrap.min.jsbootstrap.css 是完整的bootstrap样式表，未经压缩过的，可供开发的时候进行调试用。 bootstrap.min.css 是经过压缩后...

2018-12-23 23:08:16 3759

转载 char、varchar、nchar、nvarchar的区别(MSSQL)

对于程序中的string型字段，SQLServer中有char、varchar、nchar、nvarchar四种类型来对应（暂时不考虑text和ntext），开建立数据库中，对这四种类型往往比较模糊，这里做一下对比。定长或变长所谓定长就是长度固定的，当输入的数据长度没有达到指定的长度时将自动以英文空格在其后面填充，使长度达到相应的长度；有var前缀的，表示是实际存储空间是变长的，比如var...

2018-11-22 19:35:51 146

转载 windows U盘安装

在计算机普及的今天，我们时常会遇到需要重装系统的时候，这里就给大家罗列一下安装操作系统的主要的几种方法，并且教会大家如何简便的用U盘安装系统。自己动手，丰衣足食。以下是安装系统的主要方式，有三种，分别是U盘安装、硬盘安装和光盘安装。U盘安装还分为两种，第一种是U盘作为启动盘安装系统，第二种是做一个PE系统，进入PE安装。我这里推荐第一种方式，因为比较纯净。第二种方式是用ghost镜像文件安装，...

2018-10-19 12:54:08 163

转载 Mac Cornerstone详细使用说明，图文教程

1、首先打开Cornerstone2、然后如下图所⽰示:3、选择对应的仓库,如下图所⽰示4、然后Import完成之后,就把本地的⽂文件提交到SVN服务器上了,如下图所⽰示,另外如果你想要使⽤用SVN进⾏行版本控制的话,那么需要把服务器上的⽂文件Check Out到本地,这样的话本地Check Out下来的⽂文件就和服务器上对应的⽂文件建⽴立了关联,这样本地⽂文件再更...

2018-09-26 12:39:49 11636 1

转载向量的相似性度量

距离计算方法总结　　在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。　　本文的目的就是对常用的相似性度量作一个总结。本文目录：1. 欧氏距离2. 曼哈顿距离3. 切比雪夫距离4. 闵可夫斯基距离5...

2018-09-19 15:13:49 477

原创使用sklearn--Random Forest参数说明，随机森林调参数

使用sklearn--Random Forest参数说明（待补充）资料来源：http://www.cnblogs.com/jasonfreak/p/5657196.html 　　　　　　　　ps：他/她写的好好　　　　《机器学习》周志华：第二章偏差与方差，第八章0. 前言sklearn提供了sklearn.ensemble库，其中包括随机森林模型(分类)。但之前使用这个...

2018-09-19 10:47:37 6586

原创通过python 读MATLAB数据文件 *.mat

背景在做deeplearning过程中，使用caffe的框架，一般使用matlab来处理图片（matlab处理图片相对简单，高效），用python来生成需要的lmdb文件以及做test产生结果。所以某些matlab从图片处理得到的label信息都会以.mat文件供python读取，同时也python产生的结果信息也需要matlab来做进一步的处理（当然也可以使用txt，不嫌麻烦自己处理结构信息...

2018-09-15 15:57:38 4874 1

原创 ECDSA host key for 。。。 has changed and you have requested strict checking.Host key verification fail

错误详情：解决方案：在终端上输入以下命令：ssh-keygen -R "你的远程服务器ip地址" 目的是清除你当前机器里关于你的远程服务器的缓存和公钥信息，注意是大写的字母“R”。...

2018-09-05 09:17:11 9939 4

conll2000 conll2002 conll2003 conll2007 conll2012

空空如也