- 博客(31)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 linux系统awk命令批量删除文件以及文件夹
Linux系统：1、awk 以特殊字符分割字符串awk -F '分隔符' '{shell程序}'linux 目录文件[devuser@argo-ai-10_2_33_7 outputs]$ ll | awk -F ' ' '{if($8<"13:00"){cmd="rm -r "$9;print $cmd }} ' total 0drwxrwxr-x 2 zywang zywang 215 Nov 9 11:20 checkpoint-11250-epoch-9drwxrwxr-
2021-11-09 14:56:45
1845
原创 anaconda3 快速在无法连接外网的服务器上安装需要的环境
anaconda3 快速在无法连接外网的服务器上安装需要的环境一、实现过程1、在可连接外网的服务器上创建一个虚拟环境将自己需要的python包安装完成2、下载conda-pack环境打包工具3、将虚拟环境打包，将虚拟环境和Anaconda3-2020.11-Linux-x86_64.sh文件拷贝到离线服务器上4、安装Anaconda,并将虚拟环境移植到离线服务器上anaconda/env/目录下5、解压环境压缩包，并激活环境二、执行过程1、在有网服务器上安装conda-pack sou
2021-09-08 16:11:59
2434
原创 正则中的特殊符号的含义
去除英文括号以及括号里边的内容， 这里需要注意的是括号是英文括号在正则中有特殊的含义，需要我们转义使用，例子如下：import resentence = '(润吧)代餐奶昔(草莓味)'# 第一种方法new_sentence = re.sub('\(.*?\)', '', sentence)# 第二种方法new_sentence = re.sub('\([^\)]*\)', '', sentence)结果如下：'代餐奶昔'...
2020-07-15 10:08:43
187
原创 lxml数据解析小技巧； element对象转化成str, 并使用正则替换HTML标签， 保留内容
功能： element对象转化成str, 并使用正则替换HTML标签， 保留内容def string_process(element): string = etree.tostring(element, encoding='utf-8').strip().decode('utf-8') return re.sub('<[^>]*>', '', string).strip()
2020-07-13 17:21:20
2696
原创 python graphviz 安装以及中文乱码问题
一、graphviz安装下载地址： https://graphviz.org/_pages/Download/Download_windows.html这上边有两种文件，两种都可以使用， 只不过 .msi这个文件是软件，可直接双击安装，tar.gz可直接解压，自己去环境变量中配置测试命令： dot -version这样算是成功了， 然后进入Anconda promat中pip install graphviz,之后在python的base环境中可以正常使用， 但是在虚拟环境中还是不能正常使用，
2020-07-01 16:12:37
1323
原创 word2vec的应用： 模型的训练和两种格式的模型文件的加载
以下是我训练word2vec中的代码，主要包括：1、模型数据的生成，2、模型训练，两种训练方式（1）处理成这样的格式：二维列表，外边的列表将所有的句子token， 里边每个列表是一个句子的token(过滤掉停用词的词列表)[[w1, w2], [w1,w2]] #vocab就是上述的二维列表 model = word2vec.Word2Vec(vocab, size=200, window=5, min_count=3, workers=2)第二种：和上边同样的处理，只是将所有句子的tok
2020-06-23 15:57:48
1231
原创 gensim|pkuseg|numpy的安装
gensim、pkuseg、numpy、smart-open安装的依赖关系@TOCpython3.7.6此次我在python3.7.6的环境下安装gensim和pkuseg的过程中出现了问题这是第一个问题，我卸载重装之后pkuseg的问题解决了，但是又出现了新的问题，这个问题是关于gensim的问题，这里有牵扯出了smart-ope这么一个问题，我现在的解决方法就是这三个包使用‘’’pythonpip uninstall package_name‘’’卸载掉这三个包，在使用‘’’
2020-06-11 11:28:57
948
原创 SVR 测试数据的预测值都是一个值 解决方案
一、对数据进行预测，我们使用了多种方法之后，SVR的效果居然破天荒的比GBDT这类擅长于回归预测的模型还要好，后来就使用训练好的SVR模型对测试数据进行了预测，此时出现了一个意外的状况本来刚开始的时候我认为是SMILES向量转化的问题，后来就单一测试，发现向量转化出来的不是一样的，更加奇怪了二、解决方案：第一：自变量的归一化，一般的归一化方法即可，限制到-1到1或者0到1之间都行；第二，...
2020-04-23 15:36:55
6569
原创 图解seq2seq
一、seq2seq是一中端对端。序列到序列的模型，常用于机器翻译、自动问答等领域，接下来我们来分析下该算法的逻辑原理二、图解我们从零到无来理解下：（encoder和decoder这里我们都用lstm）首先这里我先盘点下算是已知的信息（以翻译场景为例：A语言-B语言）：1、待翻译的句子对应的词向量：A语言句子中各个词的词向量2、翻译结果句子对应的词向量： B语言句子中各词的词向量已知的...
2020-03-26 10:59:29
352
原创 word2vec通俗讲述
一、背景1、文本向量化的最初方法（one_hot）[“male”, “female”][“from Europe”, “from US”, “from Asia”][“uses Firefox”, “uses Chrome”, “uses Safari”, “uses Internet Explorer”] 将它换成独热编码后，应该是： feature1=[01,10] featur...
2020-03-24 22:39:06
122
原创 mac系统 mysql安装之后初始密码的设置
一、进入mysql官网下载mysql二、下载之后，进入系统偏好设置，此刻点击stop mysql server，三、进入终端：1、编辑系统配置文件vim ~/.bash_profilePATH=$PATH:/usr/local/mysql/binsource ~/.bash_profile2、cd /usr/local/mysql/binsudo su./mysqld_sa...
2020-02-24 10:45:44
726
原创 python web开发框架
一、简述HTTP: 无状态，短连接（链接之后自动断开）TCP： 链接之后除非设定关闭，否则不断开web(应用)：浏览器： （socket客户端）访问的网址： （socket服务端）程序流程：1、 客户端输入网址（ip:port), 访问网址 链接服务端并发送请求2、 服务端监听自己的ip和port，监听到之后，就可以接收到客户端发来的请求， 并给于响应， 响应之后断开链接3、客...
2020-02-09 20:45:40
888
原创 在某个长的字符串中查找某个子串出现的位置
使用re模块，代码如下：e1_location = [(i.start(), i.end())for i in re.finditer("<e1>", sentence)]这个是实现在某个字符串中某个子串出现的所有的位置，是一个位置列表，列表中是多个元组，该子串在字符串中出现次数和该列表的长度相同，二元组是对应的初始位置和结束位置location = []for i in ...
2019-09-16 17:11:10
1343
原创 spring booot "hello world"之后对spring boot的了解
一、POM文件<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>1.5.9.RELEASE</...
2019-09-02 13:43:08
124
原创 spring boot 编写的第一个spring boot程序
一、 下载安装maven， 第一步创建一个maven可以参照该网址，https://blog.csdn.net/dearKundy/article/details/80291275下载的时候有两种包，一种是原包， 后缀为source， 另一种是二进制的编译文件，后缀为bin， 我们直接下载bin文件，之后再配置文件中进行配置export MAVEN_HOME=/Users/mashunda/...
2019-09-01 22:04:08
196
原创 linux命令中的常用统计
1.对文件中的某个字段进行去重awk '!x[$0]++' quchong_test.txt2.现在以下面的两个文件作为测试文件，首先查看文件中是否出现某个字段重复的命令这是两个测试文件中的内容：查看每个文件中的重复数据：(-d 这个参数是将我们文件中重复的数据找到)cat quchong_test.txt| sort | uniq -d查看除去重复数据（包含本身和相同的）...
2019-07-26 17:38:11
267
转载 zip压缩命令操作
转载：https://blog.csdn.net/yangfengjueqi/article/details/828427061、把/home目录下面的mydata目录压缩为mydata.zip zip -r mydata.zip mydata #压缩mydata目录 2、把/home目录下面的mydata.zip解压到mydatabak目录里面 unzip mydata.zip -...
2019-07-12 10:57:29
442
原创 awk 命令入门
awk命令：“优秀文章链接：转载地址：http://www.zsythink.net/archives/tag/awk/”一、awk命令格式1.awk [options] 'command' filesawk [options] 'pattern{command}' filescommand 由两部分组成，分别是1、pattern，可以是正则表达式或者逻辑判断式2、{ awk 命令 ...
2019-07-09 11:53:45
309
原创 linux常用命令大全
一、vim命令 1.跳到文本的最后一行：按“G”,即“shift+g” 2.跳到最后一行的最后一个字符 ： 先重复1的操作即按“G”，之后按“$”键，即“shift+4”。 3.跳到第一行的第一个字符：先按两次“g”， 4.跳转到当前行的第一个字符：在当前行按“0”。 5.vi加密。进入vi，输入":" + "X" 之后就提示你输入两次密码。 6.文件重新载入 :...
2019-06-27 17:07:32
86
原创 python 文件读写以及json封装解析中出现了编码错误的解决方案
json格式：简单来说就是我们使用list将许多的dict类型的数据存起来，就是json格式for examp：[dict1, dict2, dict3, dict4, dict5]我们平时编写程序的时候正常的编程方式： with open(classified_file, 'r', encoding='utf-8') as f, open(keyword_label_info, 'w...
2019-06-06 20:00:26
1111
1
原创 逻辑回归
逻辑回归代价函数梯度下降推导公式https://blog.csdn.net/ligang_csdn/article/details/53838743参考文献：https://blog.csdn.net/sinat_22840937/article/details/785024511.简介：(1)逻辑回归是一种描述数字电路特点的工具，输出量是高，低电平，可以用二元常量（0,1）来表示。（...
2019-05-21 15:14:47
134
原创 linux 常用命令
1.查询某个文件夹内以某个后缀结尾的文件，并统计该后缀文件的文件个数find dir(目录) -name “.xml”上边命令解析：dir: 我们要查找的文件夹目录“.xml”:引号里边是后缀名称并进行统计：find dir -name ‘.xml’ | wc -l (统计dir下所有后缀为.xml的文件个数)...
2019-05-17 15:10:55
81
原创 linux服务器 查看内存的大小以及程序运行时，关注的内存防止内存报警
使用free -m/ free -g命令查看内存的大小这是这两个命令查看的时候出现的结果图：Mem： 这一行表示的内存使用情况总揽表total = used + free + buff/cacheused代表的是已经被使用的，free代表的是空闲的内存大小buff/cache 代表的是缓存的内存数我们需要关注的是buff/cache这个内存的值，这个内存越大，则说明现在越有可能内存...
2019-05-16 11:43:41
2526
转载 nohup命令操作
参照此链接：https://www.cnblogs.com/zq-inlook/p/3577003.html带&的命令行，即使terminal（终端）关闭，或者电脑死机程序依然运行（前提是你把程序递交到服务器上)；2>&1的意思 这个意思是把标准错误（2）重定向到标准输出中（1），而标准输出又导入文件output里面，所以结果是标准错误和标准输出都导入文件o...
2019-05-15 19:44:06
171
原创 centos服务器上配置anaconda，并且配置jupyter远程控制，编写程序
在shell运行jupyter --paths查看.jupyter目录下是否有jupyter_notebook_config.py如果没有，shell运行jupyter notebook --generate-config生成jupyter_notebook_config.py然后vim jupyter_notebook_config.py修改#c.NotebookApp.b...
2019-05-14 10:16:59
664
原创 linux、window中的pattern安装，和使用过程我遇到过的问题
安装pattern遇到的第一个问题：1、无法找到mysql_config文件配置：解决方案：https://blog.csdn.net/feilzhang/article/details/80788190（这个是转自）这个网址很有可能帮到你，就是需要下载mysqlclient，2、安装pattern在使用的时候也会遇到的问题：zipfileerror：这个错误是关于nltk下载一些语料所遇...
2019-05-11 16:07:36
1070
转载 安装配置oss linux
安装oss工具快速配置oss1.专门新建一个目录，安装oss工具,并修改权限#下面这条命令中zhaodachuan要结合自己名字修改$cd ~/zhaodachuan/$mkdir env_path$cd env_path$wget http://gosspublic.alicdn.com/ossutil/1.5.0/ossutil64$chmod 755 ossutil64#2...
2019-05-11 14:13:28
3088
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人