- 博客(126)
- 收藏
- 关注
RSS订阅原创 迁移conda环境后，非root用户执行pip命令和jupyter命令报错/bad interpreter: Permission denied
原因是当前的这个data/home/用户名/anaconda3/envs/环境名/bin/python 地址与实际地址不对，多数是用户名不一样的原因，所以我们只需要修改成实际的pip用户名就可以了。
2023-10-19 14:50:24
1346
原创 已解决 Building wheel for flash-attn (setup.py) ... error error: subprocess-exited-with-error ×
Building wheel for flash-attn (setup.py) ... error error: subprocess-exited-with-error × python setup.py bdist_wheel did not run successfully. │ exit code: 1 ╰─> [9 lines of output] fatal: not a git repository (or any of the parent directo
2023-10-13 10:15:13
2754
3
原创 解决问题TypeError: issubclass() arg 1 must be a class
这是由python中的后端包之一的兼容性问题引起的问题，包“pydantic”执行下面命令可以解决。
2023-07-17 15:40:53
7814
6
原创 linux 离线安装包
安装，然后观看该软件对应的版本号。然后再到上面两个网址中下载相应版本号的.deb包。一定要注意版本号，不然的话，可能会因为需要的依赖环境不符合等原因导致安装失败。sudo cp -r /var/cache/apt/archives/* /需要复制到的目录。如 sudo apt-get -d install iputils-ping。安装包会下载到 /var/cache/apt/archives/我们设备有网的时候，可以先使用。将安装包复制到需要的目录下取出。的方式离线安装对应软件包。
2023-07-12 15:01:56
1571
原创 jupyter 中直接安装相应的包
pip 可以在所有环境下安装python包。conda 可以在conda环境下安装所有包。如果你已经安装了python，那么这个选择对你来说是非常容易的如果你是用Anaconda或者Miniconda安装的python，那么请使用conda命令来安装python包。如果conda告诉你你要下载的这个包不存在，那么使用pip(或者试试 conda-forge, 它比conda默认的包的数量要更多)。如果你是使用其他方式安装的python，那么使用pip来安装python包。
2022-09-02 16:08:15
4790
1
原创 查看自己电脑连接过的WiFi密码
1、首先打开我们的命令行窗口2、在弹出的黑窗口中输入一下命令、查看电脑连接过的WiFi名称。结果3、输入一下命令查看密码结果 红色方框圈出来的就是对应得WiFi密码了
2022-07-01 15:54:55
3615
5
原创 pandas常用操作
pandas常用操作1、修改表头import pandas as pddf = pd.DataFrame({'a':[1,2,3],'b':[1,2,3]}) a b0 1 11 2 22 3 31、修改列名a，b为A、B。df.columns = ['A','B']2、只修改列名a为Adf.rename(columns={'a':'A'})
2022-06-21 17:01:22
4609
原创 字典和dataFrame的相互转换
pandas中经常用的是 DataFrame.to_dict() 函数将dataFrame转化为字典类型（字典的查询速度很快）函数DataFrame.to_dict(orient=‘dict’, into=)dataFrame.to_dict() 结果默认 index 是 key ,其他字段是和 index 对应的 value结果：3、 orient =‘list’orient =‘list’ ，转化后的字典形式：{column(列名) :{[values](值)......
2022-06-17 16:59:12
17881
原创 使用 pandas 对数据进行并行处理
pandas做数据分析很好用，map、apply使用的也比较多，非常的耗时间。虽然map性能优于apply，但是在处理大量数据的时候处理速度依然很慢。下面介绍几个加速map，apply的方法。对于windows用户，有一个不好的消息是，它只能在Windows的linux子系统上运行（WSL），你可以在微软官网上找到安装教程：https://docs.microsoft.com/zh-cn/windows/wsl/about2、初始化初始化函数为 pandarallel.initialize(shm_
2022-06-16 17:31:58
1919
原创 pandas中 map,apply的用法和进度条设置
在pandas中一般有两种数据结构对象Series、DataFrame。想要批量精心化操作Series、DataFrame就需要使用配套方法：map、apply和applymap构造实验数据集参数：arg : function, dict, or Seriesna_action : 取值为 {None, ‘ignore’}, 默认为 None返回值：Pandas Series with same as index as caller1、把数据集中gender列的男替换为1，女替换为0，怎么做呢？
2022-06-15 09:56:14
2867
原创 Python出现报错：SyntaxError: Non-UTF-8 code starting with....
这是python解码出错在程序第一行添加一下三个中的一个即可解决问题，注意等号两边没有空格# coding=utf-8# coding=gbk# coding=gb2312
2022-06-10 10:11:46
2354
原创 Python for和if的连写
for 和if 的连写Python if 和 for 的组合写法Python中for 循环的是用list解析的[对(x)的操作 for x in 集合 if 条件][对(x,y)的操作 for x in 集合1 for y in 集合2 if 条件]举一个简单的例子：x=[1,2,3,4,5]y=[5,6,7,8,9]我想让着两个list中的奇数分别相加，应该结果是1+5,1+7,1+9,3+5,3+7,3+9,5+5,5+7,5+9,如下：先求列表中x的奇数：x=[1,2,3,4
2022-04-12 09:58:15
5331
原创 pandas 保存csv 不要序号
pandas 保存csv 不要序号在用pandas输出csv时，如果不对第一行和第一列进行定义，pandas会自动用数字序号补齐，但有时候我们只想单纯输出数据，不想要表头或者序号，那么就需要以下的操作：output = pd.DataFrame(data=list1)output.to_csv('save_path', header=None, index=None)将header和index赋值成None即可。https://blog.csdn.net/qq_39332551/article/
2022-03-30 11:09:38
9671
原创 DOCKER容器内中文显示乱码
在docker容器内使用Bash通过 ls 列取中文列表内容时，中文会显示为乱码，简单一步就可以解决此烦恼。在创建容器时加入环境变量：LANG=C.UTF-8命令行方式：docker run … -e LANG=C.UTF-8 ….
2022-03-23 14:32:09
1593
原创 conda 环境迁移
conda 环境迁移一、本地环境备份–clone在本地，conda 可以方便地创建环境的快照或者备份创建一个 和 myenv环境一样的环境 snapshot conda create --name snapshot --clone myenv二、相同操作系统 的计算机之间复制环境–可以生成 spec list生成 spec list 文件： conda list --explicit > spec-list.txt根据spec-list.txt重现环境： conda create
2022-03-23 10:07:14
2387
原创 pip 批量下载包与批量安装包
pip 批量下载包与批量安装包一、导出pip安装的包名将已安装的包名和版本号写入目录 ./yjk/requirements.txt文件中pip freeze> ./yjk/requirements.txt导出结果如下：aiohttp==3.8.1aiosignal==1.2.0async-timeout==4.0.2asynctest==0.13.0attrs==21.4.0certifi==2021.10.8charset-normalizer==2.0.10datacla
2022-01-21 19:54:40
6755
原创 linux常用命令
一、压缩与解压需要注意的是，在使用 tar 命令指定选项时可以不在选项前面输入“-”。例如，使用“cvf”选项和 “-cvf”起到的作用一样。其实解打包和打包相比，只是把打包选项 “-cvf” 更换为 “-xvf”。1、tar格式打包成tar格式压缩包tar -cvf anaconda-ks.cfg.tar anaconda-ks.cfg#把anacondehks.cfg打包为 anacondehks.cfg.tar文件解压tar格式压缩包tar -xvf anaconda-ks.cfg
2021-12-13 20:45:35
1655
原创 词云图生成
词云图https://www.jianshu.com/p/b09359ee0596#commentsimport picklefrom os import pathimport jiebaimport osimport imageioimport matplotlib.pyplot as pltfrom wordcloud import WordCloud, STOPWORDS, ImageColorGenerator# with open('text.txt', 'r', encodi
2021-12-07 17:24:39
212
原创 pandas 将DataFrame 转为txt文本，去除引号问题
import csvdf['列名'].to_csv('excel2txt.txt', sep=' ', index=False,header=False,quoting=csv.QUOTE_NONE,escapechar=' ')df[‘列名’] 是我要保存的那一列文本sep=‘ ’ 表示以空格作为分隔符,因为只有一列 所以不起作用index=False 不保存索引header=False 不保存表头quoting=csv.QUOTE_NONE 这个很关键，可以去除引号escapechar
2021-12-07 17:18:59
5994
2
原创 离线在远程linux服务器配置vscode-python环境以及在容器中配置
1、vscode安装1.1、下载到官网下载VSCode安装包，https://code.visualstudio.com/，下载并安装1.2、安装中文扩展，设置中文安装完成后，VSCode默认显示为英文，需要安装插件才能显示中文。菜单查看-扩展 或者Ctrl + Shift + X，在商店中搜索“Chinese”，找到“适用于 VS Code 的中文（简体）语言包”安装。安装完后重启vscode生效安装之后，菜单查看-命令面板或者Ctrl + Shift + P，输入“display”，打开
2021-10-22 16:39:03
2804
1
原创 docker中容器与宿主机之间的网络关系
接上一篇jupter远程访问docker中容器与宿主机之间的网络关系一、PC上的网络关系1、网卡的物理地址网卡的物理地址（MAC地址）：是网卡的唯一标识。由生产厂商写入网卡中。MAC地址就如同我们身份证上的身份证号码，具有全球唯一性2、IP地址IP地址是设备接入局域网时，局域网所分配的一个地址，在接入局域网的这段时间内，跟物理地址绑定，成为该设备在局域网中的唯一标识。可以被公网访问3、回环地址本地环回环地址时以127开头的地址127.0.0.1 —> 127.255.255.254，
2021-08-31 14:46:33
3739
原创 远程linux服务器中安装jupyter通过本地浏览器访问使用
一、jupter的安装1、利用anaconda 创建一个jupter环境，在jupter环境中安装jupter。执行一下命令回车：conda create -n jupter python=3.6激活新建的jupter环境 source activate jupter安装jupterpip install jupyter二、jupyter远程访问配置（这个环节跟着网上通用的那些配置方法走出了挺多问题）1、生成配置文件（配置文件默认地址：~/.jupyter/jupyter_notebo
2021-08-31 14:12:47
5273
12
原创 linux下安装anconda
第一步：下载anconda地址：https://repo.anaconda.com/archive/第二步：把下载好的anconda放到指定的路径执行命令 ：一路回车yes等待安装bash Anaconda3-5.3.1-Linux-x86_64.sh遇到这个情况选择no回车如果安装出现一下错误：解决办法[/root/anaconda3] >>> PREFIX=/root/anaconda3Anaconda3-5.3.0-Linux-x86_64.sh: line
2021-08-30 20:03:04
4069
原创 离线安装pymysql和dbutils
下载pymysql离线安装包:地址为：https://pypi.doubanio.com/simple/pymysql/cd到下载目录执行pip install pymysql-x.x.x.tar.gz下载 DBUtils地址为：https://pypi.org/project/DBUtils/#filescd到下载目录执行pip install DBUtils-x.x.x.tar.gz...
2021-08-30 15:12:15
900
原创 python中的re模块
python中的re模块Python中re模块主要功能是通过正则表达式是用来匹配处理字符串的第一步：import re导入该模块后，就可以使用该模块下的所有方法和属性import rere有很多的方法和属性re 模块提供了不少有用的函数，用以匹配字符串，比如：compile 函数match 函数search 函数findall 函数finditer 函数split 函数sub 函数subn 函数re 模块的一般使用步骤如下：使用 compile 函数将正则表达式的字符串形
2021-08-26 10:21:48
46682
原创 Python正则表达式
一、Python正则表达式----基础前言 正则表达式是按位匹配的，即每一个位置的匹配符规定了该位置处的字符可能情况。1、字符组（[]）**字符组（[]）**该位置允许匹配一组可能出现的字符2、区间（-）正则表达式引擎在字符组中使用连字符(-)代表区间，依照这个规则，我们可以总结出三点：要匹配任意数字可以使用 [0-9]；如果想要匹配所有小写字母，可以写成 [a-z]；想要匹配所有大写字母可以写成 [A-Z]。其他答案[a-zA-Z0-9].*[0-9a-zA-Z]{1,}^[
2021-08-26 09:14:52
2344
1
原创 docker基础容器中bash: vi: command not found问题解决
docker基础容器中bash: vi: command not found问题解决问题我们在创建基础容器之后，进入容器，进行编辑配置文件的时候，需要使用vim或者vi命令，但是会出现：原因这是因为vim没有安装。解决使用如下命令安装：apt-get updateapt-get install vim参考...
2021-08-23 14:58:06
503
原创 Python装饰器
Python装饰器何为装饰器何为装饰器？顾名思义，就是在一个东西上面添加了一些东西。添加的东西对原来的东西来说就是一种装饰。在Python中，装饰器本质上是一个Python函数，它可以让其他函数在不需要做任何代码变动的前提下增加额外功能，装饰器的返回值也是一个函数对象。将返回来的函数对象赋值给原函数变量，则就相当于在原函数不变的基础上给原函数添加了新的功能。它经常用于有切面需求的场景，比如：插入日志、性能测试、事务处理、缓存、权限校验等场景。有了装饰器，我们就可以抽离出大量与函数功能本身无关的雷同代码
2021-08-20 16:22:58
79
原创 （三）NLP HMM应用之中文分词
NLP HMM应用之中文分词HMM的典型介绍就是这个模型是一个五元组：StatusSet: 状态值集合（隐状态）ObservedSet: 观察值集合（输出文字集合）TransProbMatrix: 转移概率矩阵（隐状态）EmitProbMatrix: 发射概率矩阵（隐状态表现为显状态的概率）InitStatus: 初始状态概率（隐状态）HMM解决的三种问题：参数(StatusSet, TransProbMatrix, EmitRobMatrix, InitStatus)已知的情况下，求解观
2021-08-19 12:38:26
644
原创 解决linux普通用户ls不显示颜色的问题
问题：ls -la 不显示颜色在用户目录（~）下创建一个叫做.bash_profile的文件（如果存在，则不需要创建）。编辑.bash_profile文件vim ~/.bash_profile在.bash_profile文件中添加alias ls="ls --color"保存退出,重启terminal...
2021-08-19 10:05:24
1303
原创 （二）NLP-中文分词-HMM-维特比算法
中文分词一、词词是一个完整语义的最小单位。分词技术是词性标注、命名实体识别、关键词提取等技术的基础。1中文分词和欧语系的分词有什么不同或者说是难点的呢？主要难点在于汉语结构与印欧体系语种差异甚大，对词的构成边界方面很难进行界定。比如，在英语中，单词本身就是“词”的表达，一篇英文文章就是“单词”加分隔符(空格)来表示的，而在汉语中，词以字为基本单位的，但是一篇文章的语义表达却仍然是以词来划分的。因此，在处理中文文本时，需要进行分词处理，将句子转化为词的表示。这个切词处理过程就是中文分词，是通过计算机
2021-08-18 17:54:40
1450
原创 Finalshell软件安装使用
1、软件介绍FinalShell是一体化的的服务器,网络管理软件,不仅是ssh客户端,还是功能强大的开发,运维工具,充分满足开发,运维需求.特色功能:免费海外服务器远程桌面加速,ssh加速,本地化命令输入框,支持自动补全,命令历史,自定义命令参数。2、软件安装01、Finalshell软件下载所有版本下载页面：http://www.hostbuf.com/t/988.htmlWindows版下载地址:http://www.hostbuf.com/downloads/finalshell_i
2021-08-18 10:51:31
5094
5
原创 pip 安装速度慢解决办法
python3 -m pip install tensorflow -i https://pypi.douban.com/simple国内的一些镜像地址：清华： https://pypi.tuna.tsinghua.edu.cn/simple阿里云： http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/华中理工大学： http://pypi.hustunique.com/山东理工
2021-08-07 15:26:29
174
原创 多台电脑在同一局域网之间ping不通的解决方案
多台电脑在同一局域网之间ping不通的解决方案windows10 为例windows+i打开设置 搜索 “控制面板”双击“网络和internet” 点击网络共享中心选择“Windows防火墙”选择“高级设置”选择“入站规则”双击“文件和打印机共享（回显请求-ICMPv4-in）”选择“已启用”，之后点“确定”选择“出站规则”双击“文件和打印机共享（回显请求-ICMPv4-out）”选择“已启用”，之后点“确定”...
2021-07-28 09:51:05
3197
原创 （一）关于NLP的概念和处理过程
关于NLP的概念和处理过程一、自然语言处理（Natural Language Processing）（1）自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。（2）自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。（3）自然语言处理（NLP）是计算机科学，人工智能，语言学关注计算机和人
2021-05-17 17:57:47
899
原创 （二十六）深度学习目标检测：Fast-RCNN
Fast-RCNNRCNN存在的问题：1、一张图像上有大量的重叠框，所以这些候选框送入神经网络时候，提取特征会有冗余！2、训练的空间需求大。因为RCNN中，独立的分类器和回归器需要很多的特征作为训练。RCNN中提取候选框，提取特征和分类回归是分开的，可独立。Fast-RCNN主要贡献在于对RCNN进行加速，快是我们一直追求的目标（更快、更准、更鲁棒），相比于RCNN，Fast-RCNN在以下方面得到改进：1）借鉴SPP思路，提出简化版的ROI池化层（注意，没用金字塔），同时加入了候选框映射功能，使
2021-05-05 12:09:33
342
原创 （二十五）深度学习目标检测：RCNN
RCNNRCNN主要分为3个大部分第一部分产生候选区域；第二部分对每个候选区域使用CNN提取长度固定的特征；第三个部分使用一系列的SVM进行分类；第四个部分使用回归器精细修正候选框位置；RCNN的检测流程：（1）首先输入一张自然图像;（2）使用Selective Search提取大约2000个候选区域（proposal）;（3）对每个候选区域的图像进行拉伸形变，使之成为固定大小的正方形图像；（4）将步骤（3）得到的图像输入到CNN中提取特征;（5）使用线性的SVM对提取的特征进行分类
2021-05-03 21:46:24
469
4
原创 （二十四） 手推BP神经网络的前向传播和反向传播
手推BP神经网络的前向传播和反向传播一、基本术语1、监督学习与非监督学习Supervised Learning有监督式学习: 输入的数据被称为训练数据，一个模型需要通过一个训练过程，在这个过程中进行预期判断，如果错误了再进行修正，训练过程一直持续到基于训练数据达到预期的精确性。其关键方法是分类和回归，比如逻辑回归(Logistic Regression)和BP神经网络(Back Propagation Neural Network)。Unsupervised Learning无监督学习: 没有任何训
2021-03-11 17:04:03
4651
4
原创 （二十三）图像相似度比较哈希算法
图像相似度比较哈希算法相似图像搜索的哈希算法有三种：1.均值哈希算法2.差值哈希算法3.感知哈希算法什么是哈希（Hash）• 散列函数（或散列算法，又称哈希函数，英语： Hash Function ）是一种从任何一种数据中创建小的数字“指纹”的方法。散列函数把消息或数据压缩成摘要，使得数据量变小，将数据的格式固定下来。该函数将数据打乱混合，重新创建一个叫做散列值（ hash values hash codes hash sums或 hashes ）的指纹。散列值通常用一个短的随机字母和数字组成
2021-02-23 22:07:30
1567
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人