- 博客(16)
- 收藏
- 关注
RSS订阅原创 pip升级ImportError: module ‘pip‘ has no attribute ‘main‘
问题：用pip下载包失败后，升级了pip，导致升级后pip，无法下载包解决：尝试了百度的各种方法，都失败了。报错：No module named 'pip’和ImportError: module ‘pip‘ has no attribute ‘main‘；最后先找到anaconda3安装目录下的pip安装的位置，我的位置在D:\anaconda3\Lib\site-packages下面，先删除和pip相关的文件，我这里删除了pip，pip_package，pip-19.1.1-py3.6.egg-i
2022-05-05 17:45:19
985
原创 Dataframe删除列全为空的行
#基于正例数据进行相关矩阵分析并可视化import pandas as pdpath1 = "D:/正例.csv"df = pd.read_csv(path1,sep=',',encoding='gbk')#删除全为空数据的全部列for i in df.columns: if df[i].count() == 0: df.drop(labels=i, axis=1, inplace=True)print(df)...
2022-04-01 11:33:17
1607
原创 了解Transform基本原理
BERT是基于transformer的，在理解BERT之前，需要先了解transformer。Transformer就是将模型中lstm或者RNN结构替换成attention结构，这里就涉及了attention结构。1. attentionAttention由来的背景：RNN模型在解决序列问题上具有一定优势，图四中的左半部分展示了一个双向RNN结构，但通过RNN输出的序列数据不容平行化，例如，b4是融合了a1,a2,a3,a4的基础上才能够得出来，在得出b4之前，需要先计算出b1、b2、b3，这是
2022-03-21 17:05:23
2210
原创 了解卷积神经网络CNN
卷积神经网络（CNN）是深度学习中重要的代表算法之一，在计算机视觉、自然语言处理等人工智能领域具有重要运用。卷积Conv激活（eg:Relu函数）池化（Pooling）全连接...
2022-03-17 19:04:00
311
原创 在IDEA里导入scala工程
1、File-open 引入项目2、file - project settings - project:3、file -Modules-+-import modules-一直next4、设置SDK, dependencies - + scala版本 （Module SDK:Projext SDK(1.8)）4、返回项目：对src中的scala-make root as5、编译：rebuild6、若是依赖全部报错，可以从maven项目中install7、若编译不成...
2022-01-25 09:36:03
893
原创 IDEA中Maven项目加载时，依赖全部爆红解决办法
IDEA中Maven项目加载时，依赖全部爆红解决办法1、先注释pom.xml文件后，import changes；取消注释重新加载；2、如果本地仓库有所有依赖，可以把加载依赖的加载方式切换到离线模式，离线加载；3、多clean几次，重新install；4、删除本地仓库，重新下载依赖包；...
2021-12-03 09:01:10
7994
原创 ELMO简单理解
1. 词向量以下为常见两种词向量形式1-of-N Encoding (one hot)：独热编码， 词汇是独立的，通过0-1向量表示，涉及的向量维度会很大 ；Embedding：根据词汇的上下文将词汇表达成向量，语义相似的词汇对应的向量较为接近，传统一个word token对应一个embedding，但同一个词汇在不同语句中可有多重含义，我们希望每个不同的word token在不同语境下赋予给不同的emdeding。3. ELMO:ELMO全拼为Embeddings from language
2020-08-06 17:20:24
615
原创 anaconda中离线安装python所需的包
anaconda3中已经为我们提供了许多科学计算所需的包，在联网环境下，通过pip或conda命令也可直接装上所需用包，但有时我们在没有网络或者网络条件不好的时候，就需要自己手动安装离线包啦，安装离线包的步骤如下：登录https://pypi.org/project 官网找所需版本的包；以botocore为例：2. 进入后，在download files中找到历史版本，也可直接通过download files下载最新版本； 3.下载离线文件，以.whl文件为例； 4. 将下载的.whl文件拷
2020-07-30 10:44:23
1381
原创 HDFS操作
1、查看hdfs文件路径hadoop fs -ls /2、创建新文件路径hadoop fs -mkdir <file路径>3、复制文件：原本路径下的文件仍然存在hadoop fs -cp <被复制文件地址> <目的路径>eg: hadoop fs -cp /data/a/model /data/a/b4、重命名复制后在删除原文件...
2020-04-02 16:33:33
130
原创 将多个txt文件导入excel
1、将txt文档合并为一个大的test.txt文档。打开记事本，输入for %%i in (*.txt) do type %%i>>test.txt ，文件的后缀名为.bat文件（例如：my.bat），将文件保存到多个txt文件所在的文件夹;2、打开excel文档，新建一个工作表，然后打开test.txt，按txt格式上传；...
2020-03-13 13:08:38
4638
3
原创 常用HDFS命令
1、定位到指定data路径下：hadoop fs -ls /data/2、上传本地文件（夹）至hdfs:本地-服务器-HDFS可通过FTP从本地上传至服务器（1）从服务器上传文件至HDFS：hadoop fs -put /root/data/a.txt /data/（2）文件夹：把a文件夹导入hdfs中b路径下hadoop fs -put /root/a/...
2020-03-11 20:30:36
146
原创 腾讯NeuralClassifier之文本分类
NeuralClassifier是腾讯开源的一款基于pytorch的深度学习文本分类工具，该框架的特色是提供了一种层次多标签分类方法，同时也支持文本的二分类、多分类、层次多标签分类。框架自带的数据集为英文的层次多标签分类数据集。如何跟换自带数据集进行我们自己的数据集的训练和测试呢？下面以文本二分类为例进行说明：（1）首先，将数据集转化为框架支持的json格式。这里选用酒店评论数据，部分数据格式如下...
2019-12-26 16:37:25
976
7
原创 Spark学习笔记
Spark学习（一） pyspark基本操作引入pySpark工作模块初始化SparkContext，SparkContext初始化完毕，才能向spark集群提交任务，其中，SparkConf负责SparkContext的配置参数，RDD为SparkContext重要的数据载体。from pyspark import SparkContextfrom pyspark import Sp...
2019-11-21 18:47:41
130
原创 Jupyter notebook中无法定位指定文件夹
在初次使用Jupyter notebook时，根据网上的方法从jupyter_notebook_config.json修改了默认路径，打开Jupyter notebook时成功定位至修改后的路径的文件夹下，但此时无法打开其他路径的指定文件夹下的文件。百度了很多都没有找到解决办法，后来尝试了将我修改的路径注释，恢复至默认路径模式后，在指定文件夹下通过shift+鼠标右键打开powers...
2019-08-06 11:30:10
1122
原创 怎么通过命令行进入指定文件路径
1.通过Windows+R进入命令调出运行2.输入cmd进入命令窗口（默认的一般是c：\Users下的某个文件夹，例如我的是c:\Users\LML）3.若想进入c盘的其他文件路径下，可以通过在目录下输入cd..进入上一层目录，直到进入c盘根目录；通过命令行输入c:\cd +文件或文件夹路径 进入目标文件夹4.若想进入其他盘下的文件路径，通过在命令行默认路径后输入想进入的盘名加上冒号，例如：c:...
2018-04-25 21:38:36
15418
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人