zhangqiqiyihao的博客

原创 Flask:RuntimeError: A secret key is required to use CSRF

RuntimeError: A secret key is required to use CSRF.为了保护后端代码不受外来人员控制需要在后端添加一个随机字符串app.config['SECRET_KEY']='AASDFASDF'

原创 pandas函数

1.explode函数将一行数据展开成为多行上述数据种movie_ids由多个数组组成，如下[['3186', '1721', '1270', '1022', '2340', '1836', '3408', '1207'], ['1721', '1270', '1022', '2340', '1836', '3408', '1207', '2804'], ['1270', '1022', '2340', '1836', '3408', '1207', '2804', '260'], ['102

原创 conda本地安装cuda、cudnn

旧版本的cuda、cudnn conda install直接安不了https://repo.anaconda.com/pkgs/main/win-64/这个地方可以下载各种包，包括cuda、cudnn下载好后用xftp挪到服务器里切换到目录，用conda安装在本地安装的命令conda install --use-local 安装包名...

原创 conda使用不同版本cuda

1.建立激活环境下的文件夹，写入脚本#建立激活环境下的文件夹mkdir -p /home/username/anaconda3/envs/环境名/etc/conda/activate.d#写入脚本vi /home/username/anaconda3/envs/环境名/etc/conda/activate.d/activate.sh写入ORIGINAL_CUDA_HOME=$CUDA_HOMEORIGINAL_LD_LIBRARY_PATH=$LD_LIBRARY_PATHexport

原创 阿里DIEN： Deep Interest Evolution Network for Click-Through Rate Prediction

原创 阿里DIN:Deep Interest Network for Click-Through Rate Prediction

原创 selenium自动连接校园网

先conda安装 selenium下载谷歌的driverhttp://chromedriver.storage.googleapis.com/index.html找对应自己谷歌浏览器的版本，安装路径脚本里要用到。import osfrom selenium import webdriver#启动配置option = webdriver.ChromeOptions()option.add_argument('disable-infobars')# 环境配置chrome_driver =

原创 BERT4.Rec: Sequential Recommendation with Bidirectional Encoder Representation from Transformer

原创 LINUX常用命令

赋予root权限修改 /etc/sudoers 文件#Allow root to run any commands anywhereusername ALL=(ALL) ALL切换ROOT权限suexit退出root将只读文件变为可写：chattr -i 文件 让只读文件可编辑chattr +i 文件 让文件只读VIMu 撤销上一步的操作Ctrl+r 恢复上一步被撤销的操作:wq – 保存并退出。:wq! 强制保存退出a 在光标后插入添加用户useradd

原创 阿里BST：Behavior Sequence Transformer for E-commerce Recommendation in Alibaba

原创 bash: conda: command not found...

安装anaconda：https://www.anaconda.com/distribution/下载包，挪到服务器里bash Anaconda3-5.3.1-Linux-x86_64.sh安装完成后输入conda 出现bash: conda: command not found…错误，无法识别conda 命令[yuanbj@80 ~]$ condabash: conda: command not found...export PATH=anaconda安装路径/bin:$PATH后可启

原创 《Deep Neural Networks for YouTube Recommendations》论文笔记

原创 《DeepFM: A Factorization-Machine based Neural Network for CTR Prediction》论文笔记

原创 《Research Review for Broad Learning System: Algorithms, Theory, and Applications》笔记

原创 《Graph Learning Approaches to Recommender Systems: A review》论文笔记

原创 《A review on deep learning for recommender systems: challenges and remedies》论文笔记

原创 理解基于协同过滤的推荐系统（附代码）

下为实现代码：def standEst(dataMat, user, simMeas, item): n=shape(dataMat)[1] #0为行，1为列，dataMat的列数,行为用户，列为物品，得到了物品数 simTotal=0.0 ratSimTotal=0.0 for j in range(n): userRating = dataMat[user,j] #第user个用户对第j个..

原创 python: nonzero()函数

nonzero(a) 返回数组a中非零元素的索引值数组。from numpy import *a = mat([[2,0,0],[1,0,0],[0,0,3]])print(a)输出：[[2 0 0] [1 0 0] [0 0 3]]使用nonzero()函数并输出`test=nonzero(a)print(test)(array([0, 1, 2]), array([0, 0, 2]))返回第一个array表示非零元素所在的行，第二个array表示非零元素所在的列矩阵a中

原创 pytorch：解决训练数据不能被batchsize整除

训练seq2seq模型时，训练数据一般都不能刚好和batchsize成整数倍数关系。那么在每个epoch训练中，最后会剩余一组数据量<batchsize的数据。此时这些数据可能会不适合编写的网络形状，或者代码中reshape形状的部分，在rnn中还会不匹配隐状态形状。因为我的训练数据量很大，所以直接把最后一个不足batch的数据组抛弃就好。train_loader = Data.DataLoader(MyDataSet(train_enc_inputs, train_dec_inputs, t

原创 pandas：将xlsx文件转换为csv文件

import pandas as pddef xlsx_to_csv_pd(): data_xls = pd.read_excel('../DATA/ausdata.xlsx', index_col=0) data_xls.to_csv('ausdata.csv', encoding='utf-8')if __name__ == '__main__': xlsx_to_csv_pd()用pandas转换，需要安装依赖包：xlrd，新版本只支持xls不支持xlsx，所以下载

原创 解决深度学习训练每次结果不同

1.在验证和测试代码时加入model.eval()可以打开验证开关，关闭所有的dropout等。但是在返回到训练时需要再次加入model.train()之前的训练中做了这个操作每次的测试结果就会保证一致。后来不知道发生了什么又不能一致了再加入种子2.加入seedtorch.manual_seed(seed)torch.cuda.manual_seed(seed)torch.cuda.manual_seed_all(seed) # if you are using multi-GPU.

原创 深度学习：标准化代码

引入scikit-learn的standarScaler来归一化对训练集进行fit_transform对测试集进行transformfrom sklearn.preprocessing import StandardScalertrain_dataset=scaler.fit_transform(train_dataset)test_dataset=scaler.transform(test_dataset)在数据集只有单变量的情况下，要使用np.array.reshape(-1,1)将形状

原创 关于欠拟合、过拟合和模型容量的思考

最近在使用transformer模型做时间序列预测的问题。遇到了训练集损失正常下降但是验证集过拟合的现象。查阅资料和书籍后记录一下：简单来说就是一个神经网络模型参数对应着这个模型的容量，在训练模型的时候训练数据集的大小要和模型的容量大小相匹配。如果数据量足够大而模型容量较小，模型的拟合能力就会过差。在模型训练的时候就会出现训练集损失难以下降，从而导致验证或者测试集效果更差，这个是欠拟合的现象。如果模型过于庞大而数据集不够，可以预见的情况是你的训练集表现会非常好，很大的模型能够很好的拟合你的训练集，但是

原创 深度学习中linux常用命令

1.查看显卡状态nvidia-smi可以使用watch来让他周期性的刷新watch -n 10 nvidia-smi2.未完待续

原创 pytorch训练解决显存爆炸问题

1.torch.cuda.empty_cache()每轮epoch后加这个代码实测没有用2.存储loss时将loss改为loss.item()，问题解决。loss_list=[]在我的代码中，在训练前建立了一个loss的list来存储每轮的loss，目的为了在N个EPOCH后绘制图像。loss = criterion(outputs, dec_outputs.view(-1).reshape(-1,1))optimizer.zero_grad()loss.backward()optimiz

原创 pytorch：多GPU训练、保存加载参数、测试

一、使用pytorch进行多GPU训练的需要添加的代码：#设置使用哪些显卡，我这里用所有可用的device_ids=range(torch.cuda.device_count())model = Transformer().cuda()model = nn.DataParallel(model, device_ids=device_ids)二、保存和加载参数#加载参数model.load_state_dict(torch.load('模型参数/两条130数值的测试用的模型参数.pkl'))

原创 numpy:flatten()函数用于降维

flatten是numpy.ndarray.flatten的一个函数，即返回一个一维数组。flatten只能适用于numpy对象，即array或者mat，普通的list列表不适用！。a.flatten()：a是个数组，a.flatten()就是把a降到一维，默认是按行的方向降 。>>> from numpy import *>>> a=array([[1,2],[3,4],[5,6]])>>> aarray([[1, 2], [3,

原创 pandas：删除某列，删除某行

1.在创建时只取需要的列：cols_to_use = ['col1', 'col2'] # or [0,1,2,3]df = pd.read_csv('mycsv.csv', usecols= cols_to_use)2.按名字删除某列：df = df.drop(labels='column_to_delete', axis=1)

原创 jupyter：查看和修改当前jupyter环境

一、查看当前python版本import sysprint(sys.version)print(sys.executable)第一行输出当前python版本第二行输出解释器路径二、添加环境到jupyter中python -m ipykernel install --name name

原创 pytorch:RNN_regression

#!/usr/bin/env python# -*- coding: UTF-8 -*-'''=================================================@Project -> File ：pytorch学习 -> RNN_regression@IDE ：PyCharm@Author ：zgq@Date ：2021/3/23 12:11@Desc ：======================================

原创 pytorch:CNN

#!/usr/bin/env python# -*- coding: UTF-8 -*-'''=================================================@Project -> File ：pytorch学习 -> cnn@IDE ：PyCharm@Author ：zgq@Date ：2021/3/22 14:18@Desc ：=================================================

原创 pytorch:RNN_Claasification

#!/usr/bin/env python# -*- coding: UTF-8 -*-'''=================================================@Project -> File ：pytorch学习 -> RNN@IDE ：PyCharm@Author ：zgq@Date ：2021/3/22 20:55@Desc ：=================================================

原创 conda常用命令

1.conda创建环境conda create --name name python=3.62.激活环境`conda activate name3.查看所有环境conda info --envs4.查看当前环境下已经安装的包conda list -n name5.安装新的包conda install name6.删除环境conda remove --name name --all...

原创 pytorch：optimizer

使用4种不同的optimizer训练了神经网络import torchimport torch.utils.data as Dataimport torch.nn.functional as Ffrom torch.autograd import Variableimport matplotlib.pyplot as plt#hyper parametersLR=0.01BATCH_SIZE=32EPOCH=12x=torch.unsqueeze(torch.linspace(-1,

原创 pytorch：minibatch

import torchimport torch.utils.data as Data#Data为训练过程中进行小批次训练的途径torch.manual_seed(1)BATCH_SIZE=5x=torch.linspace(1,10,10)y=torch.linspace(10,1,10)#定义一个torch数据库，将我们的xy数据都放到里面torch_dataset=Data.TensorDataset(x,y)#用loader来使我们的训练变成一小批一小批的loader=Da

原创 python中错误TypeError: __init__() got an unexpected keyword argument ‘data_tensor‘

torch_dataset=Data.TensorDataset(data_tensor=x,target_tensor=y)报错Traceback (most recent call last): File "E:/python代码/pytorch_pandas_Test4/MiniBatch.py", line 10, in <module> torch_dataset=Data.TensorDataset(data_tensor=x,target_tensor=y)Ty

原创 pytorch：保存和提取神经网络

import torchfrom torch.autograd import Variableimport matplotlib.pyplot as plttorch.manual_seed(1)#fake datax=torch.unsqueeze(torch.linspace(-1,1,100),dim=1)y=x.pow(2)+0.2*torch.rand(x.size())x,y=Variable(x,requires_grad=False),Variable(y,requires

原创 pytorch：快速搭建神经网络

另一种搭建神经网络的方法，并不定义类#快速搭建一个神经网络模块net2=torch.nn.Sequential( #在这个括号里面一层一层的垒神经元就好了 torch.nn.Linear(2,10), #如果中间有激励函数，也加进来 torch.nn.ReLU(), torch.nn.Linear(10,2))等同于之前所使用的#定义神经网络主要模块class Net(torch.nn.Module): def __init__(self,n_fe

原创 pytroch：classification

import torchfrom torch.autograd import Variableimport torch.nn.functional as Fimport matplotlib.pyplot as pltimport numpy as npn_data=torch.ones(100,2) #构造一个一百行两列的数据组print('n_data=',n_data)x0=torch.normal(2*n_data,1) #data(tensor) shape=100,2pr

原创 pytorch：regression回归

import torchfrom torch.autograd import Variableimport torch.nn.functional as Fimport matplotlib.pyplot as pltimport numpy as np#编造一些伪数据 unsequeeze方法为将数据变成2维的 torch只会处理2维数据x = torch.unsqueeze(torch.linspace(-1,1,100),dim=1) #x data (tensor),shap