3 love_data_scientist

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 8w+

sklearn 增量学习

如果想用sklearn进行在线学习如何操作呢?https://scikit-learn.org/stable/modules/computing.html?highlight=incremental%20learningStrategies to scale computationally: bigger data a way to stream instances...

2020-02-03 22:43:29

复习_强化学习

强化学习常用的方法有基于值函数逼近的强化学习和基于确定性策略搜索的强化学习;基于值函数逼近的强化学习主要解决状态空间很大或者连续情况下的强化学习问题;包括DQN,double DQN,dueling DQN等;DQN:Human-level control through deep reinforcement learningDouble DQN:Deep Reinforceme...

2019-10-10 12:42:47

复习-优化算法

在线学习算法:FTRL下面程序来自https://www.kaggle.com/jiweiliu/ftrl-starter-code/codealpha = .005 # learning ratebeta = 1. # smoothing parameter for adaptive learning rateL1 = 0.2 # L1 regu...

2019-09-16 12:56:47

pytorch1.1 单机单GPU程序改为单机多GPU程序方案

最近在用pytorch训练图文相关性模型,图片特征使用resnet抽取,文案特征使用bert抽取,把这两个特征合并为一个特征送入浅层神经网络中。数据量:1千万条。机器配置:单机4块GPU现状:单个GPU跑一轮需要15个小时左右。pytorch1.1对单机多GPU支持的很好,直接一条命令解决:nn.DataParallel(model).cuda()方案1:直接有两个模型...

2019-09-04 19:11:54

服务器无root的权限下pytorch1.2 踩坑(可联网)

1.服务器只安装了cuda9.22.安装anacondaAnaconda3-5.2.0-Linux-x86_64.sh python3.6shAnaconda3-5.2.0-Linux-x86_64.sh增加清华源:https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/如果卸载重装执行conda instal...

2019-08-30 20:54:58

paddle 动态图编程

1.paddlehttps://www.paddlepaddle.org.cn/2.数据是mnist,把mnisit数据集合变成 img \t label形式#coding:utf-8from __future__ import print_functionimport numpy as npimport paddle.fluid as fluidimport paddle...

2019-08-27 20:04:50

图文相关性论文

Image-sentence Matching转自https://blog.csdn.net/lry_xueshu/article/details/83030906

2019-08-20 15:12:08

深度学习之提升数据加载速度--lmdb--1

直接读取文件->保存到lmdb->从lmdb读入数据,python3.6import lmdbimport numpy as npdef write_lmdb(filename,lmdb_path="output/test"): env = lmdb.open(lmdb_path) with env.begin(write=True) as txn: ...

2019-08-18 20:58:49

pytorch构建自己数据集合

使用pytorch构建自己的训练和测试数据集合,涉及自己数据处理类,数据变为tensor,数据分割等,为后续的训练准备了训练数据和测试数据import torchfrom torch.utils.data import DataLoader, Dataset,TensorDataset,random_splitimport sysclass label_featureDataS...

2019-08-15 17:09:59

优化方法集合

https://blog.csdn.net/yinyu19950811/article/details/90476956优化方法总结以及Adam存在的问题(SGD, Momentum, AdaDelta, Adam, AdamW,LazyAdam)https://www.cnblogs.com/maybe2030/p/9220921.html[Deep Learning] 常用的Ac...

2019-07-29 20:06:18

pytorch sklearn dataset load_breast_cancer 逻辑回归(二分类)

import matplotlib.pyplot as pltimport torchfrom torch import nnfrom torch import optimfrom sklearn.datasets import load_breast_cancerdata_set = load_breast_cancer()x = torch.from_numpy(data_set...

2019-07-29 17:13:16

pytorch获得图片特征

1.模型为resnet152, 默认输出图片大小是224*224*32.获取除去全连接层的模型import torchimport torch.nn as nnimport torchvision.models as modelsfrom torch.autograd import Variableresnet152 = models.resnet152(pretrained=Tr...

2019-07-19 20:15:40

NLP GLUE数据

CoLA: 单句的二分类问题, 判断一个英文句子在语法上是不是可接受的. SST-2 单句的二分类问题, 句子的来源于人们对一部电影的评价, 判断这个句子的情感. MRPC 句子对来源于对同一条新闻的评论. 判断这一对句子在语义上是否相同. STS-B 这是一个类似回归的问题. 给出一对句子, 使用1~5的评分评价两者在语义上的相似程度. Q...

2019-07-17 12:36:57

使用pytorch中的bert模型获取句子向量为后续NLP任务做准备

1.安装pytorch-pretrained-BERTpip install pytorch-pretrained-bert我的python版本是3.62.下载模型和字典:模型和字典位置:https://s3.amazonaws.com/models.huggingface.co例如下载bert-base-cased.tar.gzhttps://s3.amazonaws...

2019-07-15 12:22:01

paddlepaddle-gpu的安装 cuda9.0 cudnn7.3.1

1.安装anaconda2.安装cuda9.0 cudnn7.3.13.安装paddlepaddle-gpu,遇到的问题:1.Failed to find dynamic library: libcublas.so ( libcublas.so: cannot open shared object file: No such file or directory )解决方法:定...

2019-07-12 12:24:00

复习基于图的推荐算法(PersonalRank)

将用户行为数据用二分图表示,例如用户数据是由一系列的二元组组成,其中每个元组(u,i)表示用户u对物品i产生过行为。将个性化推荐放在二分图模型中,那么给用户u推荐物品任务可以转化为度量Uv和与Uv没有边直接相连的物品节点在图上的相关度,相关度越高的在推荐列表中越靠前。基于随机游走的PersonalRank算法假设给用户u进行个性化推荐,从图中用户u对应的节点Vu开始游走,游...

2019-07-08 11:36:57

boost.python boost.numpy python 和 C++联合编程

一 python的numpy.array传给C++处理1.安装boost,boost-python,boost-numpy2.主要程序2.1 vectors.cpp#include<cmath>#include<boost/python/module.hpp>#include<boost/python/def.hpp>#include&lt...

2019-07-05 20:21:37

机器学习模型部署远程服务功能

框架 flaskexample1.sklearn 训练模型并保持import numpy as npfrom sklearn.linear_model import LinearRegressionfrom sklearn.utils import check_random_statefrom sklearn.externals import joblibn = 10...

2019-06-22 13:21:57

PIL python 图形大小随文字变化

import cv2from PIL import Imageimport numpy as npfrom PIL import Image, ImageDraw, ImageFontdef self_adaption_font_oneline(font_filename, default_font_size, text): ttfont = ImageFont.truetyp...

2019-05-31 14:31:17

python opencv实现 12色相环、24色相环(基于RGB空间和基于HSV空间实现)

opencv中HSV的值范围是:H 0-180;S 0-255; V 0-255import cv2from PIL import Imageimport numpy as npdef fetch_img(img, first_list, color_value_list, width, height): r,g,b = color_value_list sec_...

2019-05-23 21:45:24

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 分享小兵
    分享小兵
    成功上传3个资源即可获取