- 博客(249)
- 收藏
- 关注
RSS订阅原创 pytorch-损失函数-分类和回归区别
输入：预测值和目标值。预测值的形状应该是(batch_size, num_classes)，表示对每个类别的预测概率；目标值的形状应该是(batch_size,)，表示每个数据的真实类别标签。输入：预测值和目标值，它们的形状应该是相同的。例如，如果你有一个批量大小为batch_size的数据，每个数据有n个特征，那么预测值和目标值的形状都应该是(batch_size, n)。输出：一个标量，表示计算得到的均方误差损失。输出：一个标量，表示计算得到的交叉熵损失。
2023-11-04 16:48:55
1412
1
原创 sklearn 多项式回归 提取系数保存到txt中直接使用
最近在帮老师完成一个小项目，是一个多标签回归问题，具体来说，特征有15个，要预测的标签却有43个，同时因为要考虑在一个特定板子上运行，上面的python无法安装sklearn这种库，只能使用numpy等已经安装好的库。因此需要将训练好的模型的系数保存下来，这样在推理的时候直接使用系数文件，可以跳过sklearn的使用。首先给出多项式回归的训练和保存代码：'''多项式回归模型'''import sklearn.pipeline as plimport sklearn.preprocessing
2020-12-13 14:18:25
1421
原创 matlab fopen，fread，fseek 与python open， read, seek函数之间的转换
最近被老师要求将一份matlab代码转为python代码，之前并没有系统学习过matlab，但也知道和python语法相近，因此也并没有感到有太多难度。但是涉及文件操作这部分还是饶了许多弯路，特此做一下记录。首先读取文件中，matlab采用的是fopen函数，其语法格式为[fid,message]=fopen(filename,'r');其中fid如果是一个正整数，表示打开成功，文件代号为fid，message返回空。打开失败则返回-1.message会返回一个错误信息。文件打开的..
2020-12-13 12:02:51
2538
4
原创 pandding实现‘replicate’操作
图像中的padding操作一般是zeropadding，这次有作业要求实现replicate’，填补的像素拷贝与其最近的图像边界像素灰度。研究了一下，写成代码如下：# -*- coding: utf-8 -*-"""Created on Sun Oct 6 14:30:58 2019@author: Administrator"""import numpy as npde...
2019-10-06 15:11:50
1265
原创 Lint Code 丑数
设计一个算法，找出只含素因子2，3，5 的第 n 小的数。符合条件的数如：1, 2, 3, 4, 5, 6, 8, 9, 10, 12...我们可以认为 1 也是一个丑数。您在真实的面试中是否遇到过这个题？是题目纠错样例样例 1：输入：9输出：10样例 2：输入：1输出：1这道题目是一道动态规划的题目，直接去进行判断太过耗时间，一个简单的...
2019-07-05 22:23:45
212
原创 LintCode 统计数字
计算数字 k 在 0 到 n 中的出现的次数，k 可能是 0~9 的一个值。样例样例 1：输入：k = 1, n = 1输出：1解释：在 [0, 1] 中，我们发现 1 出现了 1 次 (1)。样例 2：输入：k = 1, n = 12输出：5解释：在 [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12] 中，我们发现 ...
2019-07-04 10:40:23
205
原创 LintCode 尾部的零
设计一个算法，计算出n阶乘中尾部零的个数样例样例 1: 输入: 11 输出: 2 样例解释: 11! = 39916800, 结尾的0有2个。样例 2: 输入: 5 输出: 1 样例解释: 5! = 120， 结尾的0有1个。这个题很多人都分析出了只要判断n/5以及n/5^2, 一直到n/5^m, 把他们累加起来就可以了。其中m要求n>5^m...
2019-07-04 09:50:56
175
原创 使用深度学习进行点云匹配（一）
前言：使用深度学习进行点云匹配研究是我的毕设题目。因为之前只学习过深度学习在2D CV上的一些知识，对于三维点云这种东西根本没有听说过，因此也是感觉头大。好在老师给了我一篇paper，让我先去研究里面的方法，这篇论文是CVPR2017年的一篇口头报告，《3DMatch: Learning Local Geometric Descriptors from RGB-D Reconstructions》...
2019-06-15 10:22:18
18059
38
原创 使用深度学习进行点云匹配（二）
本文承接上一篇《使用深度学习进行点云匹配（一）》。在上一篇研究了Demo代码如何实现根据3Dmatch描述子实现点云配对以后，接下来的问题就是如何训练出3Dmatch描述子。在此之前，作者先将数据转换为了TDF体素网络，今天便来解析这部分是怎么做的。但是我昨天研究了一天，有一些地方还是没有搞懂，也只能先记录下来，如果有人明白，可以评论告诉我。先看github中给出的操作步骤：翻译一...
2019-06-15 10:22:07
4190
2
原创 使用深度学习进行点云匹配（三）
接上一篇，接下来我们要研究的是如何训练出点云中3DMatch描述子。这里我们要引入一个深度学习框架：Marvin,正如我们耳详能熟的keras，pytorch，tensorflow等深度学习框架一样，Marvin也是一个深度学习框架，那么它的特征是什么呢？Marvin是普林斯顿大学视觉工作组http://vision.princeton.edu/新推出的C++框架，它只支持GPU下运行使用，也就...
2019-06-15 10:21:50
3000
原创 使用深度学习进行点云匹配（五）
本文承接前一篇：使用深度学习进行点云匹配四，今天要研究的是关于TDF的具体含义和如何训练3D match描述子的方法。之前提到了使用3D match进行迁移学习的代码，但是那个相当于利用已经训练好的权重只进行了一次前向传播，得出512维的描述子后进行匹配，那么这些权重是如何训练出的，这就是今天要探究的主题。首先回顾一下TDF，之前提到的TDF我并没有很深的理解，今天再次细读论文，论文中的介绍是...
2019-06-15 10:21:36
2182
2
原创 使用深度学习进行点云匹配（四）
承接上一篇文章《使用深度学习进行点云匹配（三）》。因为之前提到过因为硬件原因我自己无法去训练3Dmatch描述子，因此接下来我的任务是尝试应用这个模型。我更换了原来的点云数据，新数据来自于斯坦福大学的3D扫描数据库，网址为;http://graphics.stanford.edu/data/3Dscanrep/,我使用了其中赫赫有名的兔子模型。点击蓝字进行下载，解压后会发现里面有很多ply...
2019-06-15 10:21:22
1996
1
原创 利用深度学习进行点云匹配（六）
本文承接上一篇：利用深度学习进行点云匹配（五）。之前的文章介绍了3D match如何进行点云匹配，总结来说它使用了Siamese network的设计思想，在Point cloud，Mesh和Depth map三种数据中找出匹配的对应点，围绕对应点取出一个立方块，计算它的TDF，将匹配的体素块送入模型中，要求训练的损失变得越来越小，同时为对应点找到一个随机的不对应点（这个点也是有要求的），并将...
2019-06-15 10:21:08
3156
3
原创 reduce_mem_usage函数，减少数据的内存
最近在做kaggle比赛的时候看到有一个函数reduce_mem_usage，可以对数据进行压缩，从而减少内存消耗，因此记录一下：def reduce_mem_usage(df, verbose=True): numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64'] start_mem = ...
2019-03-05 10:21:11
2895
原创 kaggle房价预测代码一：很好的stacking模版
今天开始做kaggle的房价预测比赛，这是一个回归问题的比赛，我找到了一份非常好的代码。原文链接：https://www.kaggle.com/serigne/stacked-regressions-top-4-on-leaderboard说一下在特征处理中的一些操作：1.删除价格异常值2.对标签做log转换，平滑化3.对缺失值采取不同的填充方式4.对类别特征按情况采取la...
2018-12-08 22:03:43
3954
1
原创 泰坦尼克号比赛预测5：能上0.83的代码
今天找到了一份可以上0.83的代码，真是令人震惊，作者只是用了knn的单模型就做到了这个成绩。其中他构建了一个很新奇的特征：家庭中是否有人存活，我不知道是不是这个意思。最后也没有交叉验证，甚至划分出验证集，只是使用了网格搜索，当然，这并不意味着作者做了很少的工作，实际上在他的Kernels中它提到了自己尝试了很多模型，最后发现knn表现非常好，原文链接如下：https://www.kaggle.c...
2018-12-08 10:57:51
635
原创 泰坦尼克号比赛预测四：使用keras基于深度学习预测
找到了一篇基于深度学习进行泰坦尼克比赛预测的代码。写得非常好，我做了一点点修改，准确了准确率在0.794代码是基于keras写的，以后再做此类问题时可以模仿着进行迁移。原文链接：https://www.kaggle.com/rafaelvleite/titanic-artificial-neural-network-80-score/code代码如下：# -*- coding: ...
2018-12-07 22:13:31
1243
原创 泰坦尼克号预测三：投票法
今天找到一篇新的关于泰坦尼克号比赛的分析文章，作者号称可以上0.8，但是我竟然跑了0.76，而线下是0.83，过拟合了。不过我觉得这里面的对于网格搜索和voting_classifier类的使用以及一些多变量联系的可视化操作是值得学习的，因此我把代码记录在下面，原文连接：https://www.kaggle.com/masumrumi/a-statistical-analysis-ml-workf...
2018-12-07 16:56:13
293
原创 泰坦尼克号比赛分层预测
上一篇最终提交了一下，结果是77。然后那一篇主要在于前面的特征工程，后面的模型部分没有很详细处理，今天找到一篇在模型建立上很好的文章，第一层作者用了5个模型分别进行预测，并且是交叉验证实现，然后作者把第一层的结果作为输出，又利用一个xgb模型作为第二层的训练，特征提取上与第一篇文章没有大的区别，那么结果我也提交了，分数是0.799，我也是醉了，差一点到0.8.代码贴出来如下，重点就是如何做的分层预...
2018-12-06 21:08:51
286
原创 泰坦尼克号比赛大神级分析
最近在学习如何打数据挖掘比赛，感觉以前自己根本没有分析的去做比赛，因此我在重温之前的一些比赛，想看一下大神的思路是怎样的，今天这个比赛就是kaggle的入门比赛：泰坦尼克号比赛。虽然是入门的，但是有太多的大神对这份数据提出了自己的见解，今天我看的这份报告是一个完全版的分析，英文版的，我想把它翻译过来，也记录一下大神的思路。（如果这是侵权，我就删除了。。。）先附上原文链接：https://www.k...
2018-12-05 20:26:27
735
原创 pandas 的describe函数的参数详解
基本上pandas的describe函数大家都会使用，我之前也是，直接data.describe(),就把数据的统计信息给打印出来了。但是今天因某些原因研究了一下describe的参数，才知道其实describe还有很多其他的作用。这是官方文档：http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.desc...
2018-12-04 21:54:59
64381
2
原创 数据比赛整理：西南财经大学-新网银行杯数据科学竞赛
比赛地址：http://www.dcjingsai.com/common/cmpt/%E8%A5%BF%E5%8D%97%E8%B4%A2%E7%BB%8F%E5%A4%A7%E5%AD%A6%E2%80%9C%E6%96%B0%E7%BD%91%E9%93%B6%E8%A1%8C%E6%9D%AF%E2%80%9D%E6%95%B0%E6%8D%AE%E7%A7%91%E5%AD%A6%E7%A...
2018-11-26 12:38:00
2367
1
原创 强化学习 DQN算法
（以下内容取自莫凡大神的教程：https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/4-1-A-DQN/）1，什么是DQN：一种融合了神经网络和 Q learning 的方法。2，为什么提出DQN：传统的表格形式的强化学习有这样一个瓶颈，用表格来存储每一个状态 state, 和在...
2018-11-05 11:59:10
25379
1
原创 强化学习 Sarsa-lambda算法走迷宫小例子
Sarsa-lambda是Sarsa算法的一种提速的方法。如果说 Sarsa 和 Qlearning 都是每次获取到 reward, 只更新获取到 reward 的前一步. 那 Sarsa-lambda 就是更新获取到 reward 的前 lambda 步. lambda 是在 [0, 1] 之间取值,如果 lambda = 0, Sarsa-lambda 就是 Sarsa, 只更新获取到...
2018-11-05 09:40:40
1402
原创 强化学习Sarsa算法走迷宫小例子
Sarsa算法：Sarsa算法与Q-learing算法的不同之处是什么？一个简单的解释，引用莫凡大神的话：他在当前 state 已经想好了 state 对应的 action, 而且想好了 下一个 state_ 和下一个 action_ (Qlearning 还没有想好下一个 action_) 更新 Q(s,a) 的时候基于的是下一个 Q(s_, a_) (Qlearning 是基...
2018-11-04 21:58:30
2764
原创 强化学习Q-leaning算法之走迷宫
来自于莫凡大神的强化学习教程，今天学习了走迷宫的小例子。网站网址是：https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/2-2-A-q-learning/代码如下，一些地方我做了注释：分三个文件1.maze_env.py 用thinker实现了迷宫的布局#!/usr/b...
2018-11-04 12:09:37
5232
原创 强化学习 Qlearning小例子
开始入门强化学习，最先看了莫凡大佬的视频，讲解Q-learning算法不得不说真的是通俗易懂。这里是视频地址：https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/2-1-general-rl/#￨ﾦﾁﾂﾹ然后贴一下大神写的代码，以后多多学习。这个小例子对学习理解Q-learning算法十...
2018-11-03 20:44:46
1770
1
原创 flask学习：开发一个微电影网站二：蓝图构建, 会员登录
一：什么是蓝图：一个应用中或跨应用制作应用组件和支持通用的模式,一个蓝图定义了可用于单个应用的视图，模板，静态文件等等的集合.二：蓝图的作用：1，将不同的功能模块化 2.构建大型应用 3.优化项目结构 4.增强可读性，易于维护三：蓝图构建项目的目录：1，定义蓝图（app/admin/__init__.py)from flask import Blueprintadm...
2018-10-22 16:07:37
623
原创 flask学习：开发一个微电影网站一：项目介绍
最近在学习flask，完成了入门学习，现在想找一个项目进行实战学习，看看系统的开发是怎么样的，然后看到了慕课网上有一个视频，使用flask开发一个微电影网站，因此决定花时间学习一下。一：首先介绍一下项目的结构：（以上图片都是从视频截出来的）。二：开发和生产环境如下：三：windows环境搭建如下： 四：前后台项目目录分析：manage.py 入口启动...
2018-10-22 10:35:19
1515
原创 flask学习：一个简单案例综合之前学到的知识
黑马的免费视频课关于入门flask的我看完了，最后第五章实现了一个小案例，基本涵盖了之前学到的所有知识。跟着敲了一遍，觉得还不错，因此把代码在这里分享一下。重要地方也都做了记录。前端截图如下：（竟然支持qq截图直接复制，csdn真的是越来越优秀了，点赞！！！）from flask import Flaskfrom flask import flash, request, red...
2018-10-21 21:57:55
363
1
原创 codeVS之旅：1475 m进制转十进制
1475 m进制转十进制 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 白银 Silver题解 查看运行结果题目描述 Description将m进制数n转化成一个十进制数 m<=16题目保证转换后的十进制数<=100输入描述 Input Description共一行n和m输出描述 Output Descripti...
2018-10-19 21:58:01
219
原创 codevs之旅：1474 十进制转m进制
1474 十进制转m进制 http://codevs.cn/problem/1474/ 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 白银 Silver题解 查看运行结果题目描述 Description将十进制数n转换成m进制数 m<=16n<=100输入描述 Input Description共一行n和m输...
2018-10-19 20:58:39
176
原创 flask学习：连接mysql数据库并建表
1.首先要下载 flask_sqlalchemy 和 flask_mysqldb。一般在pycharm中可以搜索到并且下载。如果出现问题，可以百度一下。2.配置数据库的相关设置：root：root,前一个是数据库用户名，后一个是密码。#配置数据库的地址app.config['SQLALCHEMY_DATABASE_URI'] = 'mysql://root:root@loca...
2018-10-19 16:22:14
5430
原创 pycharm 安装flask-mysqldb报错： Microsoft Visual C++ 14.0 is required..解决方法
当在pycharm中直接安装flask-mysqldb时报错：error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools参考这篇文章：https...
2018-10-19 10:21:44
651
原创 flask学习：使用flask-wtf添加验证逻辑
接上一篇，添加验证逻辑有以下几步：1.导入所需的方法：from wtforms.validators import DataRequired, EqualTo一个是要求不能有缺失值，一个是判断两个东西是否相等。2.在自定义表单类中进行添加：class LoginForm(FlaskForm): username = StringField(u'用户名:', vali...
2018-10-18 22:44:06
606
原创 flask学习：如何使用flask-wtf实现一个表单
使用flask-wtf实现表单分为以下几步：1.安装flask-wtf扩展，并且导入对应的方法from flask_wtf import FlaskFormfrom wtforms import StringField, PasswordField,SubmitField2.写一个对应表单元素的类。'''使用WTF实现表单，自定义表单类'''class LoginFor...
2018-10-18 21:21:06
253
原创 flask学习：实现一个简单的登录的逻辑处理
最近在学习flask框架，果然比javaweb简单很多。需求是实现一个简单的登录的逻辑处理。有判空和判断不一致的操作。其中app.py内容如下：from flask import Flask, render_template,request,flashapp = Flask(__name__)app.secret_key = 'xck''''目的：实现一个简单的登录的逻辑处...
2018-10-18 18:49:25
653
原创 codeVS之旅：1012 最大公约数和最小公倍数问题
1012 最大公约数和最小公倍数问题 http://codevs.cn/problem/1012/ 2001年NOIP全国联赛普及组 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 白银 Silver题解 查看运行结果题目描述 Description输入二个正整数x0,y0(2<=x0<100000,2<=y0<...
2018-10-16 10:56:44
344
原创 codeVS之旅：1160 蛇形矩阵
1160 蛇形矩阵 http://codevs.cn/problem/1160/ 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 白银 Silver题解 查看运行结果题目描述 Description小明玩一个数字游戏，取个n行n列数字矩阵（其中n为不超过100的奇数），数字的填补方法为：在矩阵中心从1开始以逆时针方向绕行，逐圈扩大，直到n行...
2018-10-14 12:45:31
331
原创 pytorch：实现简单的GAN（MNIST数据集）
# -*- coding: utf-8 -*-"""Created on Sat Oct 13 10:22:45 2018@author: www"""import torchfrom torch import nnfrom torch.autograd import Variableimport torchvision.transforms as tfsfrom tor...
2018-10-13 11:39:28
2249
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人