- 博客(45)
- 收藏
- 关注
RSS订阅原创 使用wikiextractor 提取wiki数据
wikiextractor包链接地址：https://github.com/attardi/wikiextractor安装wikiextractor: pip install wikiextractor然后下载wiki语料库，下载地址: https://dumps.wikimedia.org/zhwiki/latest/我下载的是：zhwiki-latest-pages-articles.xml.bz2然后使用下面命令：python -m wikiextractor.WikiExtractor -
2021-04-28 10:37:31
1974
1
原创 DSSM pytorch实现
之前在网上找到了一个文本匹配实现仓库，但是没有提供DSSM的代码，我就根据那个代码实现以下DSSM。数据集采用的是蚂蚁金服的数据集。也参考过别人的代码，但是总感觉怪怪的，DSSM原文中，一个query有对应的正样本和负样本，因此在实现的时候分别计算query与正负样本的余弦相似度，最后拼接再接softmax，但是蚂蚁金服数据集中每一个样本都已一个query和doc,对应一个label，并没有成对的正负样本，因此在实现中遇到了困难，因此最后我索性直接将余弦值作为网络输出，貌似还取得了不错的效果，那么代码会有些
2021-04-06 09:40:21
2098
2
原创 百度面试
作者：给个offer吧123！链接：https://www.nowcoder.com/discuss/488755?source_id=profile_create&channel=1009来源：牛客网我之前通过非定向内推提前批，简历一直处于筛选状态中，然后大概在8.18在牛客看到一个前辈所在部门（推荐搜索）招人，就把简历发给了前辈，然后隔了两三天就通知了面试。一面 （8.21 46分钟）自我介绍后，面试官就问了我广告算法比赛，问我是如何构建特征的，以及如何识别哪些特征是重要的，然后就涉
2020-11-05 14:37:14
433
原创 字节跳动面试准备（参考面经）
算法：字节跳动，蘑菇街凉面字节跳动-ailab-视觉算法面经字节跳动算法岗一二面面经字节跳动算法工程师岗一二三面经字节跳动算法二面凉经字节二面凉经字节跳动面试一面凉凉字节跳动算法岗一面凉经字节跳动ailab面经字节跳动 算法全四面 详细面经 已拿意向书字节跳动算法岗提前批面经字节跳动 AI lab 三面记录字节AiLab CV 面经，已经收到感谢信字节跳动 AILab 二面记录字节跳动计算机视觉算法面（凉）经算法提前批三轮面经，前来回馈广大牛油们~字节跳动2020届提前批
2020-06-30 12:14:13
1171
原创 XGBoost 生成的树
之前我有个疑问，XGBoost,生成的树种，每棵树用到了一样的特征码？所以，首先需要把树给画出来，请参考以下链接：https://blog.csdn.net/anshuai_aw1/article/details/82988494?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-9&am...
2020-04-16 10:57:59
475
原创 阿里笔试3.23
才发现，做笔试犯了一个很低级的错误，导致一道题都没通过，也不知道对不对，将就看吧# 第一题：给定一个3*n的矩阵，从每一列选出一个数字组成一个长度为n的列表，使得列表的绝对值之和最小，即sum(a[i]-a[i+1]).a=[[48,9,7,15,6], [89,51,2,7,62], [21,9,18,30,81]]# a=[]# for i in range(3):# ...
2020-03-31 12:39:17
404
原创 优酷视频增强和超分表率挑战赛总结
Team 1st研究现状：1 残差结构：EDSR2 多分支结构:REDNet3循环结构：DRCN4 渐进式结构：SCN5 注意力机制：RCAN，DRLN6 对抗模型：ESRGAN视频帧对齐视频帧融合方法：三维卷积，循环结构，滤波器预测EDVR：对齐——融合——重建EDVR问题：感知能力不够强对齐模块：3D Non Local (何凯明)作者的模型：separate ...
2019-11-22 22:23:51
395
原创 计数排序和桶排序
计数排序#找到数组中的最大值和最小值def findMinMax(array): maxnumber = array[0] for i in range(1,len(array)): if array[i]>maxnumber: maxnumber = array[i] minnumber = array[0] fo...
2019-10-14 09:30:54
131
原创 分享一个完整的scikit-learn 学习地址
scikit-learn 官方文档中文教程：https://sklearn.apachecn.org/对应的github地址：https://github.com/scikit-learn/scikit-learn在这个教程想学习一下如何处理文本数据，有些东西没找到，在github马上就找到了，给大家分享一下。...
2019-08-31 10:17:17
653
原创 matalb计算灰度图像PSNR
原始图像和去噪图像分别在两个文件夹里clc, clear all;denoise_dir=fullfile('D:\视频数据集\4\denoise_10\');label_dir=fullfile('D:\视频数据集\4\test_label\');subdir_denoise = dir(fullfile(denoise_dir,'*.jpg'));subdir_label = d...
2019-03-08 22:46:44
3048
原创 视频去噪资料整理（深度学习方法）
近几天做了一些视频去噪的一些边缘工作，故整理一下。首先是视频的预处理和加噪。这里主要参考了VBM4D（链接： http://www.cs.tut.fi/~foi/GCF-BM3D/ ）中的加噪方法：首先读取一个视频，然后加噪代码如下：function y = read_video(file_name, frames) fprintf('Loading test sequence "...
2019-03-07 11:04:43
5804
5
原创 X265编译
没有科研命，被老师频繁患者方向，每次也都是做着一些杂活，而现在也已经看开了，能让我毕业就行。做图像压缩时被要求用x265来对图像编码，做一些测试任务，虽然每天做着一些杂活，但索性还是记录些来吧。第一步：编译x265进入x265官网 http://www.x265.org/ ,然后进入 https://bitbucket.org/multicoreware/x265 ，有各种系统的编译步骤，...
2019-02-24 14:03:19
2095
原创 VAE（变分自动编码器）
首先先贴上一些有用的链接：https://www.cnblogs.com/king-lps/p/8477300.htmlhttps://zhuanlan.zhihu.com/p/29685634第一个链接是一个博主在看了李宏毅老师讲的视频之后的理解和总结，第二个是某知乎大佬对VAE的公式推导，两个我都看了，觉得写得很好。自己的理解：前者是从解码器端开始推导，后者是从编码器段开始推导，但是最...
2019-01-23 10:55:50
844
3
原创 机器学习实战——K-均值聚类算法
K-Means聚类算法属于无监督学习算法 python实现（机器学习实战）import numpy as npimport matplotlib.pyplot as pltdef loadDataSet(filename): dataMat=[] fr=open(filename) for line in fr.readlines(): cur...
2018-09-04 22:00:28
408
转载 机器学习实战 第九章树回归 错误总结
我的是python3.6 第一处：def binSplitDataSet(dataSet, feature, value): mat0 = dataSet[np.nonzero(dataSet[:,feature] > value)[0],:][0] mat1 = dataSet[np.nonzero(dataSet[:,feature] <= value)[0]...
2018-08-24 22:23:23
561
转载 反向传播算法资料汇总
作者：Anonymous 链接：https://www.zhihu.com/question/27239198/answer/89853077 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。以求e=(a+b)*(b+1)的偏导为例： 在图中，引入了中间变量c,d。为了求出a=2, b=1时，e的梯度，我们可以先利用偏导数的定义求出不同层之间相邻...
2018-08-23 15:43:40
154
原创 AdaBoost
这几天学了AdaBoost算法，自己其实也没有很理解，但还是要总结一下！ 资料： 西瓜书—机器学习（内容偏少） 统计学习方法—李航（内容详细，还有例题，更加容易理解） 机器学习实战 博客： https://blog.csdn.net/guyuealian/article/details/70995333 （例子详细，一步一步计算的，看完了就懂了吧） https://blog.csd...
2018-08-20 21:53:22
247
转载 Pytorch 自定义torch.autograd.Function
转载自: https://zhuanlan.zhihu.com/p/27783097 https://www.jianshu.com/p/5d5d3957f684 ReLu 函数求导示例：# -*- coding:utf8 -*-import torchfrom torch.autograd import Variableclass MyReLU(torch.autogra...
2018-08-20 21:48:48
4607
原创 win7 安装pytorch
第一步：安装 Anaconda3 ; 第二步：安装pycharm,选取python环境，我是3.6的 （我之所以安装这两个，是因为我最后用的是pycharm环境，而Anaconda3主要是准备好python环境） 我的版本如下: 接下来安装pytorch; 打开Anaconda3下的Anaconda prompt 输入以下命令：pip install http://downlo...
2018-07-04 17:47:10
2338
原创 机器学习实战之Logistic回归小结
本文主要记录我在学习机器学习实战Logistic回归这一章遇到的问题。之前也学习过逻辑回归，逻辑回归一般解决分类问题，之前结合了吴恩达教授的机器学习课程和周志华教授的西瓜书，现在又用机器学习实战这本书籍来学习，这两种方法在实现过程中存在一些差异。吴恩达机器学习课程和周志华教授的做法如下： 上面来自吴恩达教授的笔记，详细讲述了损失函数推到过程。在机器学习实战中： 参数更新方式...
2018-07-02 13:50:19
491
原创 python 安装feedparser
第一步：下载setuptools并安装；链接：https://pypi.python.org/pypi/setuptools 参考博客：https://blog.csdn.net/DongGeGe214/article/details/52199439 第二步：下载feedparser并安装；链接：https://pypi.python.org/pypi/feedparser 参考博客：h...
2018-06-20 20:02:48
613
转载 朴素贝叶斯分类器
原博文地址：https://blog.csdn.net/amds123/article/details/70173402#commentsedit带你搞懂朴素贝叶斯分类算贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。这篇文章我尽可能用直白的话语总结一下我们学习会上讲到的朴素贝...
2018-05-27 16:37:19
295
转载 图像超分辨
原博客地址：https://blog.csdn.net/u011630458/article/details/65635155 简介 这段时间在看基于字典的单帧图像超分辨率重建，本篇主要是对这块做个笔记记录。基本原理预处理 1、准备好用于字典训练的低分辨率图像LR及与...
2018-05-25 20:22:04
3411
转载 AdaBoost
原博客地址：https://blog.csdn.net/Dark_Scope/article/details/14103983 一.引入         对于Adaboost，可以说是久闻大名，据说在Deep Learning出来之前，SVM和Adaboost是效果最好的 ...
2018-05-25 11:44:27
285
原创 机器学习实战之KNN分类算法
示例：使用KNN改进约会网站配对效果(学习这一节把自己需要注意的和理解的记录下来)第零步：实现KNN算法： 需注意：classCount[voteIlabel] = classCount.get(voteIlabel,0)+1#Python 字典(Dictionary) get() 函数返回指定键的值，如果值不在字典中返回默认值。参考：http://www.runoob.com/p...
2018-05-13 22:35:59
223
转载 python之math模块
函数 说明 实例 math.e 自然常数e >>> math.e2.718281828459045 math.pi 圆周率pi >>> math.pi3.141592653589793 math.degrees(x) 弧度转度 >>> math.degrees(math.pi)180.0 math.radians(x) 度转弧度 >>> math.radians(45)0.7853981633974
2018-05-05 14:49:32
249
转载 python数据分析与处理
Python数据处理手册关键词： PythonPython数据处理手册1引言2Numpy基础数组和矢量计算1 一种多维数组对象ndarray2 运算函数3 利用数组进行数据处理4 数组的文件输入输出5 线性代数6 随机数生成pandas1 Series2 DataFrame3 索引对象4 重新索引5 丢弃指定轴上的项6 索引选取和过滤7 算术运算和数据对齐8 Dat
2018-05-05 14:26:16
363
转载 Xnor_Net
原作者博客地址： XNOR-Net算法详解 论文：XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks 链接：https://arxiv.org/abs/1603.05279 代码地址：http://allenai.o...
2018-04-16 10:52:28
204
转载 torch.ge,torch.gt,torch.le
torch.getorch.ge(input, other, out=None) → Tensor逐元素比较input和other，即是否 input>=otherinput>=other。如果两个张量有相同的形状和元素值，则返回True ，否则 False。 第二个参数可以为一个数或与第一个参数相同形状和类型的张量参数:input (Tensor) – 待对比的张量other (Tensor
2018-04-08 10:58:31
18129
原创 ubuntu16.04 pytorch 安装
进入pytorch 官网：pytorch,会直接看到安装命令： 它用pip安装的，用命令下载安装包，但是这样通常速度很慢，我这上面10-20K/S, 安装包接近500MB，所以最好下载 .whl离线文件。 所以点击上图右下角，进入下载界面： 我选择的是cuda8.0版本，python2.7 ：cu80/torch-0.2.0.post3-cp27-cp27mu-manyli...
2018-03-11 13:25:47
6493
原创 python配置opencv
首先，如果大家想安装python，不如安装Anaconda（百度进入官网，下载和电脑环境相匹配的安装包），Anaconda可以说很方便，里面有好几种python编程环境，而且常见的包都安装好了。 接下来介绍在python环境里安装opencv.(我就介绍Anaconda环境吧），安装好Anaconda之后，里面有个类似于windows的cmd命令行界面： 安装opencv包，需要先安装好nu
2018-01-11 20:22:57
1570
原创 tensor 和 numpy 的互相转换
要对tensor进行操作，需要先启动一个Session,否则，我们无法对一个tensor比如一个tensor常量重新赋值或是做一些判断操作，所以如果将它转化为numpy数组就好处理了。下面一个小程序讲述了将tensor转化为numpy数组，以及又重新还原为tensor：import tensorflow as tfimg1 = tf.constant(value=[[[[1],[2],[3],[4
2017-12-09 11:40:19
126903
3
原创 tf.nn.separable_conv2d 用法
下面来介绍tf.nn.separable_conv2d 的用法。 可以参考官方文档：官方文档 大家只要知道函数的参数，以及参数的设定方式：input: 一个Tensor。数据维度是四维 [batch, in_height, in_width, in_channels]。 depthwise_filter: 一个Tensor。数据维度是四维 [filter_height, filter_widt
2017-11-25 22:03:54
3399
原创 深度神经网络模型压缩
深度学习近几年非常火，网络不断涌现，从AlexNet,GoogleNet,VggNet到ResNet,DenseNet,这些网络不断地提升各大分类比赛，识别比赛的精度，因此研究者们又开始着手于深度学习的实际应用，试图将深度学习算法能够应用在手机，嵌入式等移动设备和终端设备中。我本人之前也在思考：卷积神经网络固然在图像，计算机视觉等方面大显神通，但是它们参数量之大，占用大量内存，消耗大量资源和电量，它
2017-11-23 16:52:39
1739
原创 Resnet解决了什么问题
先贴出论文的链接吧：If resnets are the answer, then what is the question? 从现在的网络发展趋势来看，网络越深，精度会越高，但是传统的堆叠网络却无法不断加深网络层数，原因是梯度消失和梯度爆炸。自从Resnet提出以后，网络越深，精度就越好，这是为什么。我一直以为是由于Resnet 的 skip-connections解决了梯度消失的问题，在用反向
2017-11-20 16:35:22
3016
1
原创 Robust PCA Low-rank(附matalb 代码）
最近在看的论文中，包括人脸识别，以及模型压缩等论文中，都会有low-rank(低秩),低秩稀疏分解等解决方法，感觉关于low-rank的研究还挺火的，这个问题和robust PCA问题很像，都需要解决一下问题： 在此之前，我需要先把一些资料的链接放出来，这些资料很有用。 Robust PCA 原理：原理1 原理2 Robust PCA matlab code:code 原理里讲了很多范
2017-11-15 13:52:47
8603
6
原创 奇异值分解（SVD）
奇异值分解在矩阵理论中非常重要，也有很多实际运用，比如推荐系统，利用满秩分解还能节约存储空间。 在介绍原理之前，先说一下一些概念： 1 酉（you,三声，我都不知道这个字怎么读，哈哈）矩阵。 如果n阶复矩阵A满足： 则称之为酉矩阵，是不是和正交矩阵的定义很相似，AHA^{H}指的是A的共轭对称，如果A是实矩阵，则就是转置，其实我们基本遇到的就是实矩阵。 2 定义：设A
2017-11-12 21:52:42
346
原创 机器学习之逻辑回归代码
下面主要提供逻辑回归的代码。 数据下载：数据下载 这是老师布置的作业，现把完整代码附上。 代码如下（python 3.6）：# -*- encoding: utf-8 -*-from __future__ import print_functionimport numpy as npimport scipy.optimize as opimport matplotlib.pyplot as
2017-11-11 10:02:04
539
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人