- 博客(71)
- 收藏
- 关注
RSS订阅原创 WIN10 docker部署TF模型
WIN10 Docker tensorflow serving重要参考：https://www.youtube.com/watch?v=uabNEQlpGM8下载docker百度网盘，不是最新版https://oomake.com/download/docker-windows最新版不需登陆，但是对系统版本有要求https://blog.csdn.net/tangyaya...
2020-04-26 20:12:52
861
原创 win10 anaconda+tensorflow-gpu+cuda9.0安装
参考清华镜像anaconda第三方库文件https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/win-64/window10上安装python+CUDA+CuDNN+TensorFlowhttps://www.cnblogs.com/touch-skyer/p/8367706.htmlWin10 Anaconda下Tenso...
2019-09-29 20:58:33
446
原创 python3 & 机器学习入门资料
python3软件：安装anaconda3，使用jupyter notebook作为编辑器anaconda3下载地址https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/菜鸟教程（学习python基础）https://www.runoob.com/python3/python3-tutorial.html代码实践https...
2019-08-14 11:51:48
375
原创 ffmpeg 视频 转分辨率&设置码率
ffmpeg -i input.mp4 -b:v 10000k -s 216x384 output4.mp4参考：http://blog.7cuu.com/aid/381.htmlhttps://blog.csdn.net/zhezhebie/article/details/79263492
2019-06-22 17:54:14
48922
1
原创 【数据结构与算法】task7 回溯&分治&动态规划
回溯利用回溯算法求解八皇后问题参考：https://github.com/wangzheng0822/algo/blob/master/python/39_back_track/eight_queens.py# 棋盘尺寸BOARD_SIZE = 8solution_count = 0queen_list = [0] * BOARD_SIZEdef eight_queen...
2019-05-27 09:46:21
263
原创 【数据结构与算法】task6 图
参考：https://github.com/TheAlgorithms/Python/tree/master/graphs实现有向图、无向图、有权图、无权图的邻接矩阵和邻接表表示方法参考：https://blog.csdn.net/qq_35295155/article/details/78639997https://blog.csdn.net/fly_hawk/article/det...
2019-05-24 16:02:21
420
原创 【数据结构与算法】task5 二叉树&堆
二叉树定义二叉查找树（Binary Search Tree），又称为二叉搜索树、二叉排序树。其或者是一棵空树；或者是具有以下性质的二叉树：若左子树不空，则左子树上所有结点的值均小于或等于它的根结点的值 若右子树不空，则右子树上所有结点的值均大于或等于它的根结点的值 左、右子树也分别为二叉排序树树中节点的定义如下：class Node: def __init__(...
2019-05-22 10:12:40
205
原创 【数据结构与算法】task4 散列表（哈希表）&字符串
散列表（哈希表）实现一个基于链表法解决冲突问题的散列表参考：https://blog.csdn.net/qq_36047533/article/details/89341156# -*- coding: utf-8 -*-"""Created on Tue Apr 16 21:06:20 2019@author: janti"""class Node: def _...
2019-05-20 09:18:39
340
原创 【数据结构与算法】task3 排序&二分查找
排序参考：https://github.com/wangzheng0822/algo/tree/master/python归并排序def merge_sort(a): _merge_sort_between(a, 0, len(a) - 1)def _merge_sort_between(a, low, high): # The indices are inclu...
2019-05-18 14:23:40
214
原创 【数据结构与算法】task2 栈&队列&递归
栈（stack）栈，堆栈，是一种容器，可存入数据元素、访问元素、删除元素。它的特点在于只能允许在容器的一端（称为栈顶端指标，top）进行加入数据（push）和输出数据（pop）的运算。没有了位置概念，保证任何时候可以访问、删除的元素都是此前最后存入的那个元素，按照后进先出（LIFO, Last In First Out）的原理运作。应用场景：函数调用。如：函数A调用B，B调用C，最后调...
2019-05-15 20:29:43
319
原创 【数据结构与算法】task1 数组&链表
https://github.com/datawhalechina/Programminghttps://github.com/TheAlgorithms/Pythonc++https://github.com/wangzheng0822/algo/tree/master/c-cpppythonhttps://github.com/wangzheng0822/algo/tree/m...
2019-05-11 18:20:56
245
原创 音频重采样 python+librosa
原始音频采样率为48kHz，利用librosa库中的resample函数将这段音频下采样到16KHz。import librosafilename = 'ClapSound.wav'newFilename = 'ClapSound_8k.wav'y, sr = librosa.load(filename, sr=48000)y_16k = librosa.resample(y,s...
2019-04-21 12:10:43
2580
转载 numpy中负值统一改为0
data[data < 0] = 0参考numpy中负值统一置0技巧与分析https://blog.csdn.net/grey_csdn/article/details/69371653
2019-04-08 17:17:11
11191
转载 Python librosa.feature.mfcc提取音频特征
librosa.feature.mfcc参数介绍librosa.feature.mfcc(y=None, sr=22050, S=None, n_mfcc=20, dct_type=2, norm='ortho', **kwargs)y:np.ndarray [shape=(n,)] 或 None音频时间序列sr:number > 0 [scalar]y的采样率S:...
2019-04-04 11:24:37
5904
原创 【NLP实践-Task10 BERT】Transformer & BERT
目录Transformer原理Transformer总体结构Self-AttentionMulti-Headed AttentionPositional EncodingLayer normalizationDecoder层MaskPadding MaskSequence mask输出层BERT的原理1. Masked LM (MLM)2. ...
2019-03-23 01:11:19
1679
1
原创 python txt转list
label_path = 'test.txt'file = open(label_path,'r')label = [eval(x.strip()) for x in file]file.close()print(label)
2019-03-20 16:48:50
5311
1
原创 【NLP实践-Task9 Attention原理 】attention & HAN & 文本分类实战
目录Attention原理背景Encoder-Decoder框架Soft Attention模型Attention机制的本质思想Self Attention模型Attention机制的应用HAN的原理（Hierarchical Attention Networks）Attention文本分类实战训练结果参考Attention原理背景 ...
2019-03-19 12:42:56
1318
原创 【NLP实践-Task8 循环神经网络】LSTM详解 & Text-RNN文本分类 & RCNN原理
目录RNN基础循环神经网络（Recurrent Neural Networks）RNN的训练方法——BPTT算法（back-propagation through time）长期依赖（Long-Term Dependencies）问题LSTM（long short-term memory）LSTM 的核心思想逐步理解 LSTMLSTM 的变体GRU（Gated ...
2019-03-17 09:33:12
7644
1
原创 【NLP实践-Task7 卷积神经网络】Text-CNN文本分类
目录卷积运算的基本概念稀疏权重参数共享等变表示一维卷积运算二维卷积运算三维卷积运算反卷积原理tf.nn.conv2d_transpose池化运算的基本概念介绍种类Text-CNN原理模型架构介绍输入层卷积层全连接层输出层Text-CNN文本分类实战数据集预处理模型结构及代码训练参考卷积运算的...
2019-03-15 18:09:55
2044
原创 【NLP实践-Task6 简单神经网络】文本表示&fasttext
目录文本表示one-hot介绍one-hot在提取文本特征上的应用优缺点分析sklearn实现one hot encodeword2vecCBOW模型的理解CBOW模型流程举例fasttextfasttext介绍应用场景优点原理fasttext与word2vec对比fasttext文本分类实战参考文本表示one-hot介绍...
2019-03-13 16:27:36
497
原创 windows安装fasttext
下载https://www.lfd.uci.edu/~gohlke/pythonlibs/#fasttext安装cmd进入该whl文件所在的文件夹下，输入命令进行安装：pip install fasttext-0.8.22-cp36-cp36m-win_amd64.whl测试是否安装成功未报错，说明已安装成功。注意：导入的时候是fastText而不是fastte...
2019-03-13 15:56:31
4900
原创 【NLP实践-Task5 神经网络基础】深度学习基础
目录前馈神经网络反向传播输入/隐藏/输出层隐藏单元（激活函数）ReLU（修正线性单元）Sigmoid/ tanhSoftmax激活函数对比sigmoidtanhreluleaky relu激活函数选取准则损失函数损失函数的非凸性常用的损失函数0-1损失绝对值损失log对数损失函数平方损失函数指数损失函数Hin...
2019-03-12 14:02:25
691
转载 DL优化算法总结
批量梯度下降(Batch gradient descent) 批量梯度下降每次学习都使用整个训练集来更新模型参数，即： θ=θ−η⋅∇θJ(θ) 每次使用全部训练集样本计算损失函数的梯度，然后使用学习速率朝着梯度相反方向去更新模型的...
2019-03-12 11:21:50
3083
原创 Windows安装和使用sox音频处理工具
sox下载https://sourceforge.net/projects/sox/files/sox/sox安装并检查是否安装成功双击安装后，将文件夹路径加入到环境变量。sox获取音频的统计信息sox foo.wav -n statsox降低音量至原始的9%sox -v -0.09 foo.wav bar.wavsox改变播放速度stre...
2019-03-11 20:59:21
5222
转载 python写 两只老虎.wav 音频文件
import waveimport structimport math def write_frame(time,freq,framerate,file,wave=0.4,sampwidth=2): #time 持续时间 freq 音频频率 framerate采样频率 file 音频文件 wave 音量 sampwidth 采样深度 t=0#时刻 step=1.0...
2019-03-11 20:09:48
1278
原创 pydub分割并保存音频
按ms分割from pydub import AudioSegmentfile_name = "denoise_0306.wav"sound = AudioSegment.from_mp3(file_name)# 单位：mssound1 = sound[:1000]sound2 = sound[1550:1900]sound3 = sound[2300:2600]sound4...
2019-03-11 19:32:33
3955
1
原创 python(moviepy ) mp4视频拼接&截取
moviepy视频拼接# 主要是需要moviepy这个库from moviepy.editor import *import os# 定义一个数组L = []# 访问 video 文件夹 (假设视频都放在这里面)for root, dirs, files in os.walk("./video"): # 按文件名排序 files.sort() #...
2019-03-11 19:14:32
10975
原创 python自然排序natsort
常规排序sort()from natsort import natsorteda = ['1.mp4', '3.mp4', '10.mp4', '2.mp4']a.sort()print(a)可以看到，sort()在进行文件名排序时，是从前往后逐字符比较，这并不是我们想要的结果。这时，可以使用第三方库natsort。自然排序natsortfrom natsort i...
2019-03-11 14:26:04
8802
原创 【NLP实践-Task4 传统机器学习】朴素贝叶斯 & SVM & LDA文本分类
目录朴素贝叶斯原理公式朴素贝叶斯的优点朴素贝叶斯的缺点利用朴素贝叶斯进行文本分类SVM简介利用SVM模型进行文本分类文本特征提取文本特征表示归一化处理文本分类pLSA、共轭先验分布、LDA简介主题模型简介pLSA共轭先验分布定义及公式LDALDA介绍LDA生成过程LDA整体流程LDA文本分类获取训练矩阵和单词...
2019-03-08 14:09:13
1464
1
原创 【NLP实践-Task3 特征选择】TF-IDF&互信息
目录TF-IDF原理TF-IDF代码方法1：使用TfidfTransformer方法2：使用TfidfVectorizer（推荐）互信息的原理点互信息PMI互信息MI对特征矩阵使用互信息进行特征筛选sklearn.metrics.mutual_info_scoresklearn.feature_selection.mutual_info_classif参...
2019-03-07 11:56:25
1759
原创 【NLP实践-Task2 特征提取】文本处理&语言模型&文本矩阵化
目录基本文本处理技能分词的概念正向最大匹配法逆向最大匹配法双向最大匹配法词、字符频率统计语言模型语言模型中unigram、bigram、trigram的概念文本矩阵化分词新词识别自定义词典关键词提取去除停用词构造词表文档向量化参考基本文本处理技能 目前有三大主流分词方法：基于字符串匹配的分词方法、基于理解的分词...
2019-03-05 19:04:54
1107
原创 win10安装PyTorch 1.0
方法1打开官网https://pytorch.org/网站会自动检测本机配置：安装打开终端，按官网所示，输入命令：conda install pytorch torchvision -c pytorch测试是否安装成功import torch查看PyTorch版本print(torch.__version__)方法2http...
2019-03-05 09:14:41
3609
原创 【NLP实践-Task1 数据集探索】THUCNews&IMDB&常用评价指标
Tensorflow.keras目录1、THUCNews1.1 数据集下载及介绍1.2 预处理1.3 搭建CNN模型1.3.1 模型代码1.3.2 模型结构1.4 训练与验证1.4.1 代码1.4.2 开始训练1.4.3 使用tensorboard查看训练集的误差曲线与准确率曲线1.4.4 测试2、IMDB2.1 下载数据2.2 探索数据...
2019-03-02 14:51:20
1731
原创 利用python-opencv读取视频，计算视频总帧数以及FPS
参考：https://blog.csdn.net/qq_37902216/article/details/849878941、计算总帧数import osimport cv2 video_cap = cv2.VideoCapture('test0116.mp4') frame_count = 0all_frames = []while(True): ret, fra...
2019-02-21 18:54:43
7928
原创 windows 64位 dlib安装
下载dlib下载地址：https://pypi.org/simple/dlib/ 安装pip install F:\system\dlib-19.8.1-cp36-cp36m-win_amd64 测试
2019-02-20 17:17:25
634
原创 【机器学习算法总结】XGBoost
目录1. XGBoost2.CART树2.1 优缺点2.2 分裂依据2.2.1 分类2.2.2 回归2.3总结2.4 参考3. 算法原理3.1 定义树的复杂度3.2 打分函数计算示例3.3 分裂结点3.3.1 贪心法3.3.2 近似算法3.3.3 分布式加权直方图算法（Weighted Quantile Sketch）4. 损失函数...
2018-12-24 19:33:54
6025
原创 【机器学习算法总结】GBDT
目录1、GBDT2、GBDT思想3、负梯度拟合4、损失函数4.1、分类4.2、回归5、GBDT回归算法6、GBDT分类算法6.1、二分类6.2、多分类7、正则化8、RF与GBDT之间的区别与联系9、优缺点优点缺点10、应用场景11、主要调参的参数12、sklearn.ensemble.GradientBoostingClass...
2018-12-21 18:34:16
24469
2
原创 【机器学习算法总结】RF（随机森林）
目录1. 集成学习概念2. Boosting流程3. Bagging流程4. 结合策略(平均法，投票法，学习法)平均法投票法学习法5. 随机森林思想6. 随机森林的推广extra treesTotally Random Trees Embedding7. 优缺点优点缺点8. 主要调参的参数9. sklearn.ensemble...
2018-12-19 21:04:38
6413
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人