- 博客(55)
- 收藏
- 关注
RSS订阅原创 Window上Pyrcharm 代码同步到linux服务器上
现在好多开发代码运行都是在linux 服务器上面，但linux服务器基本都是没有用户界面的，使用linux下面代码编辑器是非常不方便，经常会在Windows下面开发好然后再弄到linux服务器上面运行，这样是非常不方便的。在pycharm 中就可以满足这样的需求，我们在windows上的pycharm编辑好的代码就可以直接同步到linux 然后再linux下面运行。下面将详细介绍此过程：...
2019-04-12 17:37:46
813
原创 Python向excel中写入数据
最近做了一项工作需要把处理的数据写入到Excel表格中进行保存，所以在此就简单介绍使用Python如何把数据保存到excel表格中。数据导入之前需要安装xlwt依赖包，安装的方法就很简单，直接pip install xlwt，如果电脑安装过就不需要重复安装。接下来将做一个简单的demo。把三行数据添加到excel中。具体例子代码：#!/usr/bin/env pyt
2017-12-03 19:16:50
78253
13
原创 机器翻译基础
端到端的神经网络机器翻译（End-to-End Neural Machine Translation）是近几年兴起的一种全新的机器翻译方法。本文首先将简要介绍传统的统计机器翻译方法以及神经网络在机器翻译中的应用，然后介绍NMT中基本的“编码-解码”框架（Encoder-Decoder）。本文中，详细介绍的工作有： Kyunghyun Cho, Bart van Merrenboer, C
2017-09-03 22:55:53
855
原创 Python 引包 argparse 程序执行解析命令行参数介绍
argparse是Python用于解析命令行参数和选项的标准模块，用于代替已经过时的optparse模块。argparse模块的作用是用于解析命令行参数。具体代码栗子：#coding:utf-8import argparseimport numpy as npimport nltkdef main(args): print args.a print args.b
2017-06-24 12:39:03
1129
原创 Python 中 os 模块使用方法
os 模块提供了一个统一的操作系统接口函数, 这些接口函数通常是平台指定的,os 模块能在不同操作系统平台如 nt 或 posix中的特定函数间自动切换,从而能实现跨平台操作。下面将介绍 os 模块的命令用法：（1）os.name: 字符串指示你正在使用的平台。比如对于Windows，它是'nt'，而对于Linux/Unix用户，它是'posix'。（2）os.stat(file)：文
2017-06-22 10:30:06
892
原创 TensorFlow 读取CSV数据代码实现
TensorFlow 读取CSV数据原理在此就不做详细介绍，直接通过代码实现：方法一：详细读取tf_read.csv 代码#coding:utf-8import tensorflow as tffilename_queue = tf.train.string_input_producer(["/home/yongcai/tf_read.csv"])reader = tf.
2017-06-19 23:10:56
7147
原创 TensorFlow 中三种启动图 用法
介绍 TensorFlow 中启动图： tf.Session()，tf.InteractivesSession()，tf.train.Supervisor().managed_session() 用法的区别：（1）tf.Session() 构造阶段完成后, 才能启动图. 启动图的第一步是创建一个 Session 对象, 如果无任何创建参数, 会话构造器将启动
2017-06-19 14:44:44
10040
原创 TensorFlow 中 dropout 的使用介绍
dropout 主要作用就是防止过拟合。dropout 一般都是用在全连接中，在卷积部分不会用到 dropout ，输出层也不会用到，一般用在输入层与输出层之间。在 tensorflow 中有两种形式：（1）tf.nn.dropout(x, keep_prob, noise_shape = None, seed = None, name = None)（2）tf.contrib.r
2017-06-19 11:24:48
4010
原创 TensorFlow 中 tf.app.flags.FLAGS 的用法介绍
下面介绍 tf.app.flags.FLAGS 的使用，主要是在用命令行执行程序时，需要传些参数，代码如下：新建一个名为：app_flags.py 的文件。#coding:utf-8# 学习使用 tf.app.flags 使用，全局变量# 可以再命令行中运行也是比较方便，如果只写 python app_flags.py 则代码运行时默认程序里面设置的默认设置# 若 pyth
2017-06-19 09:31:41
49698
5
原创 Python 中 sorted 的用法
sorted 排序方法主要是用在 list 和 dict 中。sorted 介绍：其中， iterable 是可迭代类型 cmp 是用于比较的函数，比较什么由key 决定 key 是列表元素的某个属性或函数进行作为关键字，有默认值，迭代集合中的一项 reverse 是排序规则，reverse = Tr
2017-06-18 14:09:37
2853
原创 Python 实现各种排序算法
本文用Python实现了插入排序、希尔排序、冒泡排序、快速排序、直接选择排序、堆排序、归并排序。1、插入排序描述插入排序的基本操作就是将一个数据插入到已经排好序的有序数据中，从而得到一个新的、个数加一的有序数据，算法适用于少量数据的排序，时间复杂度为O(n^2)。是稳定的排序方法。插入算法把要排序的数组分成两部分：第一部分包含了这个数组的所有元素，但将最后一个元素除外（让数组多一个空间
2017-06-15 11:17:40
959
原创 Word2vec 使用总结
word2vec是google 推出的做词嵌入（word embedding）的开源工具。 简单的说，它在给定的语料库上训练一个模型，然后会输出所有出现在语料库上的单词的向量表示，这个向量称为"word embedding"。基于这个向量表示，可以计算词与词之间的关系，例如相似性(同义词等)，语义关联性（中国 - 北京 = 英国 - 伦敦）等。NLP中传统的词表示方法是 one-hot repre
2017-06-15 10:32:20
1906
原创 Word2vec 原理公式推到和代码实现
本文摘录整编了一些理论介绍，推导了word2vec中的数学原理；并考察了一些常见的word2vec实现，评测其准确率等性能，最后分析了word2vec原版C代码；针对没有好用的Java实现的现状，移植了原版C程序到Java。时间和水平有限，本文没有就其发展历史展开多谈，只记录了必要的知识点，并着重关注工程实践。虽然我的Java方案速度比原版C程序高出1倍，在算法代码与原版C程序一致的情况下
2017-06-15 10:17:22
5511
5
原创 TensorFlow 笔记（五）：模型保存和恢复
保存与读取模型在使用tf来训练模型的时候，难免会出现中断的情况。这时候自然就希望能够将辛辛苦苦得到的中间参数保留下来，不然下次又要重新开始。好在tf官方提供了保存和读取模型的方法。保存模型的方法：# 之前是各种构建模型graph的操作(矩阵相乘，sigmoid等等....)saver = tf.train.Saver() # 生成saverwith tf.Session() a
2017-06-15 10:11:14
813
原创 TensorFlow 笔记（四）：常用的函数和说明
1.矩阵操作1.1矩阵生成这部分主要将如何生成矩阵，包括全０矩阵，全１矩阵，随机数矩阵，常数矩阵等tf.ones | tf.zerostf.ones(shape,type=tf.float32,name=None) tf.zeros([2, 3], int32) 用法类似，都是产生尺寸为shape的张量(tensor)sess = tf.InteractiveSes
2017-06-15 10:08:51
466
原创 TensorFlow 笔记（三）：多层 LSTM代码详细介绍
之前讲过了tensorflow中CNN的示例代码，现在我们来看RNN的代码。不过好像官方只给了LSTM的代码。那么我们就来看LSTM吧。坦白说，这份写LSTM的代码有点难，倒不是说LSTM的原理有多难，而是这份代码中使用了大量tf提供的现成的操作函数。在精简了代码的同时，也增加了初学者阅读的难度。很多函数的用法我是去看源码，然后自己写示例代码才搞懂的。当然如果能把整份代码搞清楚的话，掌握这么多
2017-06-15 10:03:24
6398
原创 TensorFlow笔记（二）：多层CNN代码详细介绍
在之前的TensorFlow笔记(一)：流程，概念和简单代码注释 文章中，已经大概解释了tensorflow的大概运行流程，并且提供了一个mnist数据集分类器的简单实现。当然，因为结构简单，最后的准确率在91%左右。似乎已经不低了？其实这个成绩是非常不理想的。现在mnist的准确率天梯榜已经被刷到了99.5%以上。为了进一步提高准确率，官网还提供了一个多层的CNN分类器的代码。相比之前的一层神经
2017-06-15 09:57:30
1292
原创 TensorFlow 笔记（一）：流程，概念和简单的代码注释
tensorflow是google在2015年开源的深度学习框架，可以很方便的检验算法效果。这两天看了看官方的tutorial，极客学院的文档，以及综合tensorflow的源码，把自己的心得整理了一下，作为自己的备忘录。1.tensorflow的运行流程tensorflow的运行流程主要有2步，分别是构造模型和训练。在构造模型阶段，我们需要构建一个图(Graph)来描述我们的模型
2017-06-15 09:53:46
1072
原创 Word2vec基础介绍（四）：CBOW和skip-gram模型
CBOW和skip-gram应该可以说算是word2vec的核心概念之一了。这一节我们就来仔细的阐述这两个模型。其实这两个模型有很多的相通之处，所以这里就以阐述CBOW模型为主，然后再阐述skip-gram与CBOW的不同之处。1.CBOW模型之前已经解释过，无论是CBOW模型还是skip-gram模型，都是以Huffman树作为基础的。而Huffman树的构建在前一节已经讲过咯，这里就不
2017-06-15 09:42:59
9424
1
原创 Word2vec基础介绍（三）：构建Huffman树
这一部分将解释Huffman树的构造方法，并说明了如何根据Huffman树来产生对应的二进制编码。Huffman树的构造Huffman树的构造方法与Huffman编码密切相关。 具体的做法可以用下列伪码来描述while (单词列表长度>1) { 从单词列表中挑选出出现频率最小的两个单词 ; 创建一个新的中间节点，其左右节点分别是之前的两个单词节点 ; 从
2017-06-15 09:38:39
1047
原创 Word2vec基础介绍（二）：统计词频
第一步的分词使用jieba来实现，感觉效果还不错。第二步. 统计词频统计词频，相对来讲比较简单一些，主要在Python自带的Counter类基础上稍作改进。值得注意的是需要去掉停用词。所谓停用词，就是出现频率太高的词，如逗号，句号等等，以至于没有区分度。停用词可以在网上很轻易找到，我事先已经转化成二进制的格式存储下来了。2.1 MulCounterMulCounter完成的是根据单
2017-06-15 09:35:14
3347
原创 Word2vec基础介绍（一）：主要概念和基本流程
word2vec 是 Google 于 2013 年开源推出的一个用于获取词向量（word vector）的工具包，它简单、高效，因此引起了很多人的关注。我在看了@peghoty所写的《word2vec中的数学以后》1.单词的向量化表示所谓的word vector，就是指将单词向量化，将某个单词用特定的向量来表示。将单词转化成对应的向量以后，就可以将其应用于各种机器学习的算法中去。一般
2017-06-15 09:31:57
1968
原创 卷积神经网络原理介绍
1 人工神经网络1.1 神经元 神经网络由大量的神经元相互连接而成。每个神经元接受线性组合的输入后，最开始只是简单的线性加权，后来给每个神经元加上了非线性的激活函数，从而进行非线性变换后输出。每两个神经元之间的连接代表加权值，称之为权重（weight）。不同的权重和激活函数，则会导致神经网络不同的输出。 举个手写识别的例子，给定一个未知数字，让神经网络识别是什么数字
2017-06-15 09:14:58
1314
转载 通熟易懂学习卷积神经网络（CNN）
正文之前，先说几点自己对于CNN的感触。先明确一点就是，Deep Learning是全部深度学习算法的总称，CNN是深度学习算法在图像处理领域的一个应用。第一点，在学习Deep learning和CNN之前，总以为它们是很了不得的知识，总以为它们能解决很多问题，学习了之后，才知道它们不过与其他机器学习算法如svm等相似，仍然可以把它当做一个分类器，仍然可以像使用一个黑盒子那样使用它。第二点
2017-06-15 09:09:19
855
原创 TensorFlow基础 介绍
使用 TensorFlow, 你必须明白 TensorFlow:使用图 (graph) 来表示计算任务.在被称之为 会话 (Session) 的上下文 (context) 中执行图.使用 tensor 表示数据.通过 变量 (Variable) 维护状态.使用 feed 和 fetch 可以为任意的操作(arbitrary operation) 赋值或者从其中获取数据.综述
2017-06-14 21:34:23
398
转载 TensorFlow教程06：MNIST的CNN实现——源码和运行结果
假定您已经安装好了TensorFlow，这里放了第二个MNIST实验的代码和参考结果，你可以直接运行验证。源码[python] view plain copyprint?#!/usr/bin/python import tensorflow as tf import sys from tensorflow.examples.tuto
2017-06-14 21:31:49
667
转载 TensorFlow教程05：MNIST深度学习初探
TensorFlow是一个非常强大的用来做大规模数值计算的库。其所擅长的任务之一就是实现以及训练深度神经网络。在本教程中，我们将学到构建一个TensorFlow模型的基本步骤，并将通过这些步骤为MNIST构建一个深度卷积神经网络。这个教程假设你已经熟悉神经网络和MNIST数据集。如果你尚未了解，请查看新手指南.安装在创建模型之前，我们会先加载MNIST数据集，然后启
2017-06-14 21:29:22
519
转载 TensorFlow教程04：MNIST实验——源码和运行结果
假定您已经安装好了TensorFlow，这里放了第一个MNIST实验的代码和参考结果，你可以直接运行验证。源码[python] view plain copyprint?#!/usr/bin/python import tensorflow as tf import sys from tensorflow.examples.tutorial
2017-06-14 21:27:05
1369
转载 TensorFlow教程03：MNIST实验——回归的实现、训练和模型评估
实现回归模型为了用Python实现高效的数值计算，我们通常会使用函数库，比如NumPy，会把类似矩阵乘法这样的复杂运算使用其他外部语言实现。不幸的是，从外部计算切换回python的每一个操作，仍然是一个很大的开销。如果你用GPU来进行外部计算，这样的开销会更大。用分布式的计算方式，也会花费更多的资源用来传输数据。TensorFlow也把复杂的计算放在python之外完成，但是为了避
2017-06-14 21:25:27
646
转载 TensorFlow教程02：MNIST实验——Softmax回归
首先声明，这个教程的目标读者是机器学习和TensorFlow的新手。如果你熟悉MNIST和Softmax回归，有另外一篇快速教程你可以学习。开始学习这篇教程前，请确认你已正确安装TensorFlow,。我们知道MNIST中的每幅图像都是一个数字，不论它是0还是9。我们想在看到一幅图像时，能给出它是每一个数字的概率。比如，我们的明星在看到9的图像时，会得出它有80%的可能性是9、5%的可能性
2017-06-14 21:22:11
481
转载 TensorFlow教程01：MNIST实验——MNIST介绍
在我们学习任何一门编程语言的时候，我们做的第一件事情就是写一个“Hello World！”程序；机器学习的“Hello World！”就是MNIST。MNIST是一个简单的计算机视觉数据集，它由下述的手写阿拉伯数字图像构成：MNIST同时也包括这些图像的标注，比如上述图像的标注分别是5，0，4和1。在这篇教程中，我们会训练一个模型去预测图像是什么数字。我们当前的目标并不是精心训练一
2017-06-14 21:16:47
1167
原创 TensorFlow 1.0 新增功能和部分改善
TensorFlow 1.0 新增功能及改善XLA（实验版）：初始版本的XLA，针对TensorFlow图（graph）的专用编译器，面向CPU和GPU。TensorFlow Debugger（tfdbg）：命令行界面和API。添加了新的python 3 docker图像。使pip包兼容pypi。TensorFlow 现在可以通过 [pip install tensorfl
2017-06-14 21:08:25
476
原创 Ubuntu 16.04 安装 QQ 详细过程
1 先升级一下ubuntu系统中的安装源 在终端输入命令：sudo apt-get update2 更新完成后，我们接着来安装wine 没错，TX不再研发linux内核下面的QQ了，so，只能用wine安装了。 安装wine的指令是：sudo apt-get install wine1.63 wine安装过程中有些问题
2017-06-14 16:56:08
44642
5
原创 Ubuntu16.04 安装 CUDA8.0 + cudnn5.1 + TensorFlow(GPU) 详细过程
下面介绍如何在Ubuntu16.04 中安装GPU驱动，我电脑配置的显卡是 TITAN X 。所以以下安装将以 TITAN X 为例介绍。（1）首先要安装ubuntu16.04TLS系统在电脑中，我的电脑安装的是双系统，我没有试过在虚拟机中安装，不知道以下方法能不能在虚拟机中安装。（2）安装显卡驱动，在系统设置-->软件和更新-->附加驱动-->选择需要的驱动 (手
2017-06-14 16:08:42
2127
1
转载 git本地提交github库问题
git push -u originmaster //会提示输入用户名和密码 输入完之后会出现以下错误： ! [rejected] master-> master (fetch first)error: 无法推送一些引用到 'https://github.com/Lvzwq/zwq.git'提示：更新被拒绝，因为远程版本库包含您本地尚不存在的提交。这通常是因为另外
2017-06-14 15:55:55
1170
转载 github常见操作和常见错误！错误提示：fatal: remote origin already exists.
如果输入$Git remote add origin [email protected]:djqiang（github帐号名）/gitdemo（项目名）.git 提示出错信息：fatal: remote origin already exists. 解决办法如下： 1、先输入$git remote rm origin 2、再输入$
2017-06-14 15:52:26
328
原创 如何让TensorFlow模型运行提速36.8%
在训练TensorFlow模型的时候，我们传统的做法是在每个Epoch将数据通过feed_dict导入到session中，即不断地从Python到C++之间来回切换，这种做法十分不高效。而且，训练操作与导入数据操作都是属于同一个主线程，它们属于同步操作，训练操作必须等待导入数据操作完成以后才开始执行。这种做法带来的就是运行效率底下，我们应该赶紧抛弃，取而代之的是TensorFlow中的线程和队列。
2017-06-14 15:39:38
13182
3
原创 深度学习之卷积神经网络CNN及tensorflow代码实现示例详细介绍
一、CNN的引入在人工的全连接神经网络中，每相邻两层之间的每个神经元之间都是有边相连的。当输入层的特征维度变得很高时，这时全连接网络需要训练的参数就会增大很多，计算速度就会变得很慢，例如一张黑白的28×28 的手写数字图片，输入层的神经元就有784个，如下图所示： 若在中间只使用一层隐藏层，参数 w 就有 784×15=11760 多个；若输入的
2017-06-14 15:27:04
8968
1
原创 TensorFlow 介绍 tf.concat 的使用方法
tf.concat是连接两个矩阵的操作tf.concat(concat_dim, values, name='concat')除去name参数用以指定该操作的name，与方法有关的一共两个参数：第一个参数concat_dim：必须是一个数，表明在哪一维上连接 如果concat_dim是0，那么在某一个shape的第一个维度上连，对应到实际，就是叠放到列上
2017-06-14 15:20:15
546
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人