- 博客(82)
- 资源 (15)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 mask softmax的tensorflow实现
原始的tensorflow实现是通过把一个mask的位置改成一个非常小的负数，然后加到原来的向量上实现的: adder = (1.0 - tf.cast(mask, inputs.dtype)) * ( _large_compatible_negative(inputs.dtype)) # Since we are adding it to the raw scores before the softmax, this is # effectively th
2022-04-01 17:55:05
759
原创 transformer做文本分类的keras实现完整版
背景目前csdn上搜索到的keras的版本实现，排在前面的是:https://blog.csdn.net/xiaosongshine/article/details/86595847但是，存在的问题在于，本身这个文章的实现其实是少了一部分的（缺少了LayerNorm+残差的部分），multi-head attention出来之后也少了一个W再做一次非线性变化，所以跟论文描述的encoder区块其实对应不上。所以我从各个地方找了其他的缺少的部分实现，凑出一个基本能对应上论文的keras版本的transf
2022-03-01 18:24:11
3319
2
原创 一个非常好的公众号
最近发现大佬同学自己搞了个公众号，帮忙宣传一波，wx公众号“包包算法笔记”。公众号的主人是我的同学，kaggle的GrandMaster，而且这个大哥为人幽默有趣，心态开放。目前公众号里面主要聊的都是自己的算法见解和经验分享，当然也有自己的一些最近的活动啥的，干货也比较多，最良心的没有卖课广告，不会像各种所谓的技术公众号一样，先给你制造一波忧虑，然后告诉你“买了公众号分享的课之后你就无敌了”一样打广告。感兴趣的同学不妨关注一下，之后有机会我也会给他的公众号投个稿啥的，毕竟现在移动互联网才是主流~P.S.
2021-12-12 15:44:29
199
原创 TensorFlow加轴的bug
写代码的过程中遇到一个特别的bug，会产生随机的错误，记录一下，当我们想同时完成按轴取数并且新加一维的时候，要放到两步里面做，而不是同一步里面完成正确用法用法count_value = rules[:, 1][tf.newaxis] # 1, M错误用法count_value = rules[tf.newaxis,:,1]...
2021-10-12 14:49:10
107
翻译 kaldi中的i/o机制（代码级）
现在因为工作方向转到了语音方向，具体的方向是声纹识别，所以需要从头开始学习语音相关的算法以及工程。语音中用得比较多的工具箱就是kaldi了，kaldi的初步学习是从某个可以参考一下这一篇csdn的文章，还是比较容易跑通第一个aishell v1的demo的。不过虽然跑通了，但是因为kaldi的一些shell脚本语法可能比较难看懂。其实一些shell脚本看不懂的地方是因为不太了解kaldi的i/o...
2019-04-28 14:38:05
2134
1
原创 keras训练出现nan的解决流程
这里出现nan可能是在train的loss阶段，也可能是train的metric阶段，还可能是validation阶段，反正都一样。在写毕设的过程里面，用学弟提取的特征做DNN的训练，loss没有出现nan，但是反而是metric（MSE）里面出现了nan，predict的结果也全是nan。尝试了很多方法来调bug，最后采用的方法是将训练集二分的方法来调试。先将训练集划成（0，x），x是训练...
2018-11-13 20:23:22
14088
1
原创 tensorflow serving 动态加载更新模型
tensorflow serving是tensorflow用户服务器部署的方案，对于机器学习模型来说，是一个灵活的、高效能的服务系统，用来设计生产环境。tensorflow服务器保证相同的服务器架构和API，使得开发新的算法和实验变得容易。在这里不做过多介绍。 目前，tfs的模型加载有两种方式，第一种是通过在执行命令行时加载一个单模型的model_base_path的路径。：bazel-bi...
2018-08-22 15:43:47
8582
3
原创 自然语言处理中的Attention机制总结
       在面试的过程中被问到了attention，原来虽然其实已经实际用过attention了，也知道个大概原理是加权求和，但是对于加权的具体方法以及权值得分的计算并不是很清晰，面试答的一般，正好最近实习的地方
2018-08-22 15:20:57
102281
26
原创 windows下pip安装出现编码问题
一般报错是UnicodeDecodeError: 'ascii' codec can't decode byte 0xd5......一种方法是去修改相应的 __init__ 文件的编码格式，可能要修改很多。 这儿提供一种更加简单的方法：在git bash中安装。 进入anaconda的目录：C:\Users\Arthur\Anaconda3\Scripts，使用git bash，...
2018-07-10 12:42:56
1147
原创 编写自己的jupyterhub验证接口
完成jupyterhub的安装以及一些配置，可以参考： 这篇博客 以及官网 还有githubjupyterhub本身支持多种验证，默认为本地的unix用户账号和密码验证，也可以采用很多诸如gitlab或者github账号验证，比如上面提到的博客就是用了gitlab验证（gitlab验证需要先在gitlab里面新建application，application的url填写的地址是就是jup...
2018-07-06 16:28:14
4699
原创 使用SWIG编写C/C++代码的Python接口并使用distutils进行连接静态库编译
前言1. SWIG的部分1.1 SWIG是什么1.2 SWIG的使用1) 首先是暴露接口，编写头文件和实现文件2) 定义相应的SWIG接口配置文件example.i3) 运行swig的命令生成对应的python c api包装文件:2. 使用distutils的setup.py的编写部分前言     &nbs
2018-06-26 18:58:59
2548
1
原创 （基于MPC8377E）SylixOS的 nandflash驱动开发笔记
1.前言 本文档旨为移植Powerpc平台的nandflash到SylixOS的开发者提供理解帮助。因笔者也不是专业的嵌入式驱动开发工程师，因此可能存在纰漏，如有纰漏请以芯片手册以及SylixOS驱动开发手册为准。本篇驱动开发笔记离不开北京翼辉信息公司的何鑫工程师、张鹏程工程师、焦进星工程师、徐贵洲工程师的大力帮助和支持，在此对他们表示极大感谢。 2.相关的nandflash...
2018-06-08 22:35:01
1065
原创 用keras采用DCGAN网络生成三国群英传7的人物头像
https://github.com/sparkingarthur/sangoProfile-keras-GAN- 使用的环境是后端tf1.8+keras2.1.6 这两天心情不是很好，压力很大，于是玩了玩三国群英传，突发奇想想用神经网络生成三国群英传的人物头像玩玩，于是去稍微找了找GAN的资料，尝试着弄了弄。但是效果太烂了，不想写具体咋弄了…GAN实在是太难调了，估计我搜集的数据集也不是...
2018-05-30 14:35:23
3074
1
原创 GBDT算法复习小结
如果要挑选我认为目前最重要的机器学习算法的话，我个人认为GBDT应该排名很靠前的，而且在实际应用中也经常用到，著名的xgboost和lightgbm开源算法都是基于GBDT的实现。由于我记性实在是不好，GBDT的算法原理总是看了又忘，所以这次落于博客上面，希望加深记忆。 本篇博客主要参考李航老师的《统计学习方法》以及该博主的这篇文章内容博客地址。 GBDT属于boosting（提升方法）大家族...
2018-05-22 19:01:57
539
原创 kaggle的toxic_comment_classification比赛21th经验总结
这个比赛可以说是一波三折，本来应该早早就结束了，结果因为数据泄露更换了数据，中途还更换过评价指标，不过好在最后还是顺利结果，我们队伍拿到了前1%的成绩（21/4551），属于不是很好但是也不是很坏的结果，这是我第一次在kaggle上完整的参与一个NLP比赛，因此我感觉有必要将这次的比赛经历写下来，做一个总结。比赛链接：点击打开链接1.数据分析（EDA）1）查看数据，训练数据159571 条，测试数...
2018-03-22 14:19:24
5644
7
原创 Keras中Conv1D和Conv2D的区别
如有错误，欢迎斧正。我的答案是，在Conv2D输入通道为1的情况下，二者是没有区别或者说是可以相互转化的。首先，二者调用的最后的代码都是后端代码（以TensorFlow为例，在tensorflow_backend.py里面可以找到）：x = tf.nn.convolution( input=x, filter=kernel, dilatio...
2018-03-13 01:04:04
57855
12
原创 PowerPC处理器的寄存器大端小端影响写入感想
先放结论：没啥影响。这两天又要重新捡起来MPC8377的板子开始做项目，因为SylixOS的内核有所变动，网卡协议栈多做了一层封装，所以网卡驱动也有相应变化，需要重新修改一下。然后考虑到上次我写的中断驱动实在太丑，看到人家工程师写的中断驱动代码比我好看很多，所以决心在重写网卡驱动前先把中断控制器驱动模仿着重写一下。但是写的时候发现了一个问题： 中断控制器寄存器是内存映射寄存器，以中断屏...
2017-07-26 22:36:46
3325
3
原创 windows10+anaconda2+xgboost0.6的安装，VS和MinGW两种方式
windows10+anaconda2+xgboost0.6的安装，VS和MinGW两种方式1.VS安装因为xgboost0.6删除了原来的windows文件夹，所以现在要用VS安装的话需要参考新的官方教程，vs的坑就我个人体验来讲少得多 。给大家讲讲经验教训。
2017-06-08 21:13:11
847
1
原创 vmware远程服务器配置问题（连接超时，能ping通）
这两天vmware 远程服务器用于嵌入式远程实验平台的配置实践过程中，出现了很多问题，其中最令人匪夷所思的就是配在3楼的服务器，在1,2,3楼都能连上，但是在除开这三层楼的其他地方，能ping通但是连接超时。经过很长一段时间摸索，最后解决办法如下（至于具体是因为哪个起作用的我也懒得去深究了）：1.跟管网络的老师确认交换机的访问控制有没有问题，虽然他再三强调没有对我配的那台连的交换机有什么特
2017-05-03 22:40:15
18664
1
转载 梯度下降算法 Python实现
不能算原创，因为我参考的是别人的博客。包括里面拟合的函数，以及求梯度的方法，还有构造的数据直接用的人家的。但是看他的代码有问题迭代的时候虽然最后c参数的梯度为0，但是不代表就不对他进行求解了。再加上他的图我没怎么看懂含义，所以自己改了改代码，重新画了画错误率的图。#coding:utf-8import numpy as npimport matplotlib.pyplot as plt#
2017-05-03 15:25:38
997
原创 Qt的QLabel不能显示多个空格的问题
遇到一个问题，把字符串" !"显示在QLabel中的时候，他只能显示为"!"。因为涉及到通讯问题，所以还从通讯发送就开始进行了调试，但是最后发现只出在最后一步显示。解决方案：将QLabel的textFormat从RichText改成AutoText。不知道什么时候动了QLabel的这个选项的。反正改成Auto之后就解决了。网上搜了下区别，好像是因为
2017-04-14 21:23:14
2987
原创 SylixOS下监控控制LED的GPIO电平的一种不规范实现方式
之前提到过的那个开发板监控的事儿，做了一些了，目前在翼辉信息公司的开发人员的帮助下，把数码显像管的部分实现了，然后这几天在研究怎么搞定GPIO的部分。需求简单来讲是这样的：我现在有两个应用层程序，分别是控制程序A与监控程序B。A程序通过GPIO控制开发板的LED灯，但是我想在B程序里面同时监控这几个LED灯的状态（此时A程序还在跑，所以GPIO还不能释放），但是这里有一个特别的
2017-02-16 16:41:29
774
原创 关于矩阵乘法按照列乘行的方式来看
之前我们教的所有的矩阵乘法的运算都是这么算的：C=AB；Cij = ，表示的A矩阵的i行与B矩阵的j列进行内积运算。这两天因为学姐让看稀疏表示的一些东西，所以涉及到了矩阵运算，中间有一段描述是这样的：Cmxn = Amxk * Bkxn 可以看成是A的i列与B的i行先做乘法，得到一个矩阵，如A1（mx1）*B1（1*n）得到的是一个mxn的矩阵，然后对A的k列都做这样的操作，
2017-02-10 19:47:16
11142
原创 类动态规划求解较小规模的最大团问题（Python实现）
1.图：由点、边（点与点之间连线），组成的集合，如点集V=[0,1,2,3,4]，边集E=[[1,3,4],[2,3,4],[4],[4],[]]，则（V，E）就是一个图，其表达的意思如下：该图中含有5个端点，分别为0,1,2,3,4，这些点存在V中，如端点1对应V[1]=1端点之间会连着线，称为边，如1和2之间连的边，就对应E中E[1]=[2,3,4]的元素2，如0和4之间连
2016-12-22 18:56:13
3746
原创 开发板模拟上下位机通讯基本思路
最近导师派的新活：写一个和开发板的通讯软件，要求能够传输开发板的屏幕、led灯、lcd数字（大小0-255之间？还是字符？）显示屏等信息（局域网内，所以速度可以有保证）。上位机：PC用QT作界面，背景弄成开发板的背景。下位机：由公司人员负责协议：协议基本上已经定完（需按32字节对齐封装），但是具体的包怎么发送还没有给我说。基本思路：屏幕信息通过传图片过来，led和lcd也通过类
2016-12-21 00:08:58
1781
原创 opencv在vs2013下配置无效问题
重装了系统，重新配置opencv，由于一些原因，这次用opencv2.4需要配置的包含目录：E:\Tools\opencv\opencv2.4\build\includeE:\Tools\opencv\opencv2.4\build\include\opencvE:\Tools\opencv\opencv2.4\build\include\opencv2库目录：E:
2016-12-13 17:39:55
1545
原创 Qt的designer在win10下无法启动的问题
所有的.ui文件无法用designer打开，designer进程能够看到，但是无法启动界面。在C盘用户名下也没有.designer文件夹。Bug对应的就是https://bugreports.qt.io/browse/QTBUG-53984解决方法：换成5.6.0版本。
2016-12-13 11:49:22
3895
原创 ubuntu14.04 64位caffe配置遇到libboost依赖问题
ubuntu14.04下面安装caffe（最简单的配置，无GPU）显示的是libboost-all-dev : 依赖: libboost-date-time-dev但是将不会安装 后面是类似的palapla……解决办法就是更新一下源：sudo apt-get update，后面还可能遇到编译失败，g++ internal error的问题，好像是因为内存不足，我用的是虚拟机，所以不知道是不是真的是因为这个原因……
2016-10-22 22:16:56
3298
原创 mysqlconnector-python出现Unread result found错误
电脑重装了一遍，之前环境是好像python3.3+connector2.0.0，之前代码没有问题，后来重装过后，无论是python2.7还是3.3还是3.4连接任意connector版本都会出现“mysql connection not available”的错误，而且都是在cnn.cursor()这个方法这儿，用try except语句块包裹过后，发现实际错误是“unread result fo
2016-10-14 11:50:27
5643
转载 const char*, char const*, char*const的区别
事实上这个概念谁都有只是三种声明方式非常相似：Bjarne在他的The C++ Programming Language里面给出过一个助记的方法：把一个声明从右向左读。char * const cp; ( * 读成 pointer to ) cp is a const pointer to char，p不可变，*p可以变，即指向的地址不变，内容可变。const ch
2016-09-18 16:55:53
597
原创 SylixOS适配MPC8377网卡驱动（etsec）编写总结
经过这一个月的学习，总算勉勉强强在uboot的基础上改好了网卡驱动：发送只用了一个包缓冲buffer，大小就是1536（MTU1500的情况下），接收区缓冲20个，每个1536字节。发送没有用中断的方式，接收采用中断的方式进行。注意缓冲描述符在这个驱动里面是采用的静态全局变量的方式：typedef volatile struct rtxbd { txbd8_t txbd[TX_B
2016-08-30 11:44:46
1972
1
转载 MAC、MII、PHY的关系与区别
嗯，实验室的嵌入式项目需要写设备驱动，我分到了网络驱动的活，写一个适配SylixOS的（这里夸一句，这个真是国内相当不错的嵌入式实时操作系统了）MPC8377的网卡驱动，说实话原来从来没接触过写驱动的事情，更别说复杂的显卡驱动了。所以准备先看看人家写的东西，明确一下概念。讲道理来说现在真的连网卡是啥都不知道。第一天看了看SylixOS的arm2440的dm9000的网卡驱动，内核的网络协议栈用
2016-08-10 17:56:55
25712
2
原创 神经网络与深度学习读书笔记第五天----交叉熵代价函数入门
书本来源这两天骑车不小心把一颗门牙整个磕断了。心情十分不好，书也没怎么看……证明和代码部分随便翻了翻。真是烦死了，自己怎么这么不小心……北京看牙齿真贵，一颗镶牙要好几千，一颗种植牙2w…然后老师又分配了嵌入式系统相关的任务，以后又要开始重拾嵌入式部分，这次好像是写sylixos的网络驱动，原来还没写过底层的网络驱动，又不知道要学习多久，有点紧张也有点期待，更多的是无从下手。今天继续
2016-08-05 21:36:11
4160
原创 神经网络与深度学习第四天读书笔记-----迈向深度学习：反向传播算法
书本来源首先是一些概念与定义。明确深度网络的定义：包含多层结构-----两层或更多隐藏层的-----的网络被称为深度网络。那么针对深度网络的学习任务，就是深度学习了。反向传播算法：一种计算代价函数梯度的快速算法。1.热身：神经网络中使用矩阵快速计算输出的方法我们使用（下面有些时候为了在csdn编辑方便，写作W^l----jk）表示从第（l-1）层（同前，下写作（l-1）
2016-08-02 20:35:06
1783
压缩图片PHP
2016-08-15
北航数据库大作业
2016-04-01
基于speech SDK开发的语音键鼠控制软件
2015-05-13
北航编译大作业
2015-02-25
关于在vs2012下做speech SDK的二次开发的问题
2015-03-11
有关于MFC中datagrid得到总行数的问题
2014-12-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人