- 博客(122)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 线性拟合的实现
很多机器学习或者自适应场景需要对某个特征变化趋势进行分析, 如果假定该特征是线形特征, 则需对其趋势作线性拟合. 问题可以描述为:存在样本集(xi,yi)(x_i, y_i)(xi,yi), 样本集的数量为nnn. 假设满足下列关系: y=mx+by = mx + by=mx+b, 期望求得m,bm, bm,b的值, 使误差最小.ei=yi−(mxi+b) e_i = y_...
2019-01-26 20:39:48
1007
原创 深入 CoreML 模型定义
Core MLCore ML是apple在iOS和MAC上的机器学习框架， 开发者可以使用Core ML将机器学习模型集成到应用中. Core ML架构于Accelerate, BNNS, Metal之上， 是apple针对其硬件深度优化后的框架， 可以大大加速开发者的工作， 让开发者集中精力于模型的训练和优化上.Core ML所支持的模型文件是后缀为.mlmodel的文件， 使用非常...
2018-12-15 16:22:34
1980
转载 KL距离（相对熵)
KL距离（相对熵） KL距离，是Kullback-Leibler差异（Kullback-Leibler Divergence）的简称，也叫做相对熵（Relative Entropy）。它衡量的是相同事件空间里的两个概率分布的差异情况。其物理意义是：在相同事件空间里，概率分布P(x)对应的每个事件，若用概率分布 Q(x)编码时，平均每个基本事件（符号）编码长度增加了多少比特。我们用D（P||Q）表...
2018-05-13 14:26:01
833
原创 Introduction to Recurrent Neural Networks
What is RNNThe networks are recurrent because they performance same computations for all the elements of a sequence of input, and the output of each element dependents, in addition to current input,...
2018-04-21 17:21:28
378
原创 SIX: Python 2 and 3 Compatibility Library
SIX 是一个开源的Python库， 其设计目的是为了解决Python2和3的不兼容问题. 众所周知， Python 3是跟Python 2不兼容的， 其语法， 类库都有不一致的地方， 这给python程序员带来了极大不便， 但是, SIX的出世可以解决这一问题， 使用了SIX, 你的python程序可以同时运行在Python2或者Python3环境中， 而根本不需要修改. SIX，...
2018-03-20 21:46:50
1095
原创 30秒学习Keras
Keras 是开源的深度学习/神经网络框架， 其使用Python语言开发的， 底层引擎可以是Tensorfow, CNTK或者Theano. 其设计初衷是为了可以快速将想法转化为可以实验的代码， 因此其易用性在当前的深度学习框架里是屈指可数的. 正因为这一特质， Keras也非常适合深度学习的初学者作为入门的基础框架。 学习Keras并且编写一个简单的Keras网络仅仅需要30秒! Ker...
2018-02-25 20:57:45
426
原创 QUIC 简析
QUIC简析 一QUIC - Quick UDP Internet Connection. QUIC 最初是Google公司为了改进HTTP/HTTPS通信所提出的架构于UDP之上的通信协议. 不过随着QUIC技术的演进， 它已经成为一种介于TCP和UDP之间的通用的传输协议. 自从2016年11月IETF QUIC WorkGroup第一次会议以来， QUIC的标准化进展十分迅速...
2018-02-15 20:08:24
1551
原创 PCA在图像处理上的应用
PCA(Principal Component Analysis), 也就是主成分分析, 是数据分析的常用方法, 其原理是: 反映对象特征的多个属性往往存在线形相关， 所以可以找到一个合理的方法， 对此多个属性变换为线性无关的另一组属性， 变换后的属性个数小于最初的属性的个数， 也就是起到了数据降维的作用， 这样可以减少数据分析的复杂度. 自然, PCA在机器学习，计算机视觉和图像处理上
2018-01-12 22:03:04
12490
5
原创 方阵的特征值与特征向量
定义: 设AA是nn阶方阵, 如果数λ\lambda和非零向量xx使关系式 Ax=λxAx = \lambda x 成立, 那么, λ\lambda称为方阵AA的特征值, 非零向量xx称为AA的对应于特征值λ\lambda的特征向量. 上式也可以写为: (Ax−λE)x=0(Ax-\lambda E)x=0 这个是nn个未知数和nn个方程的齐次线形方程组. 它有非零解的充要条
2018-01-01 09:56:54
1568
原创 漫谈 WebRTC 一: 何谓Simulcast， WebRTC中的Simulcast
写作本文的初衷是： 前些日子为WebRTC设计Simulcast, 把所有相关的代码又重新阅读了一遍， 想着WebRTC代码结构复杂， 代码量巨大， Google的release迭代改动快， 改动量大， 代码常读常忘， 忘了再读， 也许应该写点啥东西保存起来。 适之先生说， 要使你所得印象变成你自己的， 最有效的方式是记录或者表现成文章。 故此不揣浅薄， 记录一些东西， 以为未来参考， 也算是响
2017-11-05 20:13:00
13856
1
原创 FEC and RTX
FEC 的 Pattern定义为 [m,k],n=m+k,m是数据包的个数,k是FEC包的个数,n为两者之和 [m, k], n = m+k, m是数据包的个数, k是FEC包的个数, n为两者之和 nn个包为一个Group, 在这个Group中, 任意丢k个包, 都可以通过收到的m个包恢复. 这里的k个包可以是数据包或者FEC包. 所以在给定丢包率 ll, 给定源数
2017-10-14 16:46:05
869
原创 Introduction to Convolutional Neural Network
What’s the problemFull Connected layers to process image does not account the spatial structure of the images.Complicated images with multi-channels. When we try to improve our accuracy, we try to i
2017-09-30 22:27:47
1160
原创 Tensorflow for Machine Intelligence 读后
TensorFlow for Machine Intelligence 的四位作者都是一线的程序员, 其中Danijar Hafner 更是Google Tensorflow 研发团队的成员. 不过可惜TensorFlow 正处于迅速发展期, API和内部结构的变化极为距离, 图书在成文之后就面临着过时的处境. 该书的代码是基于TensorFlow 0.8的API实现的, 而当前Te
2017-09-10 09:08:45
1520
原创 Common Sense of 信息安全
信息安全是非常复杂的课题， 普通人对信息安全的认识往往存在很大的误区, 试总结几条: 保密的密码算法是危险而且愚蠢的原因如下: 1. 如果使用保密的密码算法， 其代码代码逆向抵抗力弱， 攻击者可以通过逆向工程的方法来破解. 2. 算法的保密性弱， 内部的工程师有可能泄露其细节． 历史上RSA公司曾开发保密的RC4密码算法， 但最终被一位匿名人士公开发布其等效程序. 3
2017-08-25 21:48:21
521
原创 CNN(卷积神经网络)在iOS上的使用
Apple 在iOS11上推出了CoreML和架构在CoreML之上的Vision, 这样为CNN（卷积神经网络）在iOS设备上的应用铺平了道路。 将CoreML模型加载到App让你的App集成CoreML模型非常简单， 将模型文件(*.mlmodel）拖进工程即可. 在Xcode中可以看到此模型的描述. Xcode可以为此模型文件自动生成一个可以被使用的对象, 此预测人年龄的
2017-08-14 22:43:05
2223
原创 略谈OpenGL中的共享上下文(EGL Context)
OpenGL渲染中有一个线程相关的上下文(EGL Context), OpenGL所创建的资源, 其实对程序员可见的仅仅是ID而已, 其内容依赖于这个上下文, 有时候为了方便起见, 在某个线程中创建了上下文之后, 所有的OpenGL操作都转到此线程来调用. 这样在简单的2d/3d 渲染中尚可, 但是如果涉及复杂的OpenGL渲染时, 这样就未必妥当. 举例来说, Google 为A
2017-07-31 00:51:17
18005
1
原创 深入浅出ARKit - 几何图形的构成
OpenGL中描述几何图形的方法是用顶点(vertice)和指号(indice)， 在SceneKit中也完全一样. SCNGeometrySourceSCNGeometrySource 在SceneKit中就是顶点的集合. 这些点用来构成一个几何图形. 下面的代码就创建了一个SCNGeometrySource对象，包含有2个顶点， 可以用来绘制一条直线. let verti
2017-07-26 23:01:11
1988
3
原创 深入浅出 ARKit - Basic Concept
什么是现实增强(Augmented Reality)现实增强是在真实世界中加入计算机所构建的虚拟物体, 通过对真实世界所采集的信息的分析, 虚拟物体可以跟真实世界中的物体互动, 比如遮挡, 碰撞等, 让使用者产生错觉, 如同虚拟物体真实存在于世界. 此技术涉及很多复杂技术, 包括3D建模， 真实感图形绘制， 视频与图像分析等. 其实现实增强技术在电影拍摄中早有应用， 空中大掼篮里动
2017-07-23 14:16:46
642
原创 WebRTC 中的Quality Scaler
Quality Scaler 是WebRTC中根据视频质量， 自适应调整分辨率的方案， 其思路大体是: 观察视频编码的丢帧率和qp的变化， 确定Capturer中的video adaptor 是否要调整编码的分辨率. 其代码位于: $(ROOT)/src/webrtc/modules/video_coding/utility 实现相当简单, 观察5秒内编码的平均qp和丢帧率，
2017-07-18 20:36:35
2225
2
原创 iOS CI 自动生成IPA
使用CI脚本为iOS 应用生成IPA， 常用的方法是使用xcodebuild生成app之后， 再调用xcrun -sdk iphoneos -v PackageApplication $APP_NAME -o $IPA_NAME不幸的是， xcode更新到8.3之后, PackageApplication工具已经被废弃了， 这个方法无法奏效, 不过apple 还是为脚本生成IPA提供了另外一种方法
2017-07-18 19:52:53
872
原创 神经网络笔记 - Regularization
神经网络的过拟合(Over fitting) 是神经网络学习的年点, 常规的解决方案是增加学习的样本数, 但是训练样本的搜集往往比较困难,而且样本数增加, 学习成本也随之提高. 另一个比较简单的方法来减少过拟合就是Regularization. Regularization 的方法有多种:L2 Regularization 修改代价函数(C)为: C=−1n∑xj[yjlnalj+
2017-07-15 06:11:25
675
原创 神经网络笔记 - 交叉熵续
为什么选择交叉熵(Why Cross-Entropy)为了解决学习速度下降的问题,我们希望 ∂C∂wj=xj(a−y)\frac{\partial C}{\partial w_j}=x_j(a-y) ∂C∂b=(a−y)\frac{\partial C}{\partial b} = (a-y)如上文所述, 当代码函数为均方误差时: ∂C∂b=∂C∂aδ′(z)\frac{\parti
2017-06-11 14:04:10
383
原创 神经网络笔记 - 交叉熵(Cross-Entropy)
如上文所述, 如果我们使用均方误差来考量学习误差 C=12n∑x||y(x)−aL(x)||2C = \frac{1}{2n}\sum_x||y(x)-a^L(x)||^2 则有 ∂C∂w=(a−y)σ′(z)\frac{\partial C}{\partial w}=(a-y)\sigma^{'}(z) ∂C∂b=(a−y)σ′(z)\frac{\partial C}{\part
2017-05-29 12:39:39
3754
原创 神经网络笔记 - 反向传播(BackPropagation) 续
继续来证明BP3和BP4. ∂C∂blj=∂C∂alj∂alj∂zlj∂zlj∂blj\frac{\partial C}{\partial b_j^l} = \frac{\partial C}{\partial a_j^l}\frac{\partial a_j^l}{\partial z_j^l}\frac{\partial z_j^l}{\partial b_j^l} 因为: zlj=w
2017-05-11 21:26:54
542
原创 神经网络笔记 - 反向传播(BackPropagation)
神经网络的数学描述:wljkw_{jk}^l表示l−1l-1层的第jj个神经元到ll层的第kk个神经元输入的权重. bljb_j^l表示 ll层的第jj个神经元的偏移 alja_j^l表示ll层的第jj个神经元的输出 所以: alj=σ(∑kwljkal−1k+blj)a_j^l=\sigma(\sum_kw_{jk}^{l}a_k^{l-1} + b_j^l) 也可以用更简洁的描述
2017-05-07 21:18:02
707
原创 神经网络笔记
感知机(Perceptron)感知机模型如下图所示: 输入层接受多个二值输入, 输出层提供一个二值输出(M-P神经元). 用数学公式来描述就是: y={0,1,∑jwjxj+b≤0∑jwjxj+b>0y = \begin{cases}0, & \sum_jw_jx_j + b \le 0 \\1, &\sum_jw_jx_j+ b \gt 0\end{cases} 这
2017-05-06 23:32:31
537
原创 GVR初探 - Android SDK
Google 提供了2种虚拟现实(Virtual Reality) 平台, Cardboard 和 Daydream.
2017-04-04 20:14:35
1606
原创 Google VR Sample 遇到 Gradle sync failed 的解决方案
Google 的VR android SDK发布在github 上, 地址为: https://github.com/googlevr/gvr-android-sdk下载后用Android Studio打开后 编译其Sample 却遇到错误: Gradle sync failed, Cause: error in opening zip file 几次Invalidat
2017-04-02 22:28:57
1571
原创 guetzli 测试
Google 开源了guetzli项目， 它可以在主观质量无损的条件下， 将jpeg图片减少20%～30%的码率， 相信这个是利用了人眼的视觉特性所得到的增益。 今天我对guetzli做了些测试， 下面是测试的结果原图 Lena Size = 126KBguetzli处理 with Quality = 95, Size = 83KBguetzli处理
2017-03-20 22:18:16
3214
翻译 WebRTC的带宽评估的新变化
带宽评估(BWE)也许是WebRTC的视频引擎中最关键的模块了, 它将决定视频通信中, 不引发网络拥塞时最多可以产生的视频数据量. 早期的带宽评估算法比较简陋, 大多是基于丢包来估计, 基本的策略是逐步增加发送的数据量, 直到检测到丢包为止. 为了让发送端获悉网络上的丢包信息, 可以使用标准的RTCP的RR来发送周期性的报告. 现代的带宽评估算法则可以在网络链路发送丢包以前就监测到网络
2017-03-15 21:38:39
6488
原创 WebRTC 保持更新的重要性
WebRTC的更新频率很快, 最新的稳定版本已经是branch-heads/58了. 从branch-heads/52开始, 大致是2个月更新一个版本. 编译工具也从gyp+ninja 换到了 gn+ninja. 相比gyp, gn带来的最大的好处是编译速度的提升, 使用gyp生成ninja 文件一般需要10~20秒左右, 使用gn生成ninja文件, 仅仅需要400ms ~
2017-03-14 21:20:25
1880
原创 机器学习笔记 - 朴素贝叶斯分类
贝叶斯分类的概率公式如下: P(c|x)=P(c)P(x|c)P(x)P(c|x) = \frac{P(c)P(x|c)}{P(x)} 其中， P(c)P(c)表达了样本空间中各类样本所占的比例， 根据大数定理， 如果训练集包含了充足的独立同分布样本是， P(c)P(c)可以从训练集中各类样本出现的概率来估计。
2017-03-12 12:41:39
524
原创 机器学习笔记 - 贝叶斯决策论
贝叶斯定理条件概率条件概率是指两个事件AA和BB, AA已经发生的条件下, BB发生的概率, 记为 P(B|A)P(B|A), 显然: P(B|A)=P(AB)P(A)P(B|A) = \frac{P(AB)}{P(A)} P(AB)P(AB)是指AA和BB同时发生的概率. 全概率公式设样本空间为SS, A为EE的事件, {B1,B2,...,Bn}\{B_1, B_2, ... ,
2017-03-05 13:12:26
2109
原创 在Ubuntu上安装GitLab
GitLab是免费的Git server, 其功能和易用性上与GitHub相比, 并不逊色. 所以内部的代码管理服务器选择上, GitLab理所当然成为首选. GitLab的安装比较简单, 按照官网的说明, 我在Ubuntu 16.4上很轻松的配置了GitLab 服务器. Step 1: 安装必须的工具集sudo apt-get install curl openssh-server
2017-03-04 12:33:54
3376
原创 机器学习笔记 - 线性分割对偶问题
划分超平面的模型如下: f(x)=wT+bf(x) = w^T + b 其中ww和bb是模型参数. 确定模型参数的优化目标为: minw,b12||w||2,s.t.yi(wTxi+b)≥1,i=1,2,...,mmin_{w,b} \frac{1}{2}||w||^2, s.t. y_i(w^Tx_i+b)\ge1, i=1, 2, ... , m 使用拉格朗日乘子法可得其
2017-02-26 14:42:40
1054
原创 机器学习笔记 - 线性可分问题
给定训练样本集 D={(x1,y1),(x2,y2),...,(xm,ym)},y∈{−1,1}D=\{(x_1, y_1), (x_2, y_2), ... , (x_m, y_m)\}, y \in \{-1, 1\}, 分类学习最基本的想法就是在样本空间DD找一个划分超平面, 将不同类型的样本分开, 如下图所示. 在样本空间中, 划分超平面可以用线性方程来描述: wTx+b=0w^
2017-02-25 16:47:33
3465
原创 机器学习笔记 - 剪枝处理
剪枝处理(pruning)是决策树学习算法中对付“过拟合”的主要手段, 在决策树学习中， 为了尽可能正确分类训练样本， 节点划分过程不断重复， 有时候会造成决策树分支过多， 以至于将训练样本集自身特点当作泛化特点， 而导致过拟合。 因此可以采用剪枝处理来去掉一些分支来降低过拟合的风险。 剪枝的基本策略有预剪枝(prepruning)和后剪枝(postprunint). 预剪枝是指在决策树生成
2017-02-20 21:18:44
3331
原创 机器学习笔记 - 决策树最优划分属性选择
由决策树算法可知, 其关键点在于如何选择最优划分属性, 一般而言, 随着划分过程不断进行, 我们希望形成纯度高的分支节点和叶结点. 信息增益信息熵可以用来衡量样本集合纯度. 假定 样本集合DD, 其中第kk类样本所占比例为pk(k=1,2,...,γ)p_k(k=1, 2, ... , \gamma), 则D的熵为 Ent(D)=−∑k=1γpklog2pkEnt(D) = -\sum
2017-02-15 21:52:21
11497
转载 Neural networks and Deep Learning Guide
转一个链接http://neuralnetworksanddeeplearning.com/
2017-02-14 16:26:46
353
原创 机器学习笔记 - 决策树基本算法
顾名思义, 决策树是基于树结构来进行决策的, 这也是人类面临决策问题时的一种很自然的处理机制. 比如, 我们对”这是好瓜吗?”这个问题进行决策时, 通常会进行一系列的判断, 先看它是什么颜色, 如果是青绿色, 再看它的根蒂是什么形态, 如果是蜷缩, 再看它敲起来是什么声音, 最终我们得到判断, 这是个好瓜。 决策树的形态大致如下图所示 基本算法: 输入: 训练集 D={(x
2017-02-13 21:39:41
923
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人