8 风语

尚未进行身份认证

暂无相关描述

等级
TA的排名 2w+

关于Android端相机应用涉及到的技术

目前AI视觉以及短视频相关的应用都和相机有关,涉及到相机的调用,Surface渲染,视频录制等功能,这里做了一个Demo项目,基本包含了Android相机应用涉及的所有技术。https://github.com/dingjikerbo/Android-CameraAndroidCameraDemos一、相机预览序号项目名称内容简介1GLSurfacePrevi...

2018-12-28 20:47:32

VLC卡死内存溢出解决

SurfaceTexture不直接显示图像流,而是转为GL外部纹理,因此可用于图像流数据的二次处理(如Camera滤镜,桌面特效等)。比如Camera的预览数据,变成纹理后可以交给GLSurfaceView直接显示,也可以通过SurfaceTexture交给TextureView作为Viewheirachy中的一个硬件加速层来显示。首先,SurfaceTexture从图像流(来自Camera预览...

2018-11-23 21:08:50

NEON优化——OpenCV WarpAffine最近邻

warpAffine一种典型的应用场景是将camera拍到的图像中人脸抠出来,通过变换输出一张正脸,然后再做一些人脸识别,关键点检测之类的运算。所以通常是输入尺寸固定,输出尺寸也固定,变的是转换矩阵。最近邻的优势是计算量小,速度较快,问题是放大的情况下锯齿较明显,对于通常是缩小的应用场景最近邻是比较合适的,如果希望在所有的场景下有相对更好的效果,可以考虑双线性。算法要点warpAffine和...

2018-11-23 21:07:30

NEON优化——OpenCV WarpAffine双线性插值

算法要点warpAffine双线性插值和最近邻的区别根据目标图像的某点坐标算出原始图像对应的点坐标后,最近邻是向下取整,双线性插值需要获得相邻的四个点坐标以及纵横方向的权重最近邻直接拷贝原始图像点即可,双线性插值需要横竖加权很显然计算量要比最近邻大一些,但是效果会更好,对于放大的情况没有明显的锯齿。优化要点在计算偏移时基本和最近邻相同,同样要考虑异常情况和越界读的问题,另外要注意...

2018-11-23 21:04:34

NEON优化——OpenCV Resize双线性插值

算法要点一、基本原理具体原理可以自行搜索,这里只大致描述一下,目标图像上某一个点按比例映射到原始图像上某一点,不过通常计算得到的原始点坐标不是整数,最近邻的做法是向下取整,而双线性差值的做法是取与该坐标最接近的上下左右四个点来线性加权,在放大的时候不会像最近邻那样锯齿严重,但是计算量会大不少。这里要注意的是加权分为两个维度,横向和纵向。此外,边界的处理也要注意。二、优化思路这里核心的优化思...

2018-11-23 20:59:50

Android Camera源码分析

回顾这半年做的项目基本都跟Camera有关,从手势识别控制空调,到人脸识别的门禁,都是围绕相机的数据处理和渲染。这里相机不限于本地的相机,还包括远程的RTSP相机,要将数据流拉到本地进行渲染。这两天好好读了一下Camera的源码,大概理清了整体架构,总结了一下,其实没多少东西,Android的各个模块都差不多,都是有个系统服务,然后Java封一层,Native封一层,Java层和Native层的...

2018-11-23 20:55:40

Android视觉应用性能优化

计算机视觉在移动端的应用,典型的如手势识别,人脸识别,流程都差不多,都是利用移动端的相机采集数据,丢给算法层,根据识别的结果来做一些业务,中间可能还要做一些图形的渲染。本文主要讨论这中间涉及到的一些问题以及优化的思路,算是对过往工作的总结吧。大致问题有以下五点:一,相机采集数据的格式是NV21,而算法层所需的格式是RGB,这中间需要转换,对于每秒30帧,每帧1920*1080的图像转换的耗时还...

2018-11-23 20:50:05

Android BufferQueue原理分析

在Android中,BufferQueue是Surface实现本地窗口的关键,驻留在SurfaceFlinger进程中进行服务,下面从BufferQueue的结构开始分析,classBufferQueue:publicBnGraphicBufferProducer,publicBnGraphicBufferConsumer,...

2018-11-23 20:48:25

从Camera源码看如何从Jni回调到Java层

通常设备层有数据或事件要通知到应用层是通过回调来完成的,可以采用的方式是直接调用java层类静态函数,或者调用java层某个对象的普通函数,涉及几个问题:1,内存泄露,引用问题2,多线程问题首先研究一下Camera的实现,首先打开Camera返回一个Camera对象,setPreviewCallback传入了一个callback,这个callback没有传入jni层,只是在Camera对象...

2018-11-23 20:45:15

移动端算法加速总结

性能加速,即对于给定的输入,用更短的时间获得我们想要的输出。总的来说有两个思路:降低计算量提高计算速度。各种优化技术基本上都是围绕这两点展开的。降低计算量优化算法或模型,使得用更少的计算量就可以达到同样的效果简化算法或模型,使得在牺牲部分准确度或效果的情况下速度能有大幅提升,看应用场景算法本身不变,优化实现。或将算法中可能存在的重复计算抽离出来,结果进行复用,或其它...

2018-09-04 18:03:44

VLC RTSP视频播放终极解决方案

VLC播放RTSP视频流遇到的问题摄像头是RTSP协议的,需要在Android端实时显示摄像头视频流,这里采用了开源的VLC播放器,可能会有如下需求:一、有截屏的需求二、有屏幕录制的需求三、视频本来是横的,但是现在要竖屏显示,如何旋转视频,另外旋转后视频会拉伸,因此需要截取一段显示四、显示的视频可能需要做额外处理,比如识别出人脸后框出来先说说直接用VLC播

2017-10-12 20:23:27

关于Grafika的RecordFboActivity

这个是为了展示通过FBO录制视频的三种方式,先总结一下,采用SurfaceView加单个EGLContext,两个Surface,一个是DisplaySurface,另一个是VideoSurface。三种方式如下:一、多次绘制,即先切到DisplaySurface绘制,然后再切到VideoSurface绘制,绘制完后swapBuffer推送生效。二、BlitFrameBuffer,先绘制到D

2017-08-15 17:18:45

采用Parcelable实现对象的深度拷贝

publicclassParcelHelper{publicstatic<T>Tcopy(Parcelableinput){Parcelparcel=null;try{parcel=Parcel.obtain();parcel.writeParcelable(input,0)

2017-08-03 11:52:58

ProgressButton的实现

一向对UI不是太感兴趣,不过项目中遇到了还是得去做,做这个ProgressButton还是费了不少功夫,不过效果还可以,这里先记下,以后可能还会用到。只贴代码,原理就不多说了。publicclassProgressButtonextendsButton{publicstaticfinalintMODE_BUTTON=0;publicstaticfinali

2017-03-30 10:21:10

谈Android PowerManager的Hook技术

在插件中,需要禁止插件调用系统原生接口持有WakeLock,Hook技术是不错的解决方案。通过阅读系统源码,可以了解到PowerManager持有WakeLock操作最后都通过Binder跨进程调到系统服务中,我们只要拦截这个Binder的所有调用即可。思路是先通过反射拿到这个IPowerManager的Binder,然后动态生成该Binder的代理对象,再覆盖原有的Binder即可。public

2017-03-29 11:20:15

getSystemService的奇怪问题

先看如下代码,这两个PowerManager不是同一个对象,PowerManagermanager=(PowerManager)getSystemService(POWER_SERVICE);PowerManagermanager2=(PowerManager)getApplicationContext().getSystemService(POWER_SERVICE);只能从内核源

2017-03-28 20:45:22

用happen-before规则重新审视DCL

编写Java多线程程序一直以来都是一件十分困难的事,多线程程序的bug很难测试,DCL(DoubleCheckLock)就是一个典型,因此对多线程安全的理论分析就显得十分重要,当然这决不是说对多线程程序的测试就是不必要的。传统上,对多线程程序的分析是通过分析操作之间可能的执行先后顺序,然而程序执行顺序十分复杂,它与硬件系统架构,编译器,缓存以及虚拟机的实现都有着很大的关系。仅仅为了分析多线程程

2017-03-16 17:55:09

Java并发编程:volatile关键字解析

volatile这个关键字可能很多朋友都听说过,或许也都用过。在Java5之前,它是一个备受争议的关键字,因为在程序中使用它往往会导致出人意料的结果。在Java5之后,volatile关键字才得以重获生机。volatile关键字虽然从字面上理解起来比较简单,但是要用好不是一件容易的事情。由于volatile关键字是与Java的内存模型有关的,因此在讲述volatile关键之前,我们先来

2017-03-16 17:17:23

Retrofit源码解析

Retrofit代码不多,设计得很精巧,非常值得借鉴。首先看Retrofit是如何创建的:public<T>Tcreate(finalClass<T>service){return(T)Proxy.newProxyInstance(service.getClassLoader(),newClass<?>[]{service},newInvoc

2017-01-16 12:02:23

Android蓝牙源码分析——GKI定时器

GKI定时器初始化在gki_ulinux.c中的GKI_init中,如下:voidGKI_init(void){......structsigeventsigevent;memset(&sigevent,0,sizeof(sigevent));sigevent.sigev_notify=SIGEV_THREAD;sigevent.sig

2016-09-08 13:02:33

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!