原创 卷积神经网络(CNN)原理与实现

卷积操作是卷积神经网络的核心操作，它通过卷积核（也称为滤波器）对输入数据进行卷积运算，提取出输入数据的特征。具体来说，卷积操作对于每个位置，将卷积核中的值与输入数据的对应位置相乘，然后将所有乘积相加得到输出数据的对应位置的值。卷积神经网络（CNN）的核心操作是卷积（convolution），卷积的本质是信号处理中的一种数学运算，将两个函数进行叠加并积分，得到一个新的函数。卷积层反向传播算法是卷积神经网络中最为核心的算法之一，其目的是求解每个卷积核的权重参数和偏置项的梯度，从而进行模型参数的更新。

原创 PyTorch知识点总结之一

PyTorch的执行流程主要包含以下几个步骤：数据准备：首先需要准备好需要使用的数据，包括训练集、验证集和测试集等。PyTorch提供了各种数据加载器（DataLoader）来方便地加载数据，同时还提供了各种数据变换函数（transforms）来对数据进行预处理和增强。模型构建：接下来需要构建深度学习模型，PyTorch提供了丰富的模型构建接口，包括nn.Module、nn.Sequential和nn.Functional等。

原创 PyTorch知识点总结100问

PyTorch中的张量（Tensor）是什么？PyTorch中的Batch Normalization是什么？PyTorch中的Transformer是什么？PyTorch中的Inception网络是什么？PyTorch中的Transformer是什么？PyTorch中的Dataloader是什么？PyTorch中的Dropout2d是什么？PyTorch中的Inception是什么？PyTorch中的autograd是什么？PyTorch中的多任务学习是什么？PyTorch中的Adam优化器是什么？

原创 PyTorch基本介绍

PyTorch是一个基于Python的机器学习框架，由Facebook于2016年发布。它提供了一组灵活且高效的工具，可用于构建和训练各种深度学习模型。

原创 HCIA-AI_深度学习_图像分类

图像分类4 图像分类4.1 实验介绍4.1.1 关于本实验4.1.2 目标4.2 实验步骤4.2.1 导入依赖包4.2.2 数据预处理4.2.3 模型构建4.2.4 模型训练4.2.5 模型评估4.3 总结4 图像分类4.1 实验介绍4.1.1 关于本实验4.1.2 目标加强对keras神经网络模型构建过程的理解掌握加载预训练模型的方法学习使用checkpoint功能掌握如何使用训练好的模型进行预测4.2 实验步骤4.2.1 导入依赖包import tensorflow as tf

原创 HCIA-AI_深度学习_利用TensorFlow进行手写数字识别

利用TensorFlow进行手写数字识别3 利用TensorFlow进行手写数字识别3.1 实验介绍3.2 实验目的3.3 实验步骤3.3.1 项目描述和数据集获取3.3.1.1 项目描述3.3.1.2 数据获取以及数据处理3.3.2 数据集预处理及可视化3.3.3 DNN模型3.3.3.1 DNN模型构建3.3.3.2 DNN模型编译3.3.3.3 DNN模型训练3.3.3.4 DNN模型评估3.3.3.5 保存模型3.3.4 CNN模型3.3.4.1 CNN模型构建3.3.4.2 CNN模型编译和训练3

原创 HCIA-AI_深度学习_TensorFlow2模块tf.keras基本用法

TensorFlow2模块tf.keras基本用法2 TensorFlow 2 模块tf.keras基本用法2.1 实验介绍2.2 实验目的2.3 实验步骤2.3.1 模型构建2.3.1.1 模型堆叠(tf.keras.Sequential)2.3.1.2 函数式模型(tf.keras.Model, tf.keras.Input)2.3.1.3 网络层(tf.keras.layers)2.3.2.3.1 tf.keras.layers.Dense 全连接层2.3.2.3.2 tf.keras.layers.

原创 HCIA-AI_机器学习_波士顿房价预测

机器学习实验-波士顿房价预测1 波士顿房价预测1.2 实验代码1.2.1 引入依赖包1.2.2 加载数据集，查看数据属性，可视化1.2.3 分割数据集，并对数据集进行预处理1.2.4 利用各类回归模型，对数据集进行建模1.2.5 利用网格搜索对超参数进行调节1.3 笔记1 波士顿房价预测1.2 实验代码1.2.1 引入依赖包# 忽略不必要的警告import warningswarnings.filterwarnings('ignore')# 引入数据科学基础包import numpyim

原创 CDH6大数据集群离线安装

CDH6大数据集群离线安装前言、为什么要用离线的方式安装CDH6大数据集群一、下载安装包二、开通CentOS7云服务器三、编辑映射文件四、配置SSH免密登录五、编写集群分发脚本六、上传CDH6安装包到云服务器七、安装MySQL(主节点)1.下载并安装mysql2. 登录后修改密码（尽量复杂一点，太简单了验证不通过，也可以查看如何关闭mysql校验规则）3.重启服务并设置开机启动4.下载并安装JDBC 驱动5.创建CDH所需要的数据库八、配置Cloudera Manager yum库（主节点）九、安装JDK（

原创 动态规划之最优化原理与动态规划方程

目录动态规划引言1 动态规划原理1.1 最短路问题及其解法1.2 动态规划的基本概念和术语1.3 最优化原理与动态规划方程1.3.1 最优化原理1.3.2 逆序动态规划方程1.3.3 顺序动态规划方程1.4 动态规划基本定理动态规划引言  1951年，美国数学家贝尔曼（R.Bellman）等根据一类所谓多阶段决策问题的特性，提出了解决这类问题的“最优化原理”，并研究了许多实际问题，从而创立了最优化的一个新分支----动态规划。  动态规划没有统一的数学模型，对不同的问题要采用不同的方法去建立它们的模

原创 Hadoop环境搭建之完全分布式运行模式

目录一、开通阿里云ECS服务器二、连接服务器三、配置映射文件四、编写集群分发脚本五、安装JDK六、安装Hadoop七、集群配置八、配置SSH免密登录九、分发运行环境十、群起集群十一、集群启动/停止方式总结一、开通阿里云ECS服务器1.创建实例2.实例创建完成后，列表如下二、连接服务器1.打开系统自带或第三方终端工具。Windows: PowerShell或PuttyUbuntu: Terminal2.设置连接参数，连接类型是SSH，端口号是22，服务器IP地址见第1步中创建的ECS服务器

原创 Hadoop环境搭建之伪分布式运行模式

搭建Hadoop环境搭建Hadoop环境一、开通阿里云ECS服务器二、连接服务器三、安装JDK四、安装Hadoop五、配置Hadoop（伪分布式运行模式）六、配置SSH免密登录七、启动Hadoop搭建Hadoop环境一、开通阿里云ECS服务器1.创建实例2.实例创建完成后，列表如下二、连接服务器1.打开系统自带的终端工具。Windows: PowerShellUbuntu: Terminal2.在终端中输入连接命令ssh [username]@[ipaddress]。需要将其中的use

原创 动态规划之基本概念和术语

动态规划之基本概念和术语动态规划引言1 动态规划原理1.1 最短路问题及其解法1.2 动态规划的基本概念和术语1.2.1 多阶段决策问题1.2.2 阶段变量1.2.3 状态变量1.2.4 决策变量1.2.5 整体策略1.2.6 状态转移方程1.2.7 指标函数动态规划引言  1951年，美国数学家贝尔曼（R.Bellman）等根据一类所谓多阶段决策问题的特性，提出了解决这类问题的“最优化原理”，并研究了许多实际问题，从而创立了最优化的一个新分支----动态规划。  动态规划没有统一的数学模型，对不同

原创 动态规划之最短路问题及其解法

动态规划之最短路问题及其解法动态规划引言1 动态规划原理1.1 最短路问题及其解法1.1.1 最短路问题及其特点1.1.2 逆序解法1.1.3 顺序解法动态规划引言  1951年，美国数学家贝尔曼（R.Bellman）等根据一类所谓多阶段决策问题的特性，提出了解决这类问题的“最优化原理”，并研究了许多实际问题，从而创立了最优化的一个新分支----动态规划。  动态规划没有统一的数学模型，对不同的问题要采用不同的方法去建立它们的模型。有了模型之后，要想得到数值解，仍然没有统一的处理方法。这时应当注意的

原创 WebRTC噪声抑制算法：使用多特征建模分析语音/噪声似然性的噪声抑制方法

背景在语音通信中，周边和/或背景噪声过多会干扰通信单方或双方对通信内容的理解，有时甚至导致对话没有意义。周边噪声包括各种外界来源的声音，其中较为常见的噪声源包括计算机、风扇、麦克风和办公设备。噪声抑制旨在消除或减少周边背景噪声，提高目标音频的清晰度，从而为听者提供更为舒适的听力环境。概述1.针对噪声抑制组件接收到的连续多帧输入信号的每一帧，以对该帧的初始噪声估计为基础，定义语音概率函...

原创 Tensorflow训练循环

训练循环https://github.com/tensorflow/tensorflow/blob/r1.12/tensorflow/python/keras/engine/training_eager.pydef fit_loop(model, inputs, targets, sample_weig...

原创 排序算法总结

排序算法大体可分为两种：　　　　一种是比较排序，时间复杂度O(nlogn) ~ O(n^2)，主要有：冒泡排序，选择排序，插入排序，归并排序，堆排序，快速排序等。　　　　另一种是非比较排序，时间复杂度可以达到O(n)，主要有：计数排序，基数排序等。

原创 Android仿小米商城底部导航栏之二（BottomNavigationBar、ViewPager和Fragment的联动使用）

简介在前文《仿小米商城底部导航栏（基于BottomNavigationBar）》我们使用BottomNavigationBar控件模仿实现了小米商城底部导航栏效果。接下来更进一步的，我们将通过BottomNavigationBar控件和ViewPager空间的联动使用来实现主界面的滑动导航。导航是移动应用最重要的方面之一，对用户体验是良好还是糟糕起着至关重要的作用。好的导航可以让一款应用更

原创 Android仿小米商城底部导航栏（基于BottomNavigationBar）

简介现在大多数App都会用到底部导航栏，比如QQ、微信和购物App等等。有了底部导航栏，用户可以随时切换界面，查看不同的内容。Android底部导航栏的实现方式特别多，例如TabHost，TabLayout，或者TextView等，都可以实现底部导航栏的效果，但是却没有Google官方统一的导航栏样式，今天讲的就是Google最近添加到Material Design中的底部导航栏BottomN

原创 WebRTC Android API

WebRTC Android APIWebRTC For Android相关的API有VideoCapturerAndroid, VideoRenderer, MediaStream, PeerConnection 和 PeerConnectionFactory等。通过这些功能完善、说明详细的API，可以显示任何想要显示的本地音视频流和远程音视频流。下面我们将逐一讲解。类图

原创 Android插件化开发技术

原创 Android-PullToRefresh下拉刷新库基本用法

PullToRefresh是一套实现非常好的下拉刷新库，它支持：ListViewExpandableListViewGridViewWebViewScrollViewHorizontalScrollViewViewPager等多种常用的需要刷新的View类型，而且使用起来也十分方便。（下载地址：https://github.com/chrisbanes/Andr

原创 Android之仿今日头条顶部导航栏效果

随着时间的推移现在的软件要求显示的内容越来越多，所以要在小的屏幕上能够更好的显示更多的内容，首先我们会想到底部菜单栏，但是有时候像今日头条新闻客户端要显示的内容太多，而且又想在主界面全部显示出来，所以有加了顶部导航栏。今日头条顶部导航栏区域的主要部分是一个导航菜单。导航菜单是一组标签的集合，在新闻客户端中，每个标签标示一个新闻类别，对应下面ViewPager控件的一个分页面。当用户在Vie

原创 Android之仿今日头条标题栏效果

学习Android应用开发已经有一段时间了，对涉及应用开发的主要基础知识已经有了一定的了解，学习过程中写的博客被我整理成立了一个专栏《Android应用开发基础》。但是基本上写的代码都是一些单一知识点的演示Demo，与一个完整的产品相差甚远。要具备开发复杂的产品级应用的能力，在掌握了应用开发的基础知识的前提下，最好的方法莫过于模仿别人开发的优秀应用。在模仿中循序渐进，以程序员角度去看待每一个APP

原创 Android之JSON格式数据解析

JSON：JavaScript 对象表示法（JavaScript Object Notation）。独立于语言和平台，比 XML 更小、更快，更易解析。如今JSON数据已经成为了互联网中大多数数据的传递方式，所以必须要熟练掌握。Android平台自带了JSON解析的相关API，可以将文件、输入流中的数据转化为JSON对象，然后从对象中获取JSON保存的数据内容。Android的JSON

原创 Android Handler消息机制

在上一篇文章《Android AsyncTask异步任务》中我们介绍了如何使用AsyncTask异步处理网络通信和UI更新。在本文中将使用Handler消息机制来异步处理网络通信和UI更新。Google参考了Windows的消息机制，在Android系统中实现了一套类似的消息机制。学习Android的消息机制，有几个概念（类）必须了解：1、Message消息，理解为线程间通讯的数据

原创 Android AsyncTask异步任务

在上一篇文章《Android网络编程之使用HttpClient进行Get方式通信》中，我们强制直接在UI线程进行网络操作，在实际的应用开发过程中不能这样做，因为这样很可能会阻塞UI，影响用户体验。为了避免直接在UI线程中进行网络操作，我们可以使用AsyncTask异步处理网络通信和UI更新。通过AysncTask可以很容易的启动后台线程进行网络通信，然后将结果返回到UI线程中。AsyncT

原创 Android网络编程之使用HttpClient进行Get方式通信

在Android开发中，Android SDK附带了Apache的HttpClient，它是一个完善的客户端。它提供了对HTTP协议的全面支持，可以使用HttpClient的对象来执行HTTP GET和HTTP POST调用。HTTP工作原理：1.客户端(一般是指浏览器，这里是指自己写的程序)与服务器建立连接2.建立连接后，客户端向服务器发送请求3.服务器接收到请求后，向客户端

原创 Android存储之SharedPreferences

SharedPreferences是Android提供用来存储一些简单的配置信息的一种机制，例如，一些默认欢迎语、登录的用户名和密码等。其以键值对的方式存储，使得我们可以很方便的读取和存入，下面看一个演示的例子。实例：SharedPreferencesDemo代码逻辑：应用启动时尝试从SharedPreferences中读取保存的用户名和用户密码，并将结果显示在UI界面相应的编辑框

原创 Android图片异步加载框架Android-Universal-Image-Loader

Android-Universal-Image-Loader是一个图片异步加载，缓存和显示的框架。这个框架已经被很多开发者所使用，是最常用的几个Android开源项目之一，主流的应用，随便反编译几个，都可以见到它的身影。淘宝，天猫，Facebook，京东商城等都用到了这个项目。该项目的Github地址链接：https://github.com/nostra13/Android-Universa

原创 Android UI之SlidingMenu侧滑菜单

SlidingMenu侧滑菜单是一种比较新的设置界面或配置界面的效果，在主界面左滑或者右滑出现设置界面效果，能方便的进行各种操作。很多优秀的应用都采用了这种界面方案，像facebook、人人网、everynote、Google+、网易新闻、知乎日报、有道云笔记等等。现在这种交互方式越来越流行了，虽然这种交互方式可以通过自定义组件的方式来实现，但是用第三方开源库更简单。地址： https

原创 Android UI之ViewPager

ViewPager需要android-support-v4.jar这个包的支持，它是Google提供的一个附加包。ViewPager主要用来组织一组界面，并且通过左右滑动的方式来展示。与ListView类似，ViewPager也需要一个适配器，也就是PagerAdapter，来把这组界面填充到ViewPager中。ViewPager的使用步骤：1、往布局文件里加入ViewPager

原创 Android UI之Tab(ActionBar+Fragment实现)

Fragment和ActionBar都是Android3.0之后出现的，Fragment，碎片，主要是为了支持更多的UI设计在大屏幕设备上，如平板。因为现在设备的屏幕越来越大，使用Fragment可以更灵活的管理视图层次的变化。像Activity一样，可以创建Fragment来包含View，进行布局，但是Fragment必须嵌入在Activity中，不能单独存在，而且一个Activity可以嵌入多

原创 Android UI之Tab(TabActivity+TabHost实现)

Tab标签页是UI设计时经常使用的UI控件，可以实现多个分页之间的快速切换，每个分页可以显示不同的内容。TabHost相当于浏览器中标签页分布的集合，而Tabspec则相当于浏览器中的每一个分页面。在Android中，每一个TabSpec分布可以是一个组件，也可以是一个布局，然后将每一个分页装入TabHost中，TabHost即可将其中的每一个分页一并显示出来。使用Tab标签页的一

原创 Android之BroadcastReceiver

Android广播机制包含三个基本要素：广播发送者(调用sendBroadcast方法) - 用于发送广播；广播接收器(BroadcastReceiver) - 用于接收广播；意图内容(Intent)-用于保存广播相关信息的媒介。Broadcast是Android中一种广泛运用的在应用程序之间或应用程序内个组件直接传输信息的机制。而BroadcastReceiver是对发送出来的广

原创 Android系统架构

传统的嵌入式Linux环境，几乎都会遵从一种约定俗成的传统，就是专注于如何将开源软件精减，然后尽可能将PC上的运行环境照搬到嵌入式。在这种思路引导下开发出来的系统，可移植性本身是没什么问题的，只要不是跟X86绑定的源代码，铁定是可以移植。但是，这样构建出来的系统，一般都在结构上过于复杂，会有过多的依赖性，应用程序接口并不统一，升级也困难。所有这样的系统，最后反倒是影响到了系统的可移植性。针对这样的

原创 Android之Service

服务是运行在后台的一段代码。不是进程，也不是线程，但它运行在进程和线程中。Android中的服务与Activity不同，不能与用户交互，不能自己启动。媒体播放器的服务，当用户退出媒体选择用户界面，仍然希望音乐依然可以继续播放，这就是由服务Service来保证当用户界面关闭时音乐继续播放。当我们某个应用的数据是通过网络获取的，不同时间的数据是不同的，这时我们可以用Service在后台定时更新，而不用

原创 Android之Intent和Activity

Intent可以说是Android的灵魂，程序跳转和传递数据的时候基本上就是靠Intent了。Intent在Android应用中是相当重要的，理解Intent对应用编程很有帮助。在Android的官方API文档里边对Intent是这样定义的：An Intent is an abstract description of an operation to be performed。一个Intent就是

原创 Android之Activity

Activity一般用于和用户的交互，所以Activity类管理创建窗口，用户可以通过setContentView(View)来放置需要的UI控件。当Activity全屏显示时，可以用于其它用户，例如浮动窗口（通过windwosIsFloating设置）或内置activity（通过ActivityGroup设置）。有两个方法大部分Activity子类都会实现：OnCreate(Bund

原创 Android UI布局之TableLayout

从字面上了解TableLayout是一种表格式的布局。这种布局会把包含的元素以行和列的形式进行排列。表格的列数为每一行的最大列数。当然表格里边的单元格是可以为空的。实例：LayoutDemo运行效果：代码清单：布局文件：table_layout.xml<TableLayout xmlns:android="http://schemas.android.com/ap