- 博客(300)
- 资源 (12)
- 收藏
- 关注
RSS订阅转载 Hadoop 各组件介绍
转自https://www.cnblogs.com/klb561/p/9085615.htmlHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是YARN,HDFS和Mapreduce下图是hadoop生态系统，集成spark生态圈。在未来一段时间内，hadoop将于spark共存，hadoop与spark都能部署在ya..
2021-03-31 12:04:46
10169
2
原创 Tensorflow 多 GPU 训练
介绍TensorFlow中的并行主要分为模型并行和数据并行。 模型并行需要根据不同模型设计不同的并行方式， 其主要原理是将模型中不同计算节点放在不同硬件资源上运算。 比较通用的且能简便地实现大规模并行的方式是数据并行， 其思路我们在第1章讲解过， 是同时使用多个硬件资源来计算不同batch的数据的梯度， 然后汇总梯度进行全局的参数更新。数据并行又分为同步和异步，同步训练是指等所有GPU得到梯度...
2020-04-01 21:58:24
814
1
转载 TensorBoard的使用
介绍使用 Tensorboard 是TF 的可视化工具，它通过对Tensoflow程序运行过程中输出的日志文件进行可视化Tensorflow程序的运行状态。使用流程例程请问 Markdwon 怎么用？ - 小德国对法国地方方式背景高亮发大水发...
2020-04-01 21:01:22
880
转载 TensorFlow2学习：RNN生成古诗词
本文转自 AI科技大本营 TensorFlow2学习：RNN生成古诗词文章不见了可以参考这位博主的文章公众号的文章写得挺好的，这里简单介绍下思路及值得学习的地方模型简介模型不算多么复杂高大上，但是五张俱全，所有文本生成过程都考虑到了，大概流程如下：数据预处理，去除非法字符，比如“（）”，“《》” 啥的，提取诗歌内容，跳过长度大于 MAX_LEN （64）的诗歌。统计诗歌出现的字，滤除词...
2020-03-27 15:32:17
3129
1
原创 LSTM-英文生成
英文生成模型简介英文文本的生成方法可以基于字符的粒度，也可以基于词汇的粒度，顾名思义，前者根据历史的字符预测出下一个字符，后者测根据词汇预测出下一个词汇。值得注意的是字符是有限的，单词是无线的，基于词汇粒度生成文本时，输入的数据肯定不能是词汇的onehot向量，最好是词嵌入向量。这里介绍基于字符粒度生成英文文本。模型结构如上所示，语言模型根据初始文本预测下一个字符的分布，通过采样策略对下一个...
2020-03-25 12:03:03
923
原创 Keras-一维卷积及模型优化方法
深度学习模型优化深度学习在模型训练过程中有许多优化方法，比如：批标准化。批标准化层一般添加在激活函数之前，通过标准化的方法使得输出的数据均值为0，方差为1。但是批标准化增加了反标准化操作，通过缩放和平移更有利于模型寻找最优解。参考链接批再标准化。有学者提出批再标准化的想法，它使用特殊的激活函数(selu)和初始化函数(lecun_normal)，能够让数据警告任何Dense层之后保持数据标...
2020-03-01 01:14:29
2510
原创 文本生成样例解读
功能介绍文本生成模型是NLP中基础的语言模型，它的任务是在给定的Word Sequence下输出下一个Word的分布。以下对Tensorflow例程代码进行解读，代码地址为源代码地址数据预处理训练数据集来源于Penn Tree Bank数据集。数据预处理代码为reader.py文件，预处理流程如下：读取文件分割预料成训练集、验证集、测试集字母小写数字用 “N” 替换，...
2020-02-17 20:30:27
450
原创 PX4-编译错误
子模块不一致问题PX4不同版本使用不同版本的子模块，在切换分子的时候如果子模块没有对应更改会出现，子模块不一致问题。如下所示******************************************************************************** IF YOU DID NOT CHANGE THIS FILE (OR YOU DON'T KN...
2019-09-28 10:15:05
1482
原创 PX4-小型固定翼滑跑起飞问题分析
自动起飞过程中经常出现往一边偏的问题，无法很好的到达takeoff点。参考代码：src/modules/fw_pos_control_l1/FixedwingPostionControl.cpp 中 control_takeoff 函数结合航点到达判定函数src/modules/navigator/mission_block.cpp可能还需要结合自动起飞代码src/modules/f...
2019-09-27 13:18:30
1551
原创 PX4-航点到达判定代码分析
这里主要分析源代码https://github.com/PX4/Firmware/blob/master/src/modules/navigator/mission_block.cpp里面的is_mission_item_reached 判断航点是否到达的代码，代码分析如下：航点到达判断当飞行器的高度误差小于爬升高度误差时进入航点飞行模式航点到达判断流程如下所示：1、如果为特殊...
2019-09-25 23:57:58
1191
3
原创 Keras-例程学习
代码来自https://github.com/keras-team/keras/blob/master/examples/imdb_lstm.py这是一个 IMDB 电影评论情感分类的任务：采用词序列的LSTM来对评论语句做情感分类IMDB 的数据集介绍见：https://blog.csdn.net/ltochange/article/details/78355753from __f...
2019-09-25 00:37:27
834
原创 LSTM理解及代码Demo
LSTM原理关于LSTM的原理很多大神的博客都介绍的非常详细了，这里简要的介绍一下，参考的博客和链接见文末。RNN 在实际的应用中最主要的问题就是不能很好的捕捉到远程依赖，这是由它本身的性质决定的，尽管误差可以往后传播，但是由于梯度消失，很难调整前面的神经网络层。而LSTM最主要的思想在于引入了遗忘门和更新门和输出门的思想，遗忘门表示对未来信息的丢失权重，更新门表示对当前信息的更新权重。遗...
2019-09-18 23:41:00
6689
原创 DeepLearning AI-序列模型-第二周
自然语言处理及词嵌入词汇表示之前都是采用词汇表来表示词汇，把词汇表示成一个one-hot向量。比如 man 在词汇表中的第5391位，那么one-hot向量的5391位置为1，其它位置为0。它的缺点就是：每个词孤立起来，没有相关性，相关性的泛化能力很弱，因为它们的内积都是 0维度太大了，一个词汇表比如有 10000，那么one-hot的维度就是1000维，非常庞大，并且稀疏，不利于模型...
2019-09-17 16:31:30
130
原创 DeepLearning AI-序列模型-第一周
为什么要序列模型语音识别输入是声音，输出文字音乐生成输入是空或者首个音符，输出一首音乐音符情感打分输入一段评论，输出是星级机器翻译输出一种语言的文字，输出另一种语言的文字动作识别输入连续的多帧图片，识别这段动作符号表示比如，目前有一个命名体识别的任务，需要识别从出人名、地名、公司名、时间、地点等等。比如下面的例子。例子中，输入是一句话，输出是这句话的标识，用1来表示这个...
2019-09-17 00:07:15
230
原创 微信自动聊天脚本
微信自动聊天脚本import reimport timeimport itchatfrom itchat.content import *#单人聊天（文本）@itchat.msg_register(itchat.content.TEXT)def tuling_reply(msg): reply = r'1' #自动回复的昵称 replay_friend ...
2019-09-16 08:57:53
7042
原创 CS224n-课时1-NLP和深度学习入门
课程链接https://study.163.com/course/courseLearn.htm?courseId=1006416006#/learn/video?lessonId=1054015262&courseId=1006416006NLP应用语言问答机器翻译智能搜索(同义词替换，拼写检查，sql生成)人类语言的特殊性人类语言并不是海量的信息，它需要传递指定的信息，...
2019-09-09 16:26:35
122
原创 CSDN-markdown编辑器
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2019-09-09 13:54:20
238
转载 Estimator的使用
全文以一个简单的例子介绍Estimator的使用，具体的代码和数据参见https://www.jianshu.com/p/5495f87107e7下文对源代码做了注释上的增加import tensorflow as tf#自定义模型函数'''模型函数包括训练模型、预测模型、测试模型通过不同的属性，可以得到的模型结果测试结果中的predictions是对输出结果的定义'''...
2019-09-02 16:56:02
2836
原创 PX4使用WIFI模块
PX4支持WIFI模块作为数传工具，官网上也提供了教程，但是不注意细节也很容易失败。以下是我的经验以及教训。配置环境飞控：pixhawk v2，烧录PX4 v1.8.2的固件地面站：QGC 3.5.2wifi模块：市面上最常见的8针ESP8266模块操作系统：Win 10参考资料[1]https://docs.px4.io/master/en/telemetry/es...
2019-05-18 14:19:21
3423
3
原创 华为2019年软件精英挑战赛总结
题目介绍赛题链接https://codecraft.huawei.com/GeneralIntro赛题的意思就是对车辆的调度，对于达到的每一辆车，规划它的出发时间和经过道路。使得总调度时间最小(最后一辆车的到达时间减去第一辆车的出发时间)。题目对自己的交通规则描述的非常复杂，其实在前期可以先不管这些交通规则。题目还提到由于车辆过多，会陷入一个车辆的死锁状态，也就是常见的堵塞，选手需要...
2019-04-17 22:54:34
1039
原创 O(1)的方法删除单链表节点
剑指offer上的题目，值得记录一下。给定链表节点head和需要删除的节点dNode，要求是O(1)的时间复杂度。常规的做法是从头结点开始寻找dNod的前驱，但是这样的时间复杂度是O(n)O(1)的方法是，把下一个节点的内容拷贝到当前节点，然后删除下一个节点。但是有这么几个缺点：1、如果节点的内容过于庞大，拷贝数据的时间比查找的时间更大。2、如果有指向下一个节点的指针...
2019-04-05 16:44:56
1452
原创 动态磁盘转基本磁盘
windows增加了反人类的动态磁盘功能。动态磁盘无法真正的分区，导致无法安装双系统，并且Linux下面无法挂载动态磁盘。下面是动态磁盘转换成基本磁盘方法，侵权立删。1、下载DG专业版的软件https://download.csdn.net/download/u013181595/110892562、下载破解文件https://download.csdn.net/download/u013...
2019-04-05 10:27:09
1918
原创 吴恩达直升机控制系列论文笔记
参考论文：Learning vehicular dynamics, with application to modeling helicopters.2005.nips。这篇论文在不知道直升机空气动力学模型的情况下，根据直升机的飞行数据，采用机器学习的方法学习到了直升机的运动模型。Autonomous helicopter flight via Reinforcement Learning....
2019-01-20 16:43:24
2767
原创 PX4子模块不一致的问题
PX4新代码改变了很多东西，同时子模块改变也挺大的。将主代码切换到较老版本时会发生子模块版本不符合的情况，这时候需要注意，切换后需要同步下子模块make cleangit checkout <whatever tag>git submodule update --init --recursivegit submodule sync --recursivegit submo...
2018-12-30 16:12:17
705
原创 PX4-固定翼的姿态控制
下面分析代码的版本是v1.8.21 参数介绍固定翼中有很多参数，理解这些参数的含义非常重要FW_AIRSPD_TRIM 巡航状态下的空速 15m/sFW_AIRSPD_MIN 最小空速 10m/sFW_AIRSPD_MAX 最大空速 20m/sgspd_scaling_trim FW_R_TC 外环控制器的比例参数，这只是一个初始值FW_RR_P 内环控制器的比例参数...
2018-12-20 23:18:49
5181
原创 PX4例程学习
PX4的源代码中提供了一些学习例程，对于PX4的二次开发非常有用。现在学习下，应该有很多能够运用上的东西。例程的目录位于Firmware\src\examples目录下，每个目录是独立的应用程序，包含需要用到的源代码和CMake文件。CMake的写法在每个样例中有一个CMakeLists.txt文件，对于每个样例都需要这样一个文件来把程序编译进可执行程序中，如下：px4_add_mo...
2018-12-11 16:48:20
4879
1
原创 天池-OppO-OGeek比赛总结
赛题资源题目链接数据链接我的代码这份代码是复赛的代码，写的比较规范些，也添加了一些注释。因为实在阿里云的平台上运行的，所有有些地方会报错，不能直接运行。最主要的问题应该是输入数据的路径不对，改成对应的路径即可。赛题描述及分析在搜索业务下有一个场景叫实时搜索（Instance Search）,就是在用户不断输入过程中，实时返回查询结果。赛题的数据如下：字段 说明 ...
2018-12-09 23:24:39
2227
17
原创 PX4着陆检测
为什么要着陆检测对于开发一款飞控而言，起飞和落地的检测是必不可少的，甚至占有举足轻重的地位。比如，飞控内部起飞前控制器的一些初始化设置，落地及时自动加锁等功能都必须要基于这个功能，如果出现判定不准确或者误判的情况，会导致炸鸡的风险。在PX4的代码中着落检测和起飞检测写在了一起，判断函数为_get_landed_state()，如果飞机当前在地面上(还没有起飞或者已经着陆)，则返回true，如果...
2018-12-09 15:56:27
1729
原创 PX4中混控器Mixer的分析
PX4架构保证了核心控制器中不需要针对机身布局做特别处理。混控指的是把输入指令（例如：遥控器打右转）分配到电机以及舵机的执行器（如电调或舵机PWM）指令。对于固定翼的副翼控制而言，每个副翼由一个舵机控制，那么混控的意义就是控制其中一个副翼抬起而另一个副翼落下。同样的，对多旋翼而言，俯仰操作需要改变所有电机的转速。将混控逻辑从实际姿态控制器中分离出来可以大大提高复用性。1 控制流程一个特定的...
2018-12-06 23:22:48
8846
9
原创 PX4添加一个新的机型
有时候自己定义了一个新的固定翼或者选择，PX4没有对应的机型，这时候需要添加一个新的飞机类型。添加飞机的说明官网上有说明，https://dev.px4.io/en/airframes/adding_a_new_frame.html#add-new-airframe-to-qgroundcontrol。不过官网上有些细节没有提到，很容易添加失败。步骤和官网上也差不多。我在总结一下步骤及容易出现...
2018-12-06 23:12:17
3113
2
原创 PX4启动脚本分析
启动脚本是一个神奇的东西，它能够识别出你对应的飞机类型，加载对应的混控器，选择对应的姿态、位置估计程序以及控制程序，初始化你需要的驱动程序。下面来分析下。图片总结启动代码的分析必定少不了这张图，不知道是谁整理出来的，非常棒！下面的分析会结合源代码rcS以及这张图进行。图片可能有点大，可以保存图片到本地仔细研究。代码分析启动脚本位于Firmware\ROMFS\px4fmu_...
2018-12-06 22:28:40
2414
1
原创 PX4日志生成及查看
Pixhawk的飞行日志由固件中的sd2log模块记录在SD卡的log文件中，目前版本的格式为*.px4log（曾经是*.bin），根据sd2log的设置不同，包含飞行日志的文件夹的名字可能是sess***或者具体日期时间启动日志PX4中日志有时不随系统启动，需要在地面站中通过sdlog2命令启动日志记录，参数如下：sdlog2 {start|stop|status|on|off} [...
2018-12-05 19:20:29
7571
原创 集成学习
看了些周志华的教授的《机器学习》，根据自己的理解写一些笔记，温故而知新都说3个臭皮匠顶个诸葛亮，在机器学习中也是这样。大部分情况下一个学习器的预测能力不如多个学习器的能力。多个学习器一起完成某个预测任务的过程叫做集成学习目前集成学习的方法大致课余分成2类，一类是Boosting，一类是Bagging。前者的代表是AdaBoost算法，后者的代表是Bagging算法。Boosting...
2018-12-03 09:18:33
233
转载 机器学习中的各种评价指标
1 分类分类器评价指标主要有：1，Accuracy2，Precision 3，Recall 4，F1 score 5，ROC 曲线6，AUC7，PR 曲线8，Log损失混淆矩阵混淆矩阵是监督学习中的一种可视化工具，主要用于比较分类结果和实例的真实信息。矩阵中的每一行代表实例的预测类别，每一列代表实例的真实类别。真正(True Positive , TP)：被模...
2018-11-29 14:50:23
6791
原创 ResNet介绍
ResNet介绍1 简要概括ResNet（Residual Neural Network）由微软研究院的Kaiming He等四名华人提出，通过使用ResNet Unit成功训练出了152层的神经网络，并在ILSVRC2015比赛中取得冠军，在top5上的错误率为3.57%，同时参数量比VGGNet低，效果非常突出。ResNet的结构可以极快的加速神经网络的训练，模型的准确率也有比较大的提...
2018-07-10 19:37:33
188993
17
原创 Google InceptionNet介绍
Google InceptionNet介绍1 简要概括 Google InceptionNet出现在ILSVRC2014年的比赛中（和VGGNet同年），并以较大优势夺得了第一名的成绩，它的top5错误率为6.67%，VGGNet的错误率为7.3%。InceptionNet的最大特点是控制了计算量和参数量的同时提高了网络的性能，它的层数为22，比VGGNet19还深，但是只有15亿次浮点计算...
2018-07-10 18:54:59
12059
原创 PX4编译问题总结
PX4在变编译的时候总会碰到很多问题。有些问题根据提示就可以解决，有些问题却有点麻烦。1 找不到python jinja2模块CMake Error at /usr/share/cmake-3.2/Modules/FindPackageHandleStandardArgs.cmake:138 (message): couldn't find python module jinja2: ...
2018-07-10 10:18:49
4587
原创 Pixhawk系统架构介绍
前段时间导师叫我做扑翼无人机，工程上需要实现的，能够通过程控飞起来，感觉难度挺大。先从研究PX4开始，打算一步步理解透整个PX4的框架，机型的适配、旋翼、固定翼的姿态控制，新机型的添加等等。不知道能不能做成，这里先立个flag吧。 这篇文档是我课程作业的一个报告，包含4个方面，硬件架构分析，Linux开发环境搭建，软件架构分析，源代码分析等。由于源代码比较庞杂，这里简要分析下飞机...
2018-07-09 21:15:58
42687
14
原创 VGGNet介绍
VGGNet介绍1 简要概括 VGGNet由牛津大学计算机视觉组合和Google DeepMind公司研究员一起研发的深度卷积神经网络。它探索了卷积神经网络的深度和其性能之间的关系，通过反复的堆叠3*3的小型卷积核和2*2的最大池化层，成功的构建了16~19层深的卷积神经网络。VGGNet获得了ILSVRC 2014年比赛的亚军和定位项目的冠军，在top5上的错误率为7.5%。目前为止，VG...
2018-07-09 17:13:26
84335
9
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人