- 博客(123)
- 收藏
- 关注
RSS订阅原创 【云原生】nuclio：一个高性能的“serverless”框架
Nuclio是一个高性能的“无服务器”框架，专注于数据、I/O和计算密集型工作负载。它很好地集成了流行的数据科学工具，如Jupyter和Kubeflow;支持多种数据和流媒体源;并支持在cpu和gpu上执行。实时处理，CPU/GPU和I/O开销最小，并行性最大与大量数据源、触发器、处理模型和ML框架的本地集成带有数据路径加速的有状态函数跨低功耗设备、笔记本电脑、边缘和预置集群以及公共云的可移植性开源，但为企业设计(包括日志记录、监控、安全性和可用性)
2023-02-02 17:35:01
1324
原创 MMdetection训练配置
mmdetecton 安装采用mmdetection,安装教程参考： Windows下配置MMDetection数据集准备实验为自制VOC数据集，使用tools/dataset_converters/pascal_voc.py转换为COCO格式数据集，结果包括 voc07_train.json、voc07_test.json、voc07_val.json，COCO数据集JSON文件格式字段说明参考：COCO数据集JSON文件格式FasterRCNN训练模型配置进入configs->fast
2022-10-22 11:18:12
1594
原创 【1】两数之和
1. 两数之和题目给定一个整数数组 nums 和一个整数目标值 target，请你在该数组中找出 和为目标值 target 的那 两个整数，并返回它们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素在答案里不能重复出现。你可以按任意顺序返回答案。示例 1：输入：nums = [2,7,11,15], target = 9 输出：[0,1] 解释：因为 nums[0] + nums[1] ==9 ，返回 [0, 1] 。示例 2：输入：nums = [3,
2022-01-17 21:04:39
95
原创 剑指 Offer II 001. 整数除法
题目描述给定两个整数 a 和 b ，求它们的除法的商 a/b ，要求不得使用乘号 ‘*’、除号 ‘/’ 以及求余符号 ‘%’ 。注意： 整数除法的结果应当截去（truncate）其小数部分，例如：truncate(8.345) = 8 以及 truncate(-2.7335)= -2 假设我们的环境只能存储 32 位有符号整数，其数值范围是 [−231, 231−1]。本题中，如果除法结果溢出，则返回 231 − 1示例 1：输入：a = 15, b = 2输出：7解释：15/2 = t
2021-12-23 21:56:57
302
原创 122. Best Time to Buy and Sell Stock II
122. Best Time to Buy and Sell Stock IIYou are given an integer array prices where prices[i] is the price ofa given stock on the ith day. On each day, you may decide to buy and/or sell the stock. You can only hold at most one share of the stock at any t
2021-11-10 15:41:22
96
原创 知识图谱基础与前瞻（部分）
文章目录知识图谱基础知识图谱项目知识图谱技术知识图谱前沿多模态知识图谱知识图谱预训练事理知识图谱低资源学习与知识图谱知识图谱基础知识图谱项目知识图谱技术知识图谱前沿多模态知识图谱system1:深度学习无逻辑(连接主义)system2:知识图谱有逻辑（符号主义）知识图谱预训练!事理知识图谱低资源学习与知识图谱
2021-07-21 16:21:46
272
1
原创 Windows下配置MMDetection
文章目录Windows配置MMDetection说明安装mmcv-full和Pytorch安装MMDetection2.6检查正确性Windows配置MMDetection说明由于官方最新版本侧重linux环境配置，windows目前更新并不及时，本文采用比较早的版本作为windows下的环境的配置。配置安装内容如下：pytorch:1.6.0+cu101torchvision:0.6.1mmcv-full==1.1.5mmdetection2.6安装mmcv-full和Pytorch
2021-06-02 15:38:02
735
4
原创 如何在 GPU 上进行海量数据流的 ETL 处理
文章目录为什么GPU适合做ETLRAPIDS(科学计算体系)cuDF技术栈cuDF性能cuIODeskBATCH ETL流式处理弹性处理、科学计算平台、分布式计算三大件STREAMZcuStreamz如何使用RAPIDS总结为什么GPU适合做ETL图为ACM特征工程比赛运行耗时比较：使用1块GPU(V100）大约比cpu（至强）提升3倍。4块GPU(V100）+UCX提升25倍。RAPIDS(科学计算体系)RAPIDS体系结构用于科学计算，这里简单介绍下应用层级，RAPIDS提供cuDF cuI
2021-04-08 18:18:49
647
原创 如何高效读论文
文章目录为什么读论文如何选论文如何找论文收费平台免费获取方式如何整理论文读论文困境如何读论文泛读精读总结论文自测论文结构学习路径为什么读论文如何选论文在入门之前读综述论文，在从专题的论文中获取具体的算法细节。读论文读取多篇论文不如读精一篇论文，读论文可以从以上4个方面选择论文。paperswithcode有量复现的论文，结合代码学习论文。如何找论文收费平台从4个平台获取论文，再根据期刊的质量IF判断期刊质量，或者通过查看SCI期刊分区。免费获取方式避免科研收费可从SCI-HU
2021-03-21 17:02:06
121
原创 心跳信号分类预测（任务一）
文章目录赛题理解导入第三方包lightgbm xgboost catboost理解读取数据数据预处理df.memory_usage()reduce_mem_usage()函数简单预处理训练数据/测试数据准备赛题理解2016年6月，国务院办公厅印发《国务院办公厅关于促进和规范健康医疗大数据应用发展的指导意见》,文件指出健康医疗大数据应用发展将带来健康医疗模式的深刻变化，有利于提升健康医疗服务效率和质量。赛题以心电图数据为背景，要求选手根据心电图感应数据预测心跳信号，其中心跳信号对应正常病例以及受不同心律
2021-03-15 23:43:31
1718
1
原创 pycharm运行报错：Process finished with exit code -1073740791 (0xC0000409)
问题pycharm运行报错：Process finished with exit code -1073740791 (0xC0000409)看了很多大致分为显存不足，定义类没有self等等一些原因，但都没有解决小编的问题。如何才能看到错误的原因呢，启动打开终端提示流程如下：打开之后，果然原因打印在终端上，Cannot mix incompatible Qt library (5.13.2) with this library (5.15.0)原来是版本不一致，查看果然是pyside5.15.1,
2021-01-30 15:53:03
1398
4
原创 pyqt和pyside如何导入第三方绘图库pyqtgraph
文章目录pyqtgraph介绍如何QtDesigner声明控件加载第三方库控件pyqtgraph介绍官网强大的绘图工具，性能较比于matplotlab性能更高，支持三维、图像分析、简单图像处理模块。 效果展示如何QtDesigner声明控件由于pyqt和pyside为基础的控件库，pyqtgraph是在其基础上开发的绘图库。使用pyqtgraph第三方库，需要在QtDesigner声明，流程如下：本次使用的是PlotWidget，位于第三方库pyqtgraph/core.h下，其父类
2021-01-27 16:50:12
2812
原创 THRESH_OTSU mode: ‘src_type == CV_8UC1 || src_type == CV_16UC1‘ where ‘src_type‘ is 6 (CV_
问题：THRESH_OTSU mode: ‘src_type == CV_8UC1 || src_type == CV_16UC1’ where ‘src_type’ is 6(CV_64FC1)def readTif(src): dataset = gdal.Open(src) if dataset ==None: print(src+"文件无法打开") im_width =dataset.RasterXSize im_height
2021-01-20 22:01:47
6968
4
转载 endnote导入参考文献及国标（Chinese standard）
导入参考文献：在word中，将光标点到 想要插入参考文献的地方，在endnote的reference中选择目标文献，点击工具栏的insert citation（ALT+2），即可导出后，word显示如下但是一般安装的盗版 endnote没有国标（Chinese standard）格式，必须从官网下载国标的style官网www.endnote.com，点击download，在keyword中搜索Chinese standard，下载网页下出现的两个文件。考虑到官网需要VPN，我把自己的百度云链接给各
2020-12-20 23:04:27
11284
1
原创 pyqt5_tools5.15没有Designer问题
重新下载pyqt5_tools卸载 PyQt5-toolspip uninstall PyQt5-tools下载pyqt5_tools安装命令pip3 install PyQt5_Tools-5.7.dev1-py3-none-any.whl
2020-12-11 17:43:28
1045
原创 GCC 编译步骤
1、预处理头文件展开宏定义替换替换注释展开条件编译gcc -E xxx.c -o xxx.i2、编译gcc -S heelo.i -o hello.s逐行检查语法错误将C程序翻译成 汇编指令，得到.s汇编文件3、汇编翻译：将汇编指令翻译成对应的二进制编码gcc -c helo.s -o hello.o4、链接数据段合并数据地址回填库引用gcc hello.o -o hello.exe...
2020-12-01 14:29:12
175
原创 重构--重构技巧
查看重构的类型更好的分享代码改善代码的位置代码划分不同逻辑块改善代码的格式主要的重构技巧重名（占重构的77%）变量重命名，方法重命名给函数做重命名，表示实际的意义；对于for循环中无实际意义的用 "_"代表迭代的次数。移动（一般是从一个类移到另一个类）提取（更好的组织代码）将if条件的内容，提取为一个变量，这样更容易理解条件判断所做的事情内联（提取的反向操作，移出移入重新组织）如果调用只有一次可以将变量的内容放进来其他重构的方法改善格式变更签名防
2020-10-27 10:58:31
292
原创 重构---识别代码的问题
1、去除没必要注释2、 迷惑的命名（变量名、类名）3、代码块的威胁（划分模块）4、使用肯定的方式，而非否定的方式（not 或者 !=）5、函数多参数的风险（拆分函数减少参数）6、多返回并不是坏事，职责单一原则（一个函数只做一件事情）7、重复损害代码8、不一致的理解（是否可以用模式可以解决）9、整理糟糕格式（空一行代表不同的逻辑块等）10、糟糕的设计：使用数字代表事件；多重职责；11、发现僵尸代码:代码被注释；有用不到的代码；使用版本控制软件，也可以找到，去除僵尸代码，让代码更整洁。12
2020-10-27 10:24:26
159
原创 Yolo
文章目录YOLO v1原理介绍网络结果分析损失函数网络训练网络存在问题网络性能Yolo V2原理改进Batch Normalization高分辨率分类器Anchor Boxes细粒度特征多尺度训练网络结果网络性能Yolo 9000Yolo v3改进策略主干网络（类ResNet）多尺度（类FPN）分类器网络性能DarknetYolo优点与缺点linux下配置DarkNetYOLO v1原理介绍一个格子只能预测一个物体，如果存在多个小目标，效果非常的差。网络结果分析损失函数网络训练网络
2020-10-26 20:11:41
318
原创 进程编程
文章目录进程概念信号信号处理进程管理进程创建进程调度进程终止僵尸进程子进程异步清除守护进程进程通信管道管道通信管道重定向共享内存获取共享内存映射内存读写映射内存消息队列进程信号量进程池编程任务进程概念信号信号处理进程管理进程创建进程调度进程终止僵尸进程子进程异步清除父进程接收到子进程信号，自动执行Cleanup函数，释放子进程，这样就算父进程休眠也能处理子进程。守护进程后台执行没有输出，还可以设置随系统一起启动。clos
2020-10-07 14:29:41
214
原创 Linux编程基础
文章目录程序执行环境参数列表环境变量程序退出码设计系统调用错误处理资源管理系统日志用户信息输入输出标准输入输出流文件描述符I/O函数临时文件文件系统设备设备类型设备号设备项设备目录硬件设备特殊设备随机数设备设备访问与控制库动态库的装载与卸载makefilemakefile 文件语法程序执行环境参数列表环境变量程序退出码设计系统调用错误处理资源管理系统日志用户信息输入输出标准输入输出流文件描述符I/O函数分散度集中写，比简
2020-10-06 23:04:19
149
原创 事件处理机制
文章目录面向对象事件响应函数如何处理实现事件响应处理类（EvenResponsor）事件管理定义事件绑定解除绑定如何使用-触发者触发值变更处理（重要）行动者面向对象事件响应函数如何处理实现事件响应处理类（EvenResponsor）分析：EvenResponsor包括行为action,对象actoractor：采用一个空指针类定义一个对象，这个类指针可以接收多个不同的对象，也成为哑指针。action：采用一个指针接收成员函数（行为）。这个成员函数可以返回任何类型，这里定义了一个模板Eve
2020-10-06 16:08:57
407
原创 可用的镜像站下载-----Pytorch、gdal
Pytorch下载最新的pytorch大约1G,国内镜像下载十分缓慢，这里提供了whl文件,根据自己的cuda以及python的版本选择pytorch。https://download.pytorch.org/whl/torch_stable.html使用pip安装命令：pip install xxxxx.whl...
2020-09-29 21:20:55
2125
原创 （三）组件协作-模板方法
组件协作主要通过晚绑定实现框架与应用的松耦合。模板方法：程序库开发员负责搭建框架，其中Run（）函数各个模块按步骤执行可以看做 一个模板，但模板中的一些步骤为虚函数，比如step2(),step4(),需要应用开发程序员去实现。这样是一种晚绑定的。分析模式的要点：哪些东西是稳定的，哪些东西不是稳定的。要点总结：模板方法是非常基础的设计模式，采用最简单的机制（虚函数多态），为程序的框架提供了灵活的扩展点，代码复用。除了灵活应对子步骤变化之外，反向控制结构（不要调用我，让我来调用你）在
2020-09-26 21:18:36
195
原创 （二）设计模式分类
模式分类重构获得模式好的面向对象设计模式指的是，为应对变化，提高复用的设计。需求频繁的变化，找到变化的点处应用设计模式，理解设计模式更重要。设计模式不能先入为主。敏捷软件开发。重构关键技法...
2020-09-26 21:10:12
131
原创 什么是设计模式
文章目录设计模式掌握的两种思维深度理解面向对象解决复杂性面向对象设计原则设计模式掌握的两种思维底层思维：语言构造编译转换内存模型运行时机制抽象思维：面向对象组件封装设计模式架构模式深度理解面向对象向下：理解三大面向对象机制封装，隐藏内部实现继承，服用现有的代码多态，改写对象行为向上：深刻把握面向对象机制所带来的抽象意义。理解使用这些机制表达世界，掌握好的面向对象的设计。解决复杂性分解： 大问题拆为小的问题。抽象： 忽视非本质的东西，去处理泛化和理想化的对
2020-09-26 19:46:15
323
原创 GPU并行计算与CUDA编程
文章目录1、并行计算编程结构图CUDA编程的优点与后果CUDA编程模型的原则内存模型同步性synchronisation和屏蔽barrierCUDA编程模型2、GPU硬件模式线程块GPU1、并行计算编程结构图左图：编程的模型。右图是硬件的模型。CUDA编程的优点与后果每一个线程块运算的时间不同。需要加以控制。需要考虑当一个线程计算完，调用另一个线程未计算完的情况。CUDA编程模型的原则内存模型CPU调用GPU，将主存上的数据复制到GPU显存，再进行读取运算。同步性synchron
2020-09-24 09:07:48
888
原创 常用VScode使用快捷键
多光标的编辑Alt:多光标位置编辑(鼠标选择)Ctrl+D:在选择多个光标之后，此快捷键自动定位光标选择的词。Shift+Alt:使用鼠标完成矩形选择编辑管理Ctrl+Tab:文件切换Ctrl+p:查看最近打开的文件Ctrl+g:按照行号跳转到某一行F2：重构函数名或者变量名，鼠标选中词，按F2F3:搜索关键词，使用F3跳转Ctrl+H:关键词替换Shift+Ctrl+F:多文件的搜索Ctrl+Shift+E：左侧文件栏命令面板Ctrl+Shift+P：命令面板Ctrl + S
2020-09-23 20:39:32
411
原创 CUDA通信模式
什么是通信模式在多个线程合作解决一个问题。多线程控制，需要相互之间的交互。遇到如下问题同一个空间被多个线程读取同一个空间被多个线程写入相邻的空间进行交换通讯模式映射Map输入数据与输出数据一一对应的情况下为映射模式聚合gatter一个线程读取多个内存空间的值，求平均写入空间。常用于神经网络的中池化。并行化有利于神经网络计算。分散scatter应用：神经网络中的反卷积模板stencil(以固定模式读取相邻的内存数值)以固定的模板读取数值。转置transpose压
2020-09-21 15:22:09
284
原创 异构计算CPU与GPU
异构计算-CPU与GPUGPU最大限度的提升吞吐量而非计算能力。而CPU受Cache的约束不可能一直无限的线性增长；在计算性能提升的同时，散热的问题变得很严重。CUDA
2020-09-21 12:06:29
405
原创 Pycharm常用快捷键
文章目录Pycharm使用快捷键最重要的快捷键注释光标操作操作代码格式代码及其他功能进入代码替换查找运行编译工程目录操作代码快捷操作组合快捷键编辑的位置超级好用的快捷键——效率之王Pycharm使用快捷键最重要的快捷键 ctrl+shift+A:万能命令行shift两次:查看资源文件新建工程第一步操作注释 ctrl+/:单行注释光标操作ctrl+alt+enter:向上插入shift+enter:向下插入end:光标操作代码ctrl+d:复制粘贴一行ctrl+y:删除一行shift
2020-09-08 18:41:37
300
原创 常用深度学习遥感数据集
文章目录数据集数据集对比DIOR实验结果尝试方向数据集NWPU VHR-10：包含飞机、篮球、储油罐、网球场和交通工具。 715张RGB images（ Google Earth、分辨率0.5m-0.2m）和 85 张全色(分辨率0.08m)UCAS-AOD： 用于飞机和汽车检测。目标精挑细选，对象的方向在数据集中均匀分布DOTA： 飞机、船、桥…15个类别航空影像。大小800 * 800到4000 * 4000，最具有挑战性。RSOD： 油管、飞机、立交桥、广场数据集。来源Google Ea
2020-09-05 21:51:09
7544
1
原创 批量归一化BatchNorm
为什么使用归一化对一sigmoid的函数来说，处在边角位置的点更新慢，并且离散度高不利于聚合。Nomalization将输入的值控制在有效的范围之内。得到以0为均值，1为方差的值。不进行归一化的化，loss函数求解梯度左图较比之右图更加的曲折。pytorch实现归一化不同Norm选取方式蓝色为一次选取的一个Norm。BN对于三个通道作为BN，z为BN公式pytorch实现2d的BN大小为16在测试的时候，μ，σ为全局的而非batch的；又由于有没有后向传播，所以没
2020-08-25 16:20:47
244
原创 下采样上采样、ReLU使用
文章目录池化（下采样）pytorch实现Upsample（上采样）pytorch实现ReLUpytorch实现池化（下采样）取感受野最大的值取感受野的平均值pytorch实现Upsample（上采样）pytorch实现ReLU一般卷积+批量归一化+池化+ReLU,ReLU起到将低响应去除的效果。pytorch实现...
2020-08-25 15:16:54
502
原创 更好理解卷积
文章目录为什么使用卷积卷积常规卷积的应用CNN作用pytorch实现为什么使用卷积对于一个3层隐藏层的全连接来识别手写体图片（28*28），内存消耗1.6MB，对于当时来说过于庞大（16K内存）借助生物学的概念，注重感兴趣的地方，称之为感受野，看到的区域也是图片中的一个小块。提出了卷积神经网络的概念，卷积也就是指局部的相关性。权重减少为原来的1/6。卷积一个共享权值的小滑块再图片上移动，对应位置与滑块的权值相乘，一一得到一个值。卷积较比于全连接，它是784个神经元做全连接，需要78
2020-08-25 15:03:12
144
原创 动量与学习率衰减
动量取决于β参数的选取，根据矢量三角形法则，下次选取的方向不加动量的情况下，方向变化比较尖锐，没有考虑历史变化的情况，且容易局部最优。加动量后，变化更加的缓和，依靠惯性，可能跳出局部最优解。学习率调整...
2020-08-25 12:00:35
515
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人