- 博客(37)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 追加数据到HDFS文件中报错解决办法
默认replace-datanode-on-failure.policy是DEFAULT，dfs.client.block.write.replace-datanode-on-failure.policy，DEFAULT在3个或以上备份的时候，是会尝试更换结点尝试写入datanode。而在两个备份的时候，不更换datanode，直接开始写。对于3个datanode的集群，只要1个节点没响应写入就会出问题，所以启动另外两个datanode后，问题就成功解决了。
2023-04-14 18:25:37
458
1
原创 一说深度学习中的GPU
深度学习作为机器学习领域中一个新的研究方向，学习样本数据的内在规律和表示层次，最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个对计算有大量需求的领域，一定程度上，GPU算力决定了深度学习的体验。01.预备知识nvidia-smi是Nvidia显卡命令行管理套件，基于NVML库，旨在管理和监控Nvidia GPU设备。这是nvidia-smi命令的输出，其中最重要的两个指标：显存占用GPU利用率显存占用和GPU利用率是两个不一样的东西，显卡是由G
2022-04-30 09:32:53
1007
原创 65 个 Matplotlib 基本实用案例
Matplotlib 作为 Python 家族当中最为著名的画图工具，基本的操作还是要掌握的，下面列举65个Matplotlib 基本实用案例。启用和检查交互模式在 Matplotlib 中绘制折线图绘制带有标签和图例的多条线的折线图在 Matplotlib 中绘制带有标记的折线图改变 Matplotlib 中绘制的图形的大小在 Matplotlib 中设置轴限制使用 Python Matplotlib 显示背景网格使用 Python Matplotlib 将绘图保存到图像文件将图例放在
2021-11-02 16:55:42
3837
转载 大数据实时计算
本文分为四个章节介绍实时计算，第一节介绍实时计算出现的原因及概念；第二节介绍实时计算的应用场景；第三节介绍实时计算常见的架构；第四节是实时数仓解决方案。一、实时计算实时计算一般都是针对海量数据进行的，并且要求为秒级。由于大数据兴起之初，Hadoop并没有给出实时计算解决方案，随后Storm，SparkStreaming，Flink等实时计算框架应运而生，而Kafka，ES的兴起使得实时计算领域的技术越来越完善，而随着物联网，机器学习等技术的推广，实时流式计算将在这些领域得到充分的应用。实时计算的三个特
2021-10-19 11:15:07
1612
原创 用python对CSV文件中的数据进行统计分析
在目前的数据分析领域，常用的分析工具有excel、python等，这几乎已经成为共识，而面对excel和python，谁更适合数据分析，也确实一直被大家讨论。Excel VS Pythonexcel不用多做介绍，办公必备的表格工具。关于python，这里简单说一下其背景：python是一门开源的高级编程语言，拥有强大的社区支持和开发团队。这意味着在各个领域，python都有着丰富的第三方工具库，而且一直不断更新改进。另一方面，python作为胶水语言，有着简洁、易读、流畅、易维护、模块化的优良特性，并
2021-08-14 11:11:11
10736
1
原创 python中的with关键字原理详解
对于系统资源如文件、数据库连接、socket 而言，应用程序打开这些资源并执行完业务逻辑之后，必须做的一件事就是要关闭（释放）该资源。在代码中经常会看见 with open(file) as f 对文件进行操作，其中 with 关键字到底有什么用处呢？让我们一起来看看如何正确关闭一个文件。1.普通版def fun1(): f = open("test.txt", "w") f.write("hello python") f.close这样写有一个潜在的问题，如果在调用 w
2021-04-23 15:26:27
718
2
原创 查找引用类EXCEL函数之VLOOKUP函数的使用方法
在一个数据量比较大的工作表中，如果想要找到符合某些特征的记录，通常会采用筛选的方式去实现。但如果需要查找某一条记录，那么用查找引用类EXCEL函数会更为方便。接下来，简单介绍一下查找引用类EXCEL函数——VLOOKUP函数的使用方法。VLOOKUP是一个垂直进行查找的函数，也可以理解为在列数据里面进行查找的函数。VLOOKUP 是在表格数组的首列查找指定的值，并由此返回表格数组当前行中其他列的值。其语法为：VLOOKUP(lookup_value,table_array,col_index_num,r
2021-01-23 14:13:04
2240
2
翻译 深度学习中的图像分割：方法和应用
导读介绍使图像分割的方法，包括传统方法和深度学习方法，以及应用场景。基于人工智能和深度学习方法的现代计算机视觉技术在过去10年里取得了显著进展。如今，它被用于图像分类、人脸识别、图像中物体的识别、视频分析和分类以及机器人和自动驾驶车辆的图像处理等应用上。许多计算机视觉任务需要对图像进行智能分割，以理解图像中的内容，并使每个部分的分析更加容易。今天的图像分割技术使用计算机视觉深度学习模型来理解图像的每个像素所代表的真实物体，这在十年前是无法想象的。深度学习可以学习视觉输入的模式，以预测组成图像的对象类
2020-11-26 16:08:24
1222
转载 5 分钟快速掌握 MySQL 函数
目录1.MySQL中关于函数的说明概念：类似java、python中的方法，将一组逻辑语句封装在方法体中，对外暴露方法名；好处：Ⅰ隐藏了实现细节；Ⅱ提高代码的重用性；调用：select 函数名(实参列表) [from 表]；特点：Ⅰ叫什么(函数名)；Ⅱ干什么(函数功能)；分类：Ⅰ单行函数；Ⅱ分组函数；什么是单行函数：作用于表中的每一行记录，一条记录出来一个结果；什么是聚合函数：作用于一行或者多行，最终返回一个结果；2.单行函数分类字符函数；数学函数；日期函数；其他函数；流
2020-11-23 15:10:49
531
原创 用python实现热力图可视化
在数据分析过程中，有时候需要一些数据以热力图的形式进行显示出来，从而能够更加直观地查看分析数据。下面以实际情况为例，展示热力图在两种不同情况下的应用。一、识别图片中行人的关注点，并绘制热力图我们在做超市商品卖场力分析的时候，可以通过分析超市密集人群的关注点，生成热力图，给厂商直观的视觉感受。步骤分为以下几步：1、首先用行人检测技术检测出超市场景中的顾客，再用眼动追踪技术得到顾客眼睛凝视点的中心坐标。2、将所有凝视点的中心坐标放入一个list类型的变量data中，即data = [[x1,y1],[x
2020-10-24 09:35:57
11287
15
翻译 深度学习面试必备的25个问题
以下为译文：在本文中，我将分享有关深度学习的25个问题，希望能够帮助你为面试做好准备。1.为什么必须在神经网络中引入非线性？答：否则，我们将获得一个由多个线性函数组成的线性函数，那么就成了线性模型。线性模型的参数数量非常少，因此建模的复杂性也会非常有限。2.说明解决神经网络中梯度消失问题的两种方法。答：使用ReLU激活函数代替S激活函数。使用Xavier初始化。3.在图像分类任务中，相较于使用密集神经网络（Dense Neural Network，DNN），使用卷积神经网络（Co
2020-10-09 13:51:09
524
转载 Pandas进阶学习指南
作者：youerning来源：51CTO博客一、数据对象pandas主要有两种数据对象：Series、DataFrame注: 后面代码使用pandas版本0.20.1，通过import pandas as pd引入1. SeriesSeries是一种带有索引的序列对象。简单创建如下：# 通过传入一个序列给pd.Series初始化一个Series对象, 比如lists1=pd.Series(list("1234"))print(s1)0 11 22 33 .
2020-10-06 14:53:19
573
原创 pandas的read_csv读取带中文的csv文件时报错UnicodeDecodeError
调用pandas库中的read_csv读取带有中文的csv文件时如果出现“UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xbc in position 66: invalid start byte”（如下面第一张图所示），说明在试图将该“中文字符”转成U码的utf-8时超出了其范筹，而GBK规范收录了ISO10646.1中的全部CJK汉字和符号，并有所补充，所以在使用read_csv时，应该加上“encoding = ‘gbk’”，例如：read_
2020-09-12 09:12:17
1791
2
原创 一条线呈现出不同颜色的编程方法
在工程应用中，折线图可以显示随时间(根据常用比例设置)而变化的连续数据，非常适用于显示在相等时间间隔下数据的趋势。如果想要从折线图中更直观的观察数据的状态(例如：数据超过或者低于某一阈值属于异常状态)，从单一颜色的折线图中很难给人以简单明了的感受，但是，如果在一条线上能够根据设定的阈值，画出不同的颜色，对于开发者和用户来讲，会有着非常直观明显的体验。本文简单介绍一下，通过使用python语言，并调用matplotlib库函数来实现这一方法。假设需要画一个正弦函数，以0.3与-0.3为阈值，画出正弦曲线输出
2020-08-22 10:56:33
2250
原创 python面试中常见的8种排序算法
一、插入排序介绍插入排序的基本操作就是将一个数据插入到已经排好序的有序数据中，从而得到一个新的、个数加一的有序数据。算法适用于少量数据的排序，时间复杂度为O(n^2)。插入排算法是稳定的排序方法。步骤①从第一个元素开始，该元素可以认为已经被排序②取出下一个元素，在已经排序的元素序列中从后向前扫描 ③如果该元素（已排序）大于新元素，将该元素移到下一位置④重复步骤3，直到找到已排序的元素小于或者等于新元素的位置⑤将新元素插入到该位置中⑥重复步骤2排序演示算法实现# 插
2020-08-10 11:37:27
1422
翻译 计算机视觉——卷积神经网络（CNN）简介
在过去的几年里，关于介绍卷积神经网络(CNN)的文档有很多，特别是它已经彻底改变了计算机视觉领域。在这篇文章中，我们将以神经网络的基本背景知识为基础，探索CNN是什么，了解它是如何工作的，并从头开始构建一个简单的CNN。1.目的CNN的一个典型的用例是执行图像分类任务，例如查看宠物图像，并决定它是猫还是狗。这似乎是个简单的任务–为什么不直接使用正常的神经网络呢？（1）图像大目前用于处理计算机视觉问题的图像通常是224 x 224或更大，想象一下，构建一个神经网络来处理224 x 224彩色图像：包括
2020-07-25 23:43:05
4108
转载 用简单的代码了解深度学习模型架构
我们总有一种感觉，机器学习门槛高、难入门。这是因为这里有太多晦涩的概念「神经网络」、「评估指标」、「优化算法」等让初学者老是有种盲人摸象的感觉。甚至连理解一个 Tensorflow 官方 Demo 都感觉吃力，因此不少开发者就有过「机器学习从入门到放弃」的经历。本文站在全局视角，通过分析一个 TensorFlow 官方的 Demo 来达到俯瞰一个「机器学习」系统的效果，从而让读者看清这个头大象的全貌，帮助初学者入门「机器学习」。一、理解机器学习1.「传统系统」的目标是获得答案2.「机器学习」的目标是
2020-07-18 12:40:34
1339
1
原创 用简单的语言描述计算机硬件系统构成
一.计算机硬件系统概述所谓计算机硬件系统，就是指构成计算机看得见的，摸得着的实际物理设备。常见的计算机硬件组成主要由下图各部件组成：现代计算机的结构更复杂，包括多重总线。简单打个比方，方便大家理解计算机各部件的主要功能：1.cpu是人的大脑，负责运算2.内存是人的记忆，负责临时存储3.硬盘是人的笔记本，负责永久存储4.输入设备是耳朵或眼睛，负责接收外部的信息传给cpu5.输出设备是你的表情，负责经过处理后输出的结果以上所有的设备都通过总线连接，总线相当于人的神经。二.编程语言的作用及
2020-07-11 09:03:33
2021
转载 阿里程序员职级、薪资、股权大揭秘！
薪资福利是很多小伙伴特别关心的问题，但薪资问题是确是各个大厂闭口不能谈的红线中的红线。这次我打算做个专题，搜集各个大厂的职级/薪资/股权分配情况，让大家有个了解。无论能不能进这些大厂，但他们在一定程度上能代表行业的薪资标杆。我见过远比阿里薪资更高的创业公司，也见过比大厂低很多的中小企业。总之，拿的多的别骄傲，拿的少的别气馁，生活需要越过越好的目标，人生需要屡败屡战的勇气。因为薪资和股票信息每年都会变动，并不能保证100%绝对准确，而且我也离开阿里多年，这里的数据均来自互联网，并通过多位好友及猎头校
2020-06-08 11:57:13
14316
原创 python中的get用法
在python常见的.get()使用方法中，用的最多的场合是在python字典和requests库的情形中。一、python字典中的get方法python字典的get方法会返回指定键的值，如果值不在字典中则返回默认值。二、requests库中的get方法requests库是一个常用的用于http请求的模块,它使用python语言编写,可以方便的对网页进行爬取,是学习python爬虫的较好的http请求模块。request的get方法，通过r=request.get（url）构造一个向服务器请求资源的
2020-06-07 22:12:59
48435
1
原创 用爬虫在网站上无限制的批量爬取图片
当我们需要在网站上大量下载某种图片类型的时候，使用手动点击图片进行保存的形式既费时又费力，选择用爬虫来获取海量图片会极大的方便我们获取图片数据这一过程。我们最常见的图片下载地址就是百度图片了，但是百度拥有反爬虫机制，网上很多爬虫程序在一页上只能爬取30张图片，而且百度页面没有分页，网址没有页数可以让我们改。import reimport requestsfrom urllib import errorfrom bs4 import BeautifulSoupimport osnum = 0n
2020-06-01 11:57:22
3049
原创 一文搞懂HTTP协议（带图文）
网络是由若干节点和连接这些节点的链路构成，然后网络与网络之间所串连成的庞大网络叫做互联网，而我们今天要讲的HTTP（HyperText Transfer Protocol 超文本传输协议)是互联网上应用最为广泛的一种网络协议，它是由万维网协会（World Wide Web Consortium）制定发布。一、简介HTTP 协议一共有五大特点：1.支持客户/服务器模式。2.简单快速：客户向服务器请求服务时，只需传送请求方法和路径。3.灵活：HTTP允许传输任意类型的数据对象。正在传输的类型由
2020-05-29 22:47:20
27782
12
原创 在Windows上以无需建立虚拟机的方式运行Linux系统
之前了解过一些适用于linux的Windows子系统，最近又听人提起，于是在自己的Windows 10专业版上安装了一个Ubuntu。运行起来还真方便，以后在windows上开发Linux程序就不需要安装桌面虚拟化应用了。下面讲下具体的步骤。...
2020-05-25 19:56:53
1412
转载 推荐10个堪称神器的学习网站
给大家推荐10个堪称神器的学习网站，里面的资源非常丰富，相信有需要的朋友学过之后会对自己的学习或工作带来一定的帮助。01.大学资源网大学资源网是一个完全免费并且功能非常强大的学习网站，它免费提供了丰富并且全面的学习视频教程，并且视频课程一直在更新，非常良心。我比较看重的是它里面的考研视频教程，有数学、英语、政治、专业课等等；还有英语视频课程，对于一名程序员来说，如果想要变得更优秀，英语是不可或缺的。另外，我看到它还贴心的支持：小学课程、初中课程、高中课程。挑了几个看了一下，竟然找到了年轻时上课的感
2020-05-22 09:51:28
1159
原创 一个程序最多可以使用多少内存？
在虚拟地址模式下，一个程序可以使用的内存容量跟计算机的物理内存（也就是你的内存条）没有关系，它由虚拟地址的取值范围决定。32位操作系统在32位操作系统中，程序能使用的最大内存是 4GB，也就是2的32次方。即使你的电脑安装的是16G的内存条也没用，剩下的12G只能空闲着。让你买那么大的内存，浪费了吧！...
2020-05-20 13:16:19
7237
原创 人工智能之深度学习基础知识总结，强烈推荐！
1 线型回归预测气温、预测销售额、预测商品价格等模型：权重，偏差模型训练：feed 数据学习模型参数值，使得误差尽可能小训练集、测试集、验证集、样本、标签、特征损失函数：回归常用平方误差函数；优化算法：小批量随机梯度下降（每次选一小批样本训练参数），每批样本大小叫做 batch size学习率：正数超参数：不是通过训练学出的，如学习率，批量大小网络输出层只有一个神经元节点全连接层：输出层中的神经元和输入层中各个输入完全连接基本要素：模型、训练数据、损失函数和优化算法2 softmax
2020-05-13 21:46:38
1409
转载 什么是物联网
物联网其实是互联网的一个延伸，互联网的终端是计算机（PC、服务器），我们运行的所有程序，无非都是计算机和网络中的数据处理和数据传输，除了计算机外，没有涉及任何其他的终端（硬件）。物联网的本质还是互联网，只不过终端不再是计算机（PC、服务器），而是嵌入式计算机系统及其配套的传感器。这是计算机科技发展的必然结果，为人类服务的计算机呈现出各种形态，如穿戴设备、环境监控设备、虚拟现实设备等等。只要有硬件或产品连上网，发生数据交互，就叫物联网。不过物联网的概念目前被炒到过热。鄙人大概十年前开始学习嵌入式，那个
2020-05-12 14:26:41
3725
1
原创 基于OpenCV和YOLOv3的目标检测实例应用
一、前言YOLOv3是当前非常流行的目标检测算法，它的检测速度很快，同时准确度也比较高，适合在工业上进行应用。在网上，已有大量的博文来介绍YOLOv3的基本原理，因此，在本文中不再对原理方面做过多的描述了，接下来我们学习如何在OpenCV上使用目前较为先进的目标检测技术YOLOv3来对图像中的目标进行检测。二、应用在我们平时的目标检测中，常见的检测对象有图片和视频流两种方式，但由于本平台目前...
2020-04-26 18:17:07
2728
1
原创 Python+OpenCV图像处理之边缘提取
一、简介在图像处理中，边缘提取是一种基础的图像处理算法，常用于图像识别以及跟踪领域，为进一步分析和理解图像做准备，下面介绍两种不同的图像边缘检测方法。二、边缘检测方法本文介绍的边缘检测方法包括直接使用高斯滤波器检测和Canny边缘检测两种方法。1.高斯滤波器提取边缘特征高斯滤波是一种线性平滑滤波，可以用于消除图像中的高斯噪声。简言之，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点...
2020-04-23 11:25:09
16673
3
原创 在win10系统下使用命令查看WiFi连接密码
在win10系统下使用命令查看WiFi的连接密码，需要依次点击“开始”——“Windows”——“命令提示符”，最后显示出的界面如下所示：输入：for /f “skip=9 tokens=1,2 delims=:” %i in (‘netsh wlan show profiles’) do @echo%j | findstr -i -v echo | netsh wlan show profi...
2020-04-12 23:30:36
1169
原创 用OpenPose进行单个或多个人体姿态估计
在计算机视觉中，人体姿态估计（关键点检测）是一个很常见的问题，在体育健身、动作采集、3D试衣、舆情监测等领域具有广阔的应用前景，本文要使用的检测方法就是基于OpenPose的人体姿态估计方法。一、OpenPose简介OpenPose人体姿态识别项目是美国卡耐基梅隆大学（CMU）基于卷积神经网络（CNN）和监督学习（SL）并以Caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿...
2020-04-02 13:37:55
7480
27
原创 python+OpenCV+dlib实现目标追踪
背景介绍Dlib是一个深度学习开源工具，基于C++开发，也支持Python开发接口，功能类似于TensorFlow与PyTorch，由于dlib对于人脸特征具有很好的支持，有很多训练好的人脸特征提取模型供开发者使用，所以dlib很适合做人脸项目开发。目标追踪在应用方面，dlib大多数情况下用于人脸检测与人脸识别，然而，dlib还可以用于物体追踪：import cv2import dlib...
2020-02-20 11:45:41
1814
原创 打开虚拟机时出现VMware Workstation 未能启动 VMware Authorization Service
在打开虚拟机时，出现VMware Workstation 未能启动 VMware Authorization Service。您可以尝试手动启动 VMware Authorization Service。如果此问题仍然存在，请联系 VMware 支持部门。当遇到这种情况时，可以选择“以管理员身份运行”，此后就可以正常运行了...
2020-01-14 22:13:27
3603
4
原创 python中视频文件每隔3帧取1帧并保存
视频分帧在图像处理中是一个非常常见的问题，在这里博主希望能够以简洁的代码给大家提供帮助。视频连续分帧import cv2cap = cv2.VideoCapture('person.mp4')count = 1while True: success,image = cap.read() if success: cv2.imwrite("fenzhen/fr...
2020-01-11 22:17:21
2899
2
原创 python语言下for循环与return语句的组合用法
一、return语句什么是return语句？return 语句会终止函数的执行，并且返回函数的值。return语句只能出现在函数体内，如果出现在除了函数体以内的其他地方，都会出现语法上的错误，所以，return语句只能在定义函数体时进行使用。二、for循环与return语句的组合使用关于return语句，有一个相对应的功能就是：在绝大多数情况下，当函数体内的程序执行到return这一步时，会...
2019-11-19 10:53:55
16930
1
原创 python中的for-else用法
在python中，我们常见的与else连接到一起来使用的方法有if-else用法，在这里，给大家介绍另一种与else连接到一起进行组合使用的方法：for-else，下面对此方法进行几个简单的试验。a=[1,2,3,4,5,6]for i in a: print(i)else: print(i+1,'输出一个else')执行以上代码，得到以下结果：123456...
2019-11-11 19:47:51
2693
1
基于dlib的人脸检测模型.zip
2020-03-21
基于激光点云的动态目标运动信息提取技术.pdf
2020-03-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人