- 博客(50)
- 收藏
- 关注
RSS订阅原创 FLINK ON YARN内存计算
FLINK ON YARN内存计算在使用命令提交任务到yarn时：flink run -m yarn-cluster -ys 2 -p 1 -yjm 1G -ytm 2Gys 表示为一个taskManager的slot大小p 表示任务的并行度yjm 表示为jobManager的内存大小ytm 表示为一个taskManager的内存大小计算公式：jobManager个数 = 1 固定taskManager个数 = p / ys + 1 向下取整yarn的vcore个数=slot
2022-04-22 16:10:28
2470
1
原创 yarn常用命令
yarn top类似linux里的top命令，查看正在运行的程序资源使用情况yarn queue -status root.users.xxxx查看指定queue使用情况yarn application-list -appStates 【ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINISHED,FAILED,KILLED】-list -appTypes [SUBMITTED, ACCEPTED, RUNNING]查看app状态-..
2021-03-29 11:32:10
1170
原创 SPARK ON YARN内存计算
文章目录1.YARN关键参数配置1.1 yarn中单个nodemanager控制container的个数1.2 resourceManager1.3 executor堆外内存2.YARN内存参数计算实例2.1 SPARK ON YARN-CLUSTER2.2 SPARK ON YARN-CLIENT3. spark on yarn内存申请3.1 yarn两个默认内存参数3.2 spark3.3 yarn对spark任务内存的申请计算方式3.3.1 executer使用的内存计算3.3.2 driver的内存
2021-03-25 17:10:34
849
2
原创 hdfs
文章目录dfsadmin主要操作命令hdfs主要操作命令-appendToFile-cat-chgrp-chmod-chown-copyFromLocal-copyToLocal-count-cp-du-dus-expunge-get-getfacl-getfattr-getmerge-ls-lsr-mkdir-moveFromLocal-moveToLocal-mv-put-rm-setfacl-setfattr-setrep-stat-tail-test-text-touchzdfsadmin主要操作
2021-03-22 16:07:25
126
原创 Flume
文章目录数据流模型复杂流可靠性可恢复性sourceAvro SourceThrift SourceExec SourceSpooling Directory SourceEvent反序列化器LINEAVROBlobDeserializerKafka SourceNetCat TCP SourceNetCat UDP SourceSyslog SourcesSyslog TCP SourceMultiport Syslog TCP SourceSyslog UDP SourceInterceptorTimes
2021-03-15 11:12:41
3075
原创 kafka命令行操作
kafka命令行操作zookeeper管理命令启动zookeeper查看状态重新启动停止zookeeperkafka命令行操作启动关闭topic系列（2181是zookeeper的端口）查看当前所有topic新建topic删除topic详情topic增加topic分区数目查看topic某分区偏移量最大（小）值offset生产者系列（9092是kafka的端口）启动生产者，生产消息消费者系列启动消费者,消费消息查看所有消费者组查看消费者组消费情况使用kafka的前提是安装zookeeper，请确认安装了zo
2021-03-09 17:21:27
1875
原创 解决maven项目中pom.xml中头部出现Failure to transfer commons-loggingx.x.x问题
eclipse中的maven项目一开始配置pom.xml文件时，保存后出现错误提示：Failure to transfer commons-loggingx.x.x说明的问题是你的本地仓库下载的 commons-loggingx.x.x.jar出现问题，可能是因为网络原因没有下载成功。解决步骤：首先找到自己的maven本地仓库，一般默认目录会在 C:\Users\用户名.m2\reposi...
2019-10-18 11:01:06
848
原创 node.js、webpack、vue-cli下载安装、配置教程以及vue项目的创建
node.js、vue.js、webpake安装教程及常用命令node.js下载路径安装、配置webpack安装、配置vue-cli安装vue创建步骤vue项目目录说明node.js下载路径官方下载路径：https://nodejs.org/zh-cn/download/常见的有msi和zip两种形式。①msi文件下载后点击安装包，一直next（下一步）即可安装。②zip文件下载后解...
2019-09-23 21:11:31
1094
1
原创 智能语音教程
智能语音教程基础简介EAIDK的连接系统登录网络连接Linux常用命令简介EAIDK-610上实现功能在EAIDK-610上实现实时录音播放功能ALSA音频采集原理在EAIDK-610上实现语音编解码时域波形编码变换域编码参数编码混合编码自适应多码率（AMR）语音编码标准在EAIDK-610上实现NS自动降噪传统的噪声抑制算法最小均方误差(LMS)算法递归最小二乘 (RLS)算法在EAIDK-61...
2019-08-29 21:07:23
1084
原创 麦克风阵列技术 三 （ 声源定位 波束形成 去混响 麦克风阵列结构设计 声学结构确认流程）
麦克风阵列技术麦克风阵列技术详解声源定位延时估计角度计算波束形成波束形成模型波束形成基本理论去混响麦克风阵列结构设计声学结构确认流程紧接上一个博客文章，此为第三部分。上一部分见：麦克风阵列技术 二 （自动增益控制 自动噪声抑制 回声消除 语音活动检测）麦克风阵列技术详解声源定位麦克风阵列可以自动检测声源位置，跟踪说话人，声源定位信息既可以用于智能交互，也可以用于后续的空域滤波，对目标方向进...
2019-08-28 15:41:45
16075
3
原创 麦克风阵列技术 二 （自动增益控制 自动噪声抑制 回声消除 语音活动检测）
麦克风阵列技术麦克风阵列技术详解自动增益控制自动增益处理分类AGC环自动噪声抑制原理及实现噪声噪声抑制的一般流程回声消除回声传统回声消除声学回声消除原理及实现语音活动检测音频端点检测原理及实现紧接上一个博客文章，此为第二部分。上一部分见：麦克风阵列技术 一 (名词解释 背景介绍 麦克风及音频信号 麦克风阵列简介) 麦克风阵列技术详解自动增益控制AGC：Automatic Gain Cont...
2019-08-28 15:18:58
11265
1
原创 麦克风阵列技术 一 (名词解释 背景介绍 麦克风及音频信号 麦克风阵列简介)
麦克风阵列技术名词解释背景介绍远场拾音声源定位麦克风及音频信号什么是麦克风麦克风的分类麦克风的对比选型麦克风阵列简介语音交互的优势人机交互痛点近场语音和远场语音麦克风阵列的功能麦克风阵列构型名词解释缩略语全名称简单释义APIApplication Programming Interface应用程序编程接口DESData Encryption Standard...
2019-08-28 14:39:47
10903
原创 人工智能之机器学习
人工智能人工智能概述python与java人工智能分类人工智能的历史机器学习机器学习定义机器学习概念机器学习概念性含义人工智能概述人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它试图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反...
2019-08-15 20:44:34
4198
原创 Oracle基础 三（约束、序列、视图 、索引）
数据分析约束约束分类修改约束序列序列的创建序列操作删除序列ROWNUM视图视图的优点创建视图同名视图视图操作索引索引优缺点创建索引删除索引索引的分类什么时候创建索引什么时候不创建索引约束约束就是指对插入数据的各种限制，例如：人员的姓名不能为空，人的年龄只能在 0~150 岁之间。约束可以对数据库中的数据进行保护。约束可以在建表的时候直接声明，也可以为已建好的表添加约束。约束分类1：主键约...
2019-08-13 21:04:53
286
原创 Oracle基础 二（Oracle 数据类型、多表查询、分组函数、子查询 、数据库更新操作、事物处理）
数据分析Oracle 数据类型多表查询笛卡尔集交叉连接 cross join给数据库起别名左右连接自连接 natural joinUSING子句分组函数组函数GROUP BY 子句HAVING 子句子查询单行子查询多行子查询子查询空值/多值问题数据库更新操作添加数据(INSERT)修改数据(UPDATE)删除数据(DELETE )事物处理Oracle 数据类型数据类型参数描述...
2019-08-12 20:16:27
419
原创 Oracle基础（Oracle数据库特性、入门语句、Oracle数据库的安装、Oracle版本选择问题、Oracle用户分类、卸载 Oracle 数据库、基础查询 、单行函数）
数据分析之OracleOracle数据库特性入门语句Oracle数据库的安装Oracle版本选择问题Oracle用户分类卸载 Oracle 数据库基础查询基础查询练习单行函数字符函数数值函数日期函数转换函数通用函数单行函数练习Oracle数据库特性（1） 强大的安全性控制和完整性控制。存放数据是很安全的、储存数据量很大（2）支持多用户、高性能的事务处理。适合于研发大型企业及项目，例如金融银行...
2019-08-09 20:47:34
979
原创 MySQL基础 （MySQL数据库思想、安装流程及企业版本的选择、MySQL卸载 、MySQL重点命令、 MySQL插入操作 、python中安装mysql数据库、MySQLClient操作数据分析）
数据分析之MySQLMySQL数据库思想MySQL数据库的实战MySQL企业级安装流程以及企业版本的选择MySQL卸载MySQL重点命令MySQL插入insert操作python中安装mysql数据库实现MySQLClient操作数据分析案例MySQL数据库思想数据库是一种关系数据库（1）对于Java语言和其他计算机语言作为后台开发来讲，数据库的关系体现在1对1 、1对多、 多对多(由中间...
2019-08-08 20:03:53
591
原创 python之数据分析
python之数据分析为什么要进行数据分析数据存在的形成导入文本文件类型导入excel类型导入csv文件类型解决数据的编码格式的方法导出数据文件除去重复数据处理空格数据数据字段抽取数据字段拆分数据记录抽取数据随机抽样数据记录合并字段匹配数据标准化数据分组日期转换日期格式化日期抽取为什么要进行数据分析人工智能、大数据等数据的采集需要数据----数据通过python分析而来----进行数据的清洗操...
2019-08-07 20:45:51
464
原创 python之pandas（二）
pandas数据文件读取导包操作pandas读取数据方式pandas里的属性数据过滤获取处理pandas缺省值NAN操作dropna操作fillna操作常用的数学统计方法按列求和按行求和按列求中位数按列求平均值按列求最大值/最小值按列求方差按列求标准差相关系数与协方差唯一值、值计数以及成员资格唯一值值计数成员资格层次索引Series层次索引DataFrame层次索引数据文件读取定义：指的是将...
2019-08-06 20:11:58
830
原创 python之pandas（一）
pandasSeriesSeries属性利用series创建一个二维数组为索引index起名称通过字典方式创建series多维数组获取series值的方法：Series的运算Series缺失值检测Series自动对齐Series及其索引的name属性DataFrame通过二维数组创建通过字典创建索引对象抓取列数据抓取行数据pandas是一种Python数据分析的利器，是一个开源的数据分析包，最...
2019-08-05 19:12:21
582
原创 python之Matplotlib(2D绘图库)
Matplotlib绘制基础头部引包直线折线设置标签文字和线条粗细解决标签、标题中的中文问题一元二次方程的曲线y=x^2正弦、余弦函数散点图柱状图np.random.randint(low, high=None, size=None, dtype='l')np.arange()直方图hist(x,bins,normed,color)numpy.random.normal(loc=0.0, scal...
2019-08-02 20:01:43
2471
原创 python之多维数组（二）
多维数组ndarray访问、修改字段访问、基本切片高级索引Numpy算数运算Numpy矩阵积Numpy广播ndarray访问、修改ndarray对象的内容可以通过索引或者切片来访问和修改，就像python的内置容器对象一样。 ndarray对象中的元素遵循基于零的索引。有三种行可用的索引方法类型：①字段访问②基本切片③高级索引字段访问、基本切片import numpy as np...
2019-08-01 16:51:19
4539
原创 python之多维数组（一）
多维数组ndarray创建方式array()函数empty()函数zeros()函数ones()函数asarray()函数arange()函数linspace()函数logspace()函数random()函数ndarray对象属性shapendimitemsizesizedtypeNumpy中定义的最终对象是称为ndarray的N维数组类型。它描述相同类型的元素集合。可以使用基于零的索引访问...
2019-08-01 14:17:58
39979
2
原创 python之文件操作
文件操作打开文件open()参数讲解文件分类路径规范读取文件写入文件关闭文件异常操作 try： except：文件操作：对磁盘数据的读写操作读写操作：read writeIO操作：inputstream字节输入流 outstream字节输出流打开文件open(file, mode='r', buffering=-1, encoding_=None, errors=None, n...
2019-07-31 20:03:31
259
原创 python之异常
异常异常抛出异常异常什么是异常？异常是指程序底层或者程序执行时出现错误的情况。常见的异常有：使用没有被赋值的变量使用不存在的索引被0除什么是error？代码写错程序不能直接编译运行，error只能靠程序员手动修改程序遇到异常代码体，程序会中断当前执行的操作。如何处理异常？Java语言处理 try{ }catch（）{ } finally{ }...
2019-07-30 20:25:43
126
原创 python之标准库
标准库标准库标准库开箱即用----通过python标准库直接去调用，不需要测试等操作。为了实现开箱即用的思想，Python中为我们提供了一个模块的标准库在这个标准库中，有很多很强大的模块我们可以直接使用，并且标准库会随Python的安装一同安装.标准库就是一个模块化的函数。。。。。常用模块：sys模块它里面提供了一些变量和函数，使我们可以获取到Python解析器的信息或者通...
2019-07-30 19:48:07
409
原创 python之模块
模块模块（module）模块（module）模块化，模块化指将一个完整的程序分解为一个一个小的模块。通过将模块组合，来搭建出一个完整的程序。不采用模块化，统一将所有的代码编写到一个文件中；采用模块化，将程序分别编写到多个文件中。模块化的优点：① 方便开发—直接提供程序员区开发② 方便维护—动用那个模块，维护那个模块。不访问的模块不影响。③ 模块可以复用！—资源共享在Python...
2019-07-29 21:08:43
145
原创 python之类中的属性和方法、垃圾回收
类中的属性和方法、垃圾回收类属性实例属性实例方法类方法静态方法垃圾回收# 定义一个类class A(object):类属性类属性，直接在类中定义的属性是类属性类属性可以通过类或类的实例访问到但是类属性只能通过类对象来修改，无法通过实例对象修改 count = 0 # 类属性实例属性实例属性，通过实例对象添加的属性属于实例属性实例属性只能通过实例对象来访问和...
2019-07-29 20:50:32
500
原创 python之多态
多态面向对象的三大特征：封装确保对象中的数据安全继承保证了对象的可扩展性多态保证了程序的灵活性# 定义两个类class A: def __init__(self,name): self._name = name @property def name(self): return self._name ...
2019-07-29 19:14:08
227
原创 python之继承
继承继承多重继承重写面向对象3大特性不论什么语言都是共同的: 先有封装,再有继承,最后多态!继承一个子类继承父类,满足继承的先决条件: 子类 和 父类有一个类，能够实现我们需要的大部分功能，但是不能实现全部功能,如何能让这个类来实现全部的功能呢？直接修改这个类，在这个类中添加我们需要的功能。但修改起来会比较麻烦，并且会违反OCP原则直接创建一个新的类。但创建一个新的类比较麻烦，...
2019-07-26 21:00:12
117
原创 python之类与封装
类与封装 类类的简介对象初始化构造器方法封装__(双下划线)与 _ (单下划线)property装饰器总结实战类类的简介类也是一个对象！类就是一个用来创建对象的对象！类是type类型的对象，定义类实际上就是定义了一个type类型的对象举例a = int(10) # 创建一个int类的实例b = str('hello') # 创建一个str类的实例 print(a, type(...
2019-07-25 19:15:04
1019
原创 python之闭包、装饰器
闭包、装饰器闭包装饰器闭包将函数作为返回值返回，也是一种高阶函数。这种高阶函数我们也称为叫做闭包，通过闭包可以创建一些只有当前函数能访问的变量。 可以将一些私有的数据藏到的闭包中。def fn(): a = 10 # 函数内部再定义一个函数 def inner(): print('我是fn2' , a) # 将内部函数 inner作为返...
2019-07-24 19:49:21
189
原创 python之内置函数、高阶函数、匿名函数
内置函数、高阶函数、匿名函数函数式编程高阶函数内置函数匿名函数函数式编程在Python中，函数是一等对象一等对象一般都会具有如下特点：① 对象是在运行时创建的② 能赋值给变量或作为数据结构中的元素③ 能作为参数传递④ 能作为返回值返回高阶函数高阶函数至少要符合以下两个特点中的一个① 接收一个或多个函数作为参数② 将函数作为返回值返回高阶函数递归实际就是...
2019-07-24 19:33:02
228
原创 python之递归函数
递归函数递归练习递归递归简单理解就是自己去引用自己！递归式函数，在函数中自己调用自己！# 1到10的阶乘n = 10 # 表示求10的阶乘for i in range(1,10): # rang包括1不包括10 n*=iprint(n)创造一个函数，求任意数的阶乘# 创造一个函数，求任意数的阶乘def function(n): result = n...
2019-07-24 19:09:18
244
原创 python之函数
函数‘’’print(‘zhangtao’)print(‘zhang’)print(‘tao’)# 普通的三行代码不算一个函数，无法重复构造。怎样才能使他重复使用？进行函数构造，放在函数块（代码块）中"""1、定义函数- 定义函数的语法格式 def 函数名称 (): def代表函数的关键字- 操作函数 例如：给函数赋值、给函数定义变量、常量等调用函数必须有- 作用：...
2019-07-22 19:24:18
209
原创 python之条件控制与循环语句
条件控制与循环语句条件控制语句(if、if elif else)循环语句 （for、 while）扩展条件控制语句(if、if elif else)简单的if语句if…else 的特性单独的if不建议使用，需结合else使用age = input('小明你多大了啊？')if age >= 18: print('小明你是成年人了')else: print('...
2019-07-19 20:12:17
304
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人