- 博客(9)
- 资源 (2)
- 收藏
- 关注
转载 kafka中partition和消费者对应关系
转载自:https://www.jianshu.com/p/6233d5341dfe1个partition只能被同组的一个consumer消费,同组的consumer则起到均衡效果
2020-07-19 17:12:20 212
原创 spark相关知识杂记
工作中经常用到hadoop和spark的相关操作,大数据的知识点很多,想要全部掌握烂熟于心很困难,将一些比较重要或经常忘记的点记录一下1. saprk与hadoop的关系hadoop是一个完善的大数据生态系统,包含了底层的文件系统HDFS,计算引擎MapReduce,大数据查询引擎Hive,实时流计算storm,资源调度系统Yarn等,而spark主要是用来替换MR计算引擎的,利用内存计算替换磁盘交换来提升计算效率,因此spark可以看作是hadoop生态系统中的一员,一种基于内存的计算引擎,它提供的s
2020-07-05 21:04:24 229
原创 Python读写文件参数详解 open read write
一、打开文件open方法python打开一个文件用open()方法,返回一个文件对象,它是可迭代的:f=open('file.txt', mode='r')mode参数表示对文件的操作方式,读和写由read、write决定:只读模式 r文件不存在报错r(rt)只读方式打开文本文件,光标位于文件开头(默认模式)rb读取二进制格式文件,光标位于文件开头r+读写文件,光标位于文件开头rb+读写二进制文件,光标位于文件开头写入模式 w文件存在
2020-07-05 11:37:48 3488
原创 导数、偏导数与梯度
机器学习或深度学习求解中经常用到梯度的概念,利用无约束的最优化方法求解模型的参数,常用的最优化方法有梯度下降法、牛顿法、拟牛顿法、共轭梯度法等导数偏导数梯度...
2020-02-12 15:55:35 173
原创 金融基本知识
平时零零散散看一些金融方面的公众号文章,入门级的知识汇总一下1、常见的金融投资手段银行存款、银行理财、基金、债券、股票、信托、资产管理计划...
2020-02-12 14:24:04 429 1
原创 数据挖掘相关技术汇总
本人互金行业算法攻城狮一枚,由于工作中常用到数据挖掘相关技术,特开此专题记录实践与学习过程中的知识点,一起进步。目录:一、机器学习算法相关1. 有监督学习1.1 分类算法1.2 回归算法2. 无监督学习2.1 聚类算法2.2 降维算法3. 数据预处理3.1 数据清洗(异常值、采样)3.2 缺失值填充3.3. 特征编码3.4 特征提取与降维3.5 特征选择二、数据库及S...
2019-12-01 16:30:00 223
原创 spark的数据本地性
一、数据本地性spark在任务调度的时候,会检查数据存储的位置,本着“移动数据不如移动计算”的原则,会优先将task任务部署在其将要处理的数据所在的节点上,可以最大程度地减小数据传输带来的网络开销,减少IO操作,称为spark的数据本地性。二、本地性的分类Process_local:Excutor进程(task线程)读取缓存在本地节点上的数据Node_local:读取本地节点硬盘上的数据...
2019-09-15 20:55:33 573
原创 云计算与虚拟化
云计算与虚拟化的关系一、虚拟化二、云计算已经有了虚拟化,为什么还要资源池化?一、虚拟化虚拟化是一种软件层面的资源分配技术,一般是指将一台物理机(宿主机)虚拟化为多个逻辑服务器(虚拟机)的技术,多个虚拟机之间共享物理机的CPU、内存、存储、网络等资源,可以运行不同的操作系统等软件程序,并且应用程序可以在相互独立的空间内运行而互不影响。虚拟化解决了单台物理机“资源过剩”的问题,管理员可以自由分配每...
2019-07-28 22:18:23 661 1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人