- 博客(7)
- 资源 (12)
- 收藏
- 关注
原创 spark问题优化
1、ERROR cluster.YarnScheduler: Lost executor 5 onhdp-14-9876: Container marked as failed: container_1560518528256_0014_01_000003 on host: hadoop-master. Exit status: 143. Diagnostics: Container killed on request. Exit code is 143 Container exited with a no
2021-08-18 11:42:54 332 1
转载 Spark Executor 内存管理
本文主要对 Executor 的内存管理进行分析,下文中的 Spark 内存均特指 Executor 的内存堆内内存和堆外内存作为一个 JVM 进程,Executor 的内存管理建立在 JVM 的内存管理之上,此外spark还引入了堆外内存(不在JVM中的内存),在spark中是指不属于该executor的内存。堆内内存:由 JVM 控制,由GC(垃圾回收)进行内存回收,堆内内存的大小,由 Spark 应用程序启动时的 executor-memory 或 spark.executor.memory 参
2021-07-22 17:29:10 840
原创 Spark内核原理
Applicationspark-submitDriverSparkContextMasterWorkerExecutorJobDAGSchedulerTaskSchedulerShuffleMap Task and Result Task
2020-11-18 15:12:27 113
原创 2020年9月大数据相关面试
腾讯面试一面:1、实现一个函数f(x),输入x为正整数,当x=1或者2时f(x)=1,当x>2时,f(x)=f(x-1)+f(x-2)2、1T的文本中,每行就一个数字,让我怎么快速高效找出最大的那个数3、数据库表a记录了很多用户在很多城市的访问记录,字段a.user_id, a.city, a.time, a.other_info使用一条SQL查出每个user_id在每个city的最后一条访问记录4、reduceByKey和CombineByKey和aggregateByKey,gr
2020-11-18 14:51:50 802 1
原创 基于腾讯TBDS平台(Ambari)的mongo数据目录迁移
mongo数据目录迁移1 现象描述与分析Mongodb默认的shard、config的数据目录配置是/data/mongodb。但是有时用户用了一段时间后,又想重新将数据迁移到其他目录,这就涉及到数据的迁移及mongodb的数据目录路径的配置重新配置。2 处理方法在Mongodb的mongodb-env文件中mongo.paths.prefix是mongodb数据存放路径的配置选项,con...
2019-02-21 16:05:43 1089
原创 Redis扩容及Slot Balance、Reshard
Redis扩容及slot balance新添加了两台机器10.255.1.4 tbds-10-255-1-410.255.1.12 tbds-10-255-1-121、查看原有redis集群登陆10.255.1.10原有redis的集群./redis-cli -c -h tbds-10-255-1-10 -p 6379 -a [email protected]、添加新的节点到集群中...
2018-09-19 15:57:37 4804
Spark源码深度解读
2018-11-29
[大数据] Doing Data Science (英文版)
2016-12-12
Hadoop 权威指南(第2版)
2016-11-20
Spark大数据处理:技术、应用与性能优化
2015-10-22
马士兵hibernate学习笔记(文字整理版).doc
2014-07-10
KDE 2 Qt Programming Bible.pdf
2014-05-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人