7 正义飞

尚未进行身份认证

我要认证

大数据专业分享技术公众号:bigdatatip

等级
TA的排名 9k+

Spark面试必备内容

最近很多球友都说在准备面试,不知道准备点啥,尤其是spark,实际上星球里浪尖分享的内容真的都掌握了,应对一般面试绝对没问题,但是遗憾的事情是很多人都是处于不会主动搜集资料,主动梳理知识,主动记忆整理知识,而是伸手要粮的境地。浪尖觉得这个是阻止你成长的罪魁祸手。前天跟朋友聚餐就说道这种情况,不努力,不加班给自己喂粮的,没有足够量和时间积累的人很难在一个领域里有所建树。主动学习,保持激情,不断提...

2019-03-26 10:45:45

Hive初识功能架构

hadoop,spark,kafka交流群:224209501kafka源码,hbase源码,spark源码请关注浪尖公众号本节讲述的主要内容为:1) Hive 能做什么,与MapReduce相比优势在哪里(对于开发者) 2) 为什么说Hive是Hadoop 数据仓库,从【数据存储和分析】方面理解 3) Hive 架构,分为三个部分来理解,最好通过画图理解1,hive PK mapredu

2016-09-02 14:39:27

Hive 表数据 加载 、导出 、查询

1) 使用 load方式加载数据到Hive表中,注意分区加载数据的特殊性 2) 如何保存 HiveQL查询结果:保存到表中,保存到本地文件 (注意 指定 列 分隔符) 3) 常见的查询练习,如 group by、 having、join 、sort by、order by等。1,加载数据到表的几种方式1,加载本地数据文件到hive表中load data local inpath '/opt/da

2016-09-02 14:37:00

IDE的使用,打包spark应用提交

hadoop,spark,kafka交流群:459898801标签(空格分隔): idea 创建spark工程idea导入spark源码idea打包spark应用 4,创建scala工程 5,导出jar包

2016-08-11 20:41:07

hadoopHA安装部署测试

hadoop,spark,kafka交流群:459898801标签(空格分隔): hadoop 本文主要完成以下内容: 1) HDFS HA(高可用性)原理(把握四大要点),最好自己作图 2) 依据官方文档及课程讲解配置HDFS HA启动并测试 3) YARN ResouceManager HA和ResouceManager Restart 功能及配置部署与测试。

2016-08-11 20:12:58

Hadoop 2.x分布式集群部署

hadoop,spark,kafka交流群:459898801hadoop集群搭建,hadoop分布式集群部署。

2016-08-11 20:09:08

spark 的HA模式

hadoop,spark,kafka交流群:4598988011spark 集群部署spark HA模式测试

2016-08-05 13:23:58

0.8.2kafka集群配置

kafka常用配置kafka集群配置讲解kafka生产者实例kafka消费者实例

2016-07-21 11:01:03

zookeeper集群的配置及使用

hadoop,spark,kafka交流群:459898801zookeeper

2016-07-20 18:05:50

sparkRDD操作

RDD介绍标签(空格分隔): sparkhadoop,spark,kafka交流群:459898801RDD 操作,RDD五大特点,spark,streaming

2016-06-23 15:21:48

storm-0.8.2集群模式安装部署

标签(空格分隔): stormhadoop,spark,kafka交流群:224209501集群: 一台主机用来运行nimbus,另外两台运行superior。安装及测试:1,安装ZeroMQ 2,安装jzmq 3,安装Python 4,安装storm 5,配置storm 6,启动storm 7,测试storm1,安装依赖sudo yum install uuid*sudo yum

2016-05-22 19:21:36

Hive 安装部署及测试

标签(空格分隔): hive 1) Hive 如何配置与Hadoop 关联,进行创建表,加载数据测试 2) 在Linux下安装MySQL数据库 3) 配置Hive元数据存储在MySQL中,查看相关元数据表信息 4) 熟悉基本的DML和DDL语句(创建数据库、表及加载数据和基本查询语句Select)hadoop,spark,kafka交流群:224209501,相关文档及环境要求1.

2016-05-22 19:11:45

HBase集群搭建及hbaseshell使用

标签(空格分隔): hbase 大数据 (Hadoop)数据库 HBase功能 、表的设计 、环境配置与 Shell基本使用练习,最好与 RDBMS数据中的库和表进行对比 ,以下几点要注意 : 1) 企业中海量数据存储和实时查询的需求 2) HBase功能 ,与 RDBMS相比,优势在哪 3) HBase服务组件的说明、配置部署启动 4) HBase Shell中基本命令的使用

2016-05-22 19:06:16

spark 环境搭建及几种模式测试

spark安装部署标签(空格分隔): sparkhadoop,spark,kafka交流群:224209501,spark on yarn;spark standalone;spark hadoop。

2016-05-19 11:58:28

kafka与streaming集成两种方式

hadoop,spark,kafka交流群:224209501标签(空格分隔)spark streaming作为kafka消费者两种模式,测试完整通过。

2016-05-18 10:57:48

Hadoop 2.x伪分布式环境搭建测试

Hadoop为分布式集群环境搭建,学习。

2016-05-10 21:27:48

各种距离的计算

1. 欧氏距离(EuclideanDistance)(1)二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离: (2)三维空间两点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离: (3)两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的欧氏距离: 也可以用表示成向量运算的形式:

2015-12-11 14:12:47

软件面试问答

1. 对于内存管理你有什么看法?- 动态内存尽量谁申请谁释放,分工明确。避免漏释放和重复释放。- 对于嵌入式系统,分析最常用的内存大小,优化内存池配置。- 申请到内存后首先初始化内容。- 保证指针变量初始化- 评估调用深度,避免栈溢出。- 如果内存足够,管理信息时不要过于节省内存,造成效率降低或者代码可读性降低。2.工作中遇到bug怎么解决的- 如果问题可以稳定

2015-10-30 08:54:46

bootm命令中的地址参数,内核加载地址以及入口地址

bootm命令只能用来引导经过mkimage构建了镜像头的内核镜像文件以及根文件镜像,对于没有用mkimage对内核进行处理的话,那直接把内核下载到连接脚本中指定的加载地址0x30008000再运行就行,内核会自解压运行(不过内核运行需要一个tag来传递参数,而这个tag是由bootloader提供的,在u-boot下默认是由bootm命令建立的)。 通过mkimage可以给内核镜

2015-06-15 22:09:54

uboot想Linux内核传递参数

U-BOOT 在启动内核时,会向内核传递一些参数.BootLoader 可以通过两种方法传递参数给内核,一种是旧的参数结构方式(parameter_struct),主要是 2.6 之前的内核使用的方式。另外一种就是现在的 2.6内核在用的参数链表 (tagged list)  方式。这些参数主要包括,系统的根设备标志,页面大小,内存的起始地址和大小,RAMDISK的起始地址和大小,压缩的RAMDI

2015-06-15 22:06:03

查看更多

勋章 我的勋章
    暂无奖章