- 博客(287)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Spark面试必备内容
最近很多球友都说在准备面试，不知道准备点啥，尤其是spark，实际上星球里浪尖分享的内容真的都掌握了，应对一般面试绝对没问题，但是遗憾的事情是很多人都是处于不会主动搜集资料，主动梳理知识，主动记忆整理知识，而是伸手要粮的境地。浪尖觉得这个是阻止你成长的罪魁祸手。前天跟朋友聚餐就说道这种情况，不努力，不加班给自己喂粮的，没有足够量和时间积累的人很难在一个领域里有所建树。主动学习，保持激情，不断提...
2019-03-26 10:45:45
712
原创 Hive初识功能架构
hadoop,spark,kafka交流群：224209501kafka源码，hbase源码，spark源码请关注浪尖公众号本节讲述的主要内容为：1） Hive 能做什么，与MapReduce相比优势在哪里（对于开发者） 2） 为什么说Hive是Hadoop 数据仓库，从【数据存储和分析】方面理解 3） Hive 架构，分为三个部分来理解，最好通过画图理解1，hive PK mapredu
2016-09-02 14:39:27
2327
原创 Hive 表数据 加载 、导出 、查询
1） 使用 load方式加载数据到Hive表中，注意分区加载数据的特殊性 2） 如何保存 HiveQL查询结果：保存到表中，保存到本地文件 （注意 指定 列 分隔符） 3） 常见的查询练习，如 group by、 having、join 、sort by、order by等。1，加载数据到表的几种方式1，加载本地数据文件到hive表中load data local inpath '/opt/da
2016-09-02 14:37:00
3285
原创 IDE的使用，打包spark应用提交
hadoop,spark,kafka交流群：459898801标签（空格分隔）： idea 创建spark工程idea导入spark源码idea打包spark应用 4，创建scala工程 5，导出jar包
2016-08-11 20:41:07
2566
原创 hadoopHA安装部署测试
hadoop,spark,kafka交流群：459898801标签（空格分隔）： hadoop 本文主要完成以下内容： 1） HDFS HA（高可用性）原理（把握四大要点），最好自己作图 2） 依据官方文档及课程讲解配置HDFS HA启动并测试 3） YARN ResouceManager HA和ResouceManager Restart 功能及配置部署与测试。
2016-08-11 20:12:58
2423
原创 Hadoop 2.x分布式集群部署
hadoop,spark,kafka交流群：459898801hadoop集群搭建，hadoop分布式集群部署。
2016-08-11 20:09:08
1471
原创 sparkRDD操作
RDD介绍标签（空格分隔）： sparkhadoop,spark,kafka交流群：459898801RDD 操作，RDD五大特点，spark，streaming
2016-06-23 15:21:48
3844
原创 storm-0.8.2集群模式安装部署
标签（空格分隔）： stormhadoop,spark,kafka交流群：224209501集群： 一台主机用来运行nimbus，另外两台运行superior。安装及测试：1，安装ZeroMQ 2，安装jzmq 3，安装Python 4，安装storm 5，配置storm 6，启动storm 7，测试storm1，安装依赖sudo yum install uuid*sudo yum
2016-05-22 19:21:36
1111
原创 Hive 安装部署及测试
标签（空格分隔）： hive 1） Hive 如何配置与Hadoop 关联，进行创建表，加载数据测试 2） 在Linux下安装MySQL数据库 3） 配置Hive元数据存储在MySQL中，查看相关元数据表信息 4） 熟悉基本的DML和DDL语句（创建数据库、表及加载数据和基本查询语句Select）hadoop,spark,kafka交流群：224209501，相关文档及环境要求1.
2016-05-22 19:11:45
4984
原创 HBase集群搭建及hbaseshell使用
标签（空格分隔）： hbase 大数据 （Hadoop）数据库 HBase功能 、表的设计 、环境配置与 Shell基本使用练习，最好与 RDBMS数据中的库和表进行对比 ，以下几点要注意 ： 1） 企业中海量数据存储和实时查询的需求 2） HBase功能 ，与 RDBMS相比，优势在哪 3） HBase服务组件的说明、配置部署启动 4） HBase Shell中基本命令的使用
2016-05-22 19:06:16
6823
原创 spark 环境搭建及几种模式测试
spark安装部署标签（空格分隔）： sparkhadoop,spark,kafka交流群：224209501，spark on yarn；spark standalone；spark hadoop。
2016-05-19 11:58:28
12646
2
原创 kafka与streaming集成两种方式
hadoop,spark,kafka交流群：224209501标签（空格分隔）spark streaming作为kafka消费者两种模式，测试完整通过。
2016-05-18 10:57:48
5658
2
转载 各种距离的计算
1. 欧氏距离(EuclideanDistance)(1)二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离： (2)三维空间两点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离： (3)两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的欧氏距离： 也可以用表示成向量运算的形式：
2015-12-11 14:12:47
1363
转载 软件面试问答
1. 对于内存管理你有什么看法？- 动态内存尽量谁申请谁释放，分工明确。避免漏释放和重复释放。- 对于嵌入式系统，分析最常用的内存大小，优化内存池配置。- 申请到内存后首先初始化内容。- 保证指针变量初始化- 评估调用深度，避免栈溢出。- 如果内存足够，管理信息时不要过于节省内存，造成效率降低或者代码可读性降低。2.工作中遇到bug怎么解决的- 如果问题可以稳定
2015-10-30 08:54:46
681
转载 bootm命令中的地址参数，内核加载地址以及入口地址
bootm命令只能用来引导经过mkimage构建了镜像头的内核镜像文件以及根文件镜像，对于没有用mkimage对内核进行处理的话，那直接把内核下载到连接脚本中指定的加载地址0x30008000再运行就行，内核会自解压运行（不过内核运行需要一个tag来传递参数，而这个tag是由bootloader提供的，在u-boot下默认是由bootm命令建立的）。 通过mkimage可以给内核镜
2015-06-15 22:09:54
931
转载 uboot想Linux内核传递参数
U-BOOT 在启动内核时,会向内核传递一些参数.BootLoader 可以通过两种方法传递参数给内核，一种是旧的参数结构方式（parameter_struct)，主要是 2.6 之前的内核使用的方式。另外一种就是现在的 2.6内核在用的参数链表 (tagged list) 方式。这些参数主要包括，系统的根设备标志，页面大小，内存的起始地址和大小，RAMDISK的起始地址和大小，压缩的RAMDI
2015-06-15 22:06:03
1075
转载 linux进程调度
一,进程调度的作用:顾名思义,进程调度就是对进程进行调度,即负责选择下一个要运行的进程.通过合理的调度,系统资源才能最大限度地发挥作用,多进程才会有并发执行的效果.二,进度调度的目标和基本工作:进程调度最终要完成的目标就是为了最大限度的利用处理器时间.即,只要有可以执行的进程,那么就总会有进程正在执行.当进程数大于处理器个
2015-06-14 11:11:15
719
转载 linux内核的三种主要调度策略
linux内核的三种主要调度策略：1，SCHED_OTHER 分时调度策略， 2，SCHED_FIFO实时调度策略，先到先服务 3，SCHED_RR实时调度策略，时间片轮转 实时进程将得到优先调用，实时进程根据实时优先级决定调度权值。分时进程则通过nice和counter值决定权值，nice越小，counter越大，被调度的概率越大，也就是曾经使用了cpu
2015-06-14 11:08:02
4583
转载 FIQ和IRQ的区别及CPU实现
FIQ和IRQ是两种不同类型的中断，ARM为了支持这两种不同的中断，提供了对应的叫做FIQ和IRQ处理器模式（ARM有7种处理模式）。一般的中断控制器里我们可以配置与控制器相连的某个中断输入是FIQ还是IRQ,所以一个中断是可以指定为FIQ或者IRQ的，为了合理，要求系统更快响应，自身处理所耗时间也很短的中断设置为FIQ，否则就设置了IRQ。如果该中断设置为了IRQ，那么当该中
2015-06-13 00:02:29
5166
转载 softirq/tasklet/workqueue的区别
softirq和tasklet都属于软中断，tasklet是softirq的特殊实现；workqueue是普通的工作队列。1、softirq软中断支持SMP，同一个softirq可以在不同的CPU上同时运行，softirq必须是可重入的。软中断是在编译期间静态分配的，它不像tasklet那样能被动态的注册或去除。kernel/softirq.c中定义了一个包含32个soft
2015-06-12 23:58:45
585
转载 嵌入式C常见笔试题：字符串
一.strcat、strcpy、strcmp、strlen函数的实现1实现strcat函数格式：extern char *strcat(char *dest,char *src);功能：把src所指字符串添加到dest结尾处并添加'\0'；返回：指向dest的指针。实现：char *Mystrcat(char*dest,con
2015-06-12 22:13:01
799
转载 U-Boot启动Linux过程
U-Boot启动Linux过程 U-Boot使用标记列表（tagged list）的方式向Linux传递参数。标记的数据结构式是tag，在U-Boot源代码目录include/asm-arm/setup.h中定义如下：struct tag_header { u32 size; /* 表示tag数据结构的联合u实质存放的数据的大小*/
2015-06-06 23:27:41
689
转载 Bootm命令
一、在开始之前先说明一下bootm相关的东西。1、首先说明一下，S3C2410架构下的bootm只对sdram中的内核镜像文件进行操作(好像AT91架构提供了一段从flash复制内核镜像的代码，不过针对s3c2410架构就没有这段代码，虽然可以在u-boot下添加这段代码，不过好像这个用处不大)，所以请确保你的内核镜像下载到sdram中，或者在bootcmd下把flash中的内核镜像复制到
2015-06-06 23:15:12
933
转载 最小生成树（普利姆算法、克鲁斯卡尔算法）
算法给定一个带权的无向连通图,如何选取一棵生成树,使树上所有边上权的总和为最小,这叫最小生成树.求最小生成树的算法(1) 克鲁斯卡尔算法图的存贮结构采用边集数组,且权值相等的边在数组中排列次序可以是任意的.该方法对于边相对比较多的不是很实用,浪费时间.(2) 普里姆算法图的存贮结构采用邻接矩阵.此方法是按各个顶点连通的步骤进行,需要用一个顶点集合,开始为空集,以后将以连
2015-04-20 10:34:37
697
转载 __func__函数的使用
__func__是C99标准里面预定义标识符, 它是一个static const char[], 会在每一个使用__func__的函数里隐式定义.下面是ISO9899里的例子#include void myfunc(void){ printf("%s/n", __func__); /* ... */}输出: myfunc 据我所知好像只有GC
2015-04-12 23:11:58
22546
转载 linux多线程学习设置线程调度权限
pthread_setschedparam 设置线程的权限int pthread_setschedparam(pthread_t target_thread, int policy, const struct sched_param *param)参数 1. target_thread是使用pthread_create所获得的线程ID。 2．线程的调度有三种策略：SCHED_OT
2015-04-10 18:26:05
1235
转载 Linux 线程同步的三种方法
线程的最大特点是资源的共享性，但资源共享中的同步问题是多线程编程的难点。linux下提供了多种方式来处理线程同步，最常用的是互斥锁、条件变量和信号量。一、互斥锁(mutex)通过锁机制实现线程间的同步。初始化锁。在Linux下，线程的互斥量数据类型是pthread_mutex_t。在使用前,要对它进行初始化。静态分配：pthread_mutex_t mutex = PTHREA
2015-04-10 18:16:19
485
转载 Linux 线程属性函数总结
1、初始化一个线程对象的属性int pthread_attr_init(pthread_attr_t *attr); 返回值：若是成功返回0,否则返回错误的编号 形 参： attr 指向一个线程属性的指针 说 明：Posix线程中的线程属性pthread_attr_t主要包括scope属性、detach属性、堆栈地址、堆栈大小、优先
2015-04-10 18:14:00
504
转载 Linux线程属性总结
线程属性标识符：pthread_attr_t 包含在 pthread.h 头文件中。[c] view plaincopy//线程属性结构如下： typedef struct { int etachstate; //线程的分离状态 int schedpolicy;
2015-04-10 18:12:06
458
转载 linux多线程中信号的使用（2）
简介： 关于代码的可重入性，设计开发人员一般只考虑到线程安全，异步信号处理函数的安全却往往被忽略。本文首先介绍如何编写安全的异步信号处理函数；然后举例说明在多线程应用中如何构建模型让异步信号在指定的线程中以同步的方式处理。Linux 多线程应用中编写安全的信号处理函数在开发多线程应用时，开发人员一般都会考虑线程安全，会使用 pthread_mutex 去保护全局变量。如果应用中
2015-04-10 17:15:39
559
转载 linux多线程中信号的使用（1）
在Linux的多线程中使用信号机制，与在进程中使用信号机制有着根本的区别，可以说是完全不同。在进程环境中，对信号的处理是，先注册信号处理函数，当信号异步发生时，调用处理函数来处理信号。它完全是异步的（我们完全不知到信号会在进程的那个执行点到来！）。然而信号处理函数的实现，有着许多的限制；比如有一些函数不能在信号处理函数中调用；再比如一些函数read、recv等调用时会被异步的信号给中断(inter
2015-04-10 17:04:02
488
转载 哲学家进餐问题
产生背景2问题描述3死锁问题4管程机制1产生背景由荷兰学者Dijkstra提出的哲学家进餐问题(The Dinning Philosophers Problem)是经典的同步问题之一。哲学家进餐问题是一大类并发控制问题的典型例子，涉及信号量机制、管程机制以及死锁等操作系统中关键问题的应用，在操作系统文化史上具有非常重要的地
2015-04-09 17:04:10
1657
转载 银行家算法
我们可以把操作系统看作是银行家，操作系统管理的资源相当于银行家管理的资金，进程向操作系统请求分配资源相当于用户向银行家贷款。为保证资金的安全,银行家规定:(1) 当一个顾客对资金的最大需求量不超过银行家现有的资金时就可接纳该顾客;(2) 顾客可以分期贷款,但贷款的总数不能超过最大需求量;(3) 当银行家现有的资金不能满足顾客尚需的贷款数额时,对顾客的贷款可推迟支付,但总能使顾客在有
2015-04-09 16:52:41
780
转载 usb 的device class
http://www.usb.org/developers/defined_class/#BaseClass01hUSB defines class code information that is used to identify a device’s functionality and to nominally load a device driver based on that fu
2014-12-15 17:01:11
2252
2
转载 USB基础了解
转载自：http://blog.chinaunix.net/uid-103601-id-2961390.html一 什么是USB1.1 USB is only bus认识一下它的全名：USB (Universal Serial Bus，通用串行总线）。 Bus永远是bus。出生那一刻起就注定他一生的角色就是一条数据通路。我们不能因为现在各式各样的USB设备，被其迷惑就认
2014-12-15 16:59:09
1794
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人