- 博客(22)
- 收藏
- 关注
RSS订阅原创 大数据处理必备的十大工具
随着互联网的愈来愈开放，电子商务平台和社交网络的盛行，导致数据在日益增长，给企业管理大量的数据带来了挑战的同时也带来了一些机遇。随着互联网的愈来愈开放，电子商务平台和社交网络的盛行，导致数据在日益增长，给企业管理大量的数据带来了挑战的同时也带来了一些机遇。下面是用于信息化管理的大数据工具列表：1. Apache Hive:Hive是一个建立在Hadoop上的开源数据仓库基础设施，通过H...
2019-07-29 21:59:59
3713
原创 Python程序员：没有我蹭不成功的网。教你如何快速蹭网
想象一下，程序员没有WIFI会怎样？程序员没有网络肯定会寸步难行！但是对于Python程序员来说，只要附近有热点，分分钟就能蹭网成功！想要WIFI破解，python+字典，这是必少不了的。热点加弱口令也是核心。字典自己加精，你的字典有强大，你能破解的WIFI就越多，提供两种方法，一般人学到一种即可。方法一1.环境准备python2.7 pywifi模块 字典 清除系统...
2019-07-20 22:00:00
1024
原创 40K成功入职：六年开发终获小米Offer（附面经+面试题+答案详解）
前言从面试到现在已有一个多月了，面试的问题还记得八九成。端午节前刚从上家离职趁着假期有空把面试问题总结一下。主要是记录一下问题，答案三言两语写不完，网上有蛮多文章讲的挺好所以本文不再展开。技术栈java, golang, js, python 主要是前面两个。面试总结其他Java团队leader面 其他Golang团队leader面 本团队leader面 总监面之所以把...
2019-07-20 21:59:58
15286
2
原创 新的程序开发模式出现，传统的嵌入式C语言程序员快要灭绝了？
在2000年前后，嵌入式软件工程师有着一套非常具体的技能，他们通常是电气工程师，不仅了解底层硬件的工作原理，还可以再底层编写汇编代码或者C语言代码，以使系统满足实时需求。嵌入式软件工程师不仅要了解诸如C语言的软件开发，还要了解硬件。位、字节、寄存器的世界，正是嵌入式软件工程师的领域。但是如今不再那么简单了。在早期，嵌入式开发人员通常使用 8 位或者16位的体系结构，这些结构比较简单，因此开...
2019-07-20 21:59:56
2006
原创 腾讯团队开源前端跨框架跨平台框架Omi
Omi – 前端跨框架跨平台框架基于 Web Components 并支持 IE8+(omio)，小程序(omip) 和 任意前端框架集成Github star 9.2K+， MIT协议。特性框架无关，任何框架可以使用 Omi 自定义元素 提供桌面、移动和小程序整体解决方案 超快的更新和渲染 小巧的尺寸 拥有官方跨框架 UI 组件库 – omim 使用 omio 可以...
2019-07-20 21:59:55
4304
原创 先想好再转行？职业转型应该“先行动，后思考”
在北京亮马桥附近的一家咖啡店里，我约了朋友小K，想和她聊聊最近的困境。从一家咨询机构离职后，虽然有不少同类公司向我抛出橄榄枝，但不论是更高的薪资还是职位，总是让我感觉“哪里不对”。是不是应该换家公司？换个行业？或者干脆放飞自我？向小k表达了疑问后，我经历了一番暴风骤雨似的考验。“跳槽穷半年，转行穷三年。你已经赚够钱了吗？”“你想清楚转行做什么了吗？要知道，喜欢花并不代表你会...
2019-07-19 21:00:00
511
原创 大数据框架基础入门Hadoop MapReduce
MapReduce它可以编写应用程序来处理海量数据，并行，大集群的普通硬件，以可靠的方式的框架。MapReduce是什么?MapReduce是一种处理技术和程序模型基于Java的分布式计算。 MapReduce算法包含了两项重要任务，即Map 和 Reduce。Map采用了一组数据，并将其转换成另一组数据，其中，各个元件被分解成元组(键/值对)。其次，减少任务，这需要从Map 作为输入并组...
2019-07-13 22:00:01
181
原创 大数据框架基础入门Hadoop Streaming
Hadoop数据流是Hadoop自带发行的实用程序。该实用程序允许创建和运行Map/Reduce任务的任何可执行文件或脚本映射器和/或减速器。使用Python示例对于Hadoop的数据流，我们考虑的字计数问题。任何工作在Hadoop中必须有两个阶段：映射器和减速器。我们使用python脚本代码映射器和减速器在Hadoop下运行它。使用Perl和Ruby也是类似的。映射阶段代码 ...
2019-07-13 21:59:59
147
原创 大数据框架基础入门Hadoop介绍快速入门
ApacheHadoop是用于开发在分布式计算环境中执行的数据处理应用程序的框架。类似于在个人计算机系统的本地文件系统的数据，在 Hadoop 数据保存在被称为作为Hadoop分布式文件系统的分布式文件系统。处理模型是基于“数据局部性”的概念，其中的计算逻辑被发送到包含数据的集群节点(服务器)。这个计算逻辑不过是写在编译的高级语言程序，例如Java. 这样的程序来处理Hadoop存储的 ...
2019-07-13 21:59:58
211
原创 大数据框架基础入门Hadoop HDFS入门
Hadoop 附带了一个名为 HDFS(Hadoop分布式文件系统)的分布式文件系统，基于 Hadoop 的应用程序使用 HDFS 。HDFS 是专为存储超大数据文件，运行在集群的商品硬件上。它是容错的，可伸缩的，并且非常易于扩展。 你知道吗? 当数据超过一个单个物理机器上存储的容量，除以跨独立机器数。管理跨越机器的网络存储特定操作被称为分布式文件系统。HDFS集群主要由 Name...
2019-07-13 21:57:58
184
1
原创 大数据框架基础入门Hadoop程序入门实践
问题陈述：找出销往各个国家商品数量。输入:我们的畋输入数据集合是一个 CSV 文件,Sales2014.csv前提条件：本教程是在Linux上开发 – Ubuntu操作系统 已经安装了Hadoop(本教程使用版本2.7.1) 系统上已安装了Java(本教程使用 JDK1.8.0)。在实际操作过程中，使用的用户是’hduser_“(此用户使用 Hadoop)。 yi...
2019-07-13 21:57:56
166
原创 大数据框架基础入门OOZIE 五分钟入门学习
OOZIE 是什么鬼?ApacheOozie是工作流调度用在Hadoop中。它是一个运行相关的作业工作流系统。这里，用户被允许创建向非循环图工作流程，其可以在并列 Hadoop 并顺序地运行。它由两部分组成： 工作流引擎：一个工作流引擎的职责是存储和运行工作流程，由 Hadoop 作业组成：MapReduce, Pig, Hive. 协调器引擎：它运行基于预定义的时间表和...
2019-07-13 21:57:55
168
原创 大数据框架基础入门MapReduce Hadoop程序连接数据
这里有两个数据集合在两个不同的文件中，如下所示：DEPT_ID 键在这两个文件中常见的。目标是使用 MapReduce 加入来组合这些文件。输入:我们的输入数据集是两个txt文件：DeptName.txt 和 DepStrength.txt下载输入文件前提条件：本教程是在 Linux 上开发 – Ubuntu操作系统 已经安装的Hadoop(本教程使用2.7.1版...
2019-07-13 21:57:53
165
原创 大数据框架基础入门MapReduce计数器和连接
在MapReduce的计数器是用于收集关于 MapReduce 工作的统计信息的机制。这个信息在MapReduce的作业处理的问题的诊断是很有用的。 计数器类似于将在 map 或 reduce 在代码日志信息中。通常情况下，这些计数器在一个程序(map 或 reduce)中定义，当一个特定事件或条件(特定于该计数器)发生执行期间递增。计数器是一个很好的应用来从输入数据集跟踪有效和无效的记录。...
2019-07-13 21:57:52
164
原创 从Linux到大数据技术之路之Hadoop入门详细解分
一、大数据概论大数据概论大数据（big data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决，海量数据的存储和海量数据的分析计算问题。 自我认为：大数据就是在短时间内快速产生大量**多种多样的有价值**的信息。大数据的特点大量 高速 多样 低价值密...
2019-07-11 22:00:00
196
原创 零基础学习大数据Hadoop需要什么准备？Hadoop如何发展起来的？
Hadoop是一个由Apache基金会所开发的分布式系统基础架构，是用Java语言开发的一个开源分布式计算平台，适合大数据的分布式存储和计算平台。今天加米谷大数据就来简单介绍一下Hadoop的简史，以及学习Hadoop前要做哪些准备。狭义上，Hadoop就是单独指代Hadoop这个软件；广义上，Hadoop指代大数据的一个生态圈，包括很多其他的软件。Hadoop的起源...
2019-07-11 21:59:58
198
原创 Hadoop大数据平台架构与实践
Apache Hadoop软件库是一个框架，允许使用简单的编程模型，在计算机集群分布式地处理大型数据集。一、什么是Apache Hadoop？1.1 定义和特性可靠的、可扩展的、分布式计算开源软件。Apache Hadoop软件库是一个框架，允许使用简单的编程模型，在计算机集群分布式地处理大型数据集。它可以从单个服务器扩展到数千台机器，每个机器都提供本地计算和存...
2019-07-11 21:58:00
253
原创 Spark和Hadoop到底谁更厉害？
要想搞清楚spark跟Hadoop到底谁更厉害，首先得明白spark到底是什么鬼。经过之前的介绍大家应该非常了解什么是Hadoop了（不了解的点击这里：白话大数据 | hadoop究竟是什么鬼），简单的说：Hadoop是由HDFS分布式文件系统和MapReduce编程模型等部分组成的分布式系统架构。而Spark呢，更像是Hadoop MapReduce这样的编程模型。其实要讲清楚Spa...
2019-07-11 21:57:59
226
原创 大数据入门学习：Hadoop架构原理
Hadoop 是目前大数据领域最主流的一套技术体系，包含了多种技术，例如 HDFS(分布式文件系统)，YARN(分布式资源调度系统)，MapReduce(分布式计算系统)等等。有些朋友可能听说过 Hadoop，但是却不太清楚它到底是个什么东西，这篇文章就用大白话给各位阐述一下。假如你现在公司里的数据都是放在 MySQL 里的，那么就全部放在一台数据库服务器上，我们就假设这台服务器...
2019-07-11 21:57:57
279
原创 大数据框架Hadoop和Spark的区别关系
谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。都是与处理数据有关，但是它们又有什么不同呢？谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。解决问题的层面不一样首先，Hadoop和Apache Spark两者都是大数...
2019-07-08 21:59:54
2398
原创 大数据、物联网和云计算市场上的经验和规律
最近，OrionX net的联合创始人Shahin Khan就发表了一篇文章，介绍了他的团队从大数据、物联网和云计算市场上总结的经验和规律。大数据正在改变我们的生活，影响我们思考和解决问题的方式，为了适应时代的潮流，组织必须学会用数据说话，如果坐拥大量的数据却束手无策或无动于衷，那和没有数据是一样的。但是，在进行数据分析时，完全的自我创造是不可取的，因为有大量可以遵循和借鉴的经验能节约大量的时...
2019-07-08 21:59:53
6006
原创 大数据工程师常见数据挖掘分析处理工具
数据科学融合了多门学科并且建立在这些学科的理论和技术之上，包括数学、概率模型、统计学、机器学习、数据仓库、可视化等。在实际应用中，数据科学包括数据的收集、清洗、分析、可视化以及数据应用整个迭代过程，最终帮助组织制定正确的发展决策数据科学的从业者称为数据科学家。数据科学家有其独特的基本思路与常用工具，本文全面梳理数据分析师和数据科学家使用的工具包，包括开源的技术平台相关工具、挖掘分析处理工具、其它常...
2019-07-08 21:59:51
4287
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人