5 Zoin

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 10w+

Flash,世界曾因你而精彩

  “↓→↓←A,你倒是放技能啊!”  “我靠,为什么按不出来技能???这拳皇也太难玩了叭!”  一款拳皇97的小游戏,承载的是小时候满满的回忆。  玩游戏是很多独生子女小男孩迷上计算机最后走上程序猿道路的开始。这么好玩的小游戏,是用什么做出来的呢?那是我第一次了解到Flash,在那个年代属于魔幻般的存在。  2000年,“闪客”一词开始在网络上频繁出现,成为了Flash制作者们的统一称...

2019-12-20 15:18:44

四非计算机推免

四非计算机推免我个人背景为什么要写这个?夏令营北大软微北大叉院复旦大数据浙大计算机院预推免中科院国防科技大学浙江大学中山大学北大软微北大叉院复旦大数据厦门大学四川大学重庆大学同济大学天津大学南京大学东南大学中南大学武汉大学华中科技大学华东师范大学总结我个人背景本人杭州的一所四非学校,计算机金融专业,绩点4.19,学院排名1/307,拿了省政府奖学金、校十佳大学生等等荣誉。3项国奖、4项省奖、...

2018-09-29 15:44:52

博物馆AR虚拟合影

一、项目概述 该项目是将博物馆中的文物虚拟化,利用AR增强现实技术与到访的游客进行合影,让文物不再只可远观,带来别样体验。有APP和服务端,APP进行AR合影后将图片上传到服务器,游客通过扫描合影图片右下角的二维码从服务器上下载图片保存。二、开发环境 win10 jdk 1.8 android studio三、项目体会 其实做AR的sdk还是非常多的,一开始用的是artoolki...

2018-07-29 09:26:41

大数据技术之sqoop(二)

四、Sqoop 的简单使用案例4.1、导入数据在 Sqoop 中,“导入”概念指:从非大数据集群(RDBMS)向大数据集群(HDFS,HIVE,HBASE)中传输数据,叫做:导入,即使用 import 关键字。4.1.1、RDBMS 到 HDFS1) 确定 Mysql 服务开启正常2) 在 Mysql 中新建一张表并插入一些数据mysql> create ...

2018-07-17 13:49:09

大数据技术之sqoop(一)

一、Sqoop 简介Apache Sqoop(TM)是一种旨在有效地在 Apache Hadoop 和诸如关系数据库等结构化数据存储之间传输大量数据的工具。Sqoop 于 2012 年 3 月孵化出来,现在是一个顶级的 Apache 项目。最新的稳定版本是 1.4.6。Sqoop2 的最新版本是 1.99.7。请注意,1.99.7 与 1.4.6 不兼容,且没有特征不完整,它并...

2018-07-17 13:19:49

大数据技术之Hive实战——Youtube项目(二)

三、项目原始数据youtube在此下载:https://pan.baidu.com/s/1we1KPA2IIEAGIJczyr2dMQ3.1、数据结构3.1.1、视频表 3.1.2、用户表 3.2 原始数据存放地HDFS 目录:视频数据集:/youtube/video/2008用户数据集:/youtube/users/20083.3、技术...

2018-07-16 23:08:07

大数据技术之Hive实战——Youtube项目(一)

一、需求描述统计 Youtube 视频网站的常规指标,各种 TopN 指标:–统计视频观看数 Top10–统计视频类别热度 Top10–统计视频观看数 Top20 所属类别包含这 Top20 视频的个数–统计视频观看数 Top50 所关联视频的所属类别 Rank–统计每个类别中的视频热度 Top10–统计每个类别中视频流量 Top10–统计上传视频最多的用户 Top...

2018-07-16 21:29:50

大数据技术之Hive(七)

十一、数据仓库11.1 什么是数据仓库数据仓库,英文名称为 Data Warehouse,可简写为 DW 或 DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。11.2 数据仓库能干什么?1)年度销售目标的指定,需要根据以往的历...

2018-07-15 11:16:54

大数据技术之Hive(六)

九、企业级调优9.1 Fetch 抓取Fetch 抓取是指,Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如:SELECT * FROM employees;在这种情况下,Hive 可以简单地读取 employee 对应的存储目录下的文件,然后输出查询结果到控制台。在 hive-default.xml.template 文件中 hive.fetc...

2018-07-15 10:51:54

大数据技术之Hive(五)

七 、函数7.1 系统自带的函数1)查看系统自带的函数hive> show functions;2)显示自带的函数的用法hive> desc function upper;3)详细显示自带的函数的用法hive> desc function extended upper;7.2 自定义函数1)Hive 自带了一些函数,比如:max/m...

2018-07-15 10:17:39

大数据技术之Hive(四)

五 DML 数据操作5.1 数据导入5.1.1 向表中装载数据(Load)1)语法hive>load data [local] inpath ‘/opt/module/datas/student.txt’ [overwrite] into table student [partition (partcol1=val1,…)];(1)load data:表示加载数据(2...

2018-07-14 17:11:09

大数据技术之Hive(三)

三、Hive 数据类型 3.1 基本数据类型 对于 Hive 的 String 类型相当于数据库的 varchar 类型,该类型是一个可变的字符串, 不过它不能声明其中最多能存储多少个字符,理论上它可以存储 2GB 的字符数。3.2 集合数据类型 Hive 有三种复杂数据类型 ARRAY、MAP 和 STRUCT。ARRAY 和 MAP 与 Java 中 的 Arra...

2018-07-14 16:36:01

大数据技术之Hive(二)

二 Hive 安装环境准备2.1 Hive 安装地址1)Hive 官网地址:http://hive.apache.org/2)文档查看地址:https://cwiki.apache.org/confluence/display/Hive/GettingStarted3)下载地址:http://archive.apache.org/dist/hive/4)github...

2018-07-14 16:00:24

大数据技术之Hive(一)

一 、Hive 基本概念1.1 什么是 Hive  Hive:由 Facebook 开源用于解决海量结构化日志的数据统计。  Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类 SQL 查询功能。  本质是:将 HQL 转化成 MapReduce 程序  1)Hive 处理的数据存储在 HDFS  2)Hive 分析数据底层的实...

2018-07-14 15:35:02

大数据技术之HDFS文件系统(三)

四 HDFS 的数据流4.1 HDFS 写数据流程4.1.1 剖析文件写入 1)客户端通过 Distributed FileSystem 模块向 namenode 请求上传文件,namenode 检查目标文件是否已存在,父目录是否存在。2)namenode 返回是否可以上传。3)客户端请求第一个 block 上传到哪几个 datanode 服务器上。4)namenod...

2018-07-04 10:34:19

大数据技术之HDFS文件系统(二)

三 HDFS 客户端操作3.1 HDFS 客户端环境准备3.1.1 jar 包准备1)解压 hadoop-2.7.2.tar.gz 到非中文目录2)进入 share 文件夹,查找所有 jar 包,并把 jar 包拷贝到_lib 文件夹下3)在全部 jar 包中查找 sources.jar,并剪切到_source 文件夹。4)在全部 jar 包中查找 tests.jar,并剪...

2018-07-04 10:02:45

大数据技术之HDFS文件系统(一)

一 HDFS 概述1.1 HDFS 产生背景  随着数据量越来越大,在一个操作系统管辖的范围内存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。1.2 HDFS 概念  HDFS,它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分...

2018-07-04 09:45:27

大数据技术之Hadoop(四)

4.3 完全分布式部署 Hadoop分析:1)准备 3 台客户机(关闭防火墙、静态 ip、主机名称) 2)安装 jdk 3)配置环境变量 4)安装 hadoop 5)配置环境变量 6)安装 ssh 7)配置集群 8)启动测试集群4.3.1 虚拟机准备详见 3.2-3.3 章。4.3.2 主机名设置详见 3.4 章。4.3.3 scp1)scp 可以实现...

2018-06-21 19:38:51

大数据技术之Hadoop(三)

四 、Hadoop 运行模式1)官方网址(1)官方网站:    http://hadoop.apache.org/(2)各个版本归档库地址    https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/ (3)hadoop2.7.2 版本详情介绍    http://hadoop.apache.org/doc...

2018-06-21 19:05:00

大数据技术之Hadoop(二)

三 、Hadoop 运行环境搭建3.1 虚拟机网络模式设置为 NAT 最后,重新启动系统。[root@hadoop101 ~]# sync[root@hadoop101 ~]# reboot3.2 克隆虚拟机 1)克隆虚拟机 2)启动虚拟机3.3 修改为静态 ip 1)在终端命令窗口中输入[root@hadoop101 /]#vim...

2018-06-17 21:26:58

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。