diyingshou8608-CSDN博客

转载 The innodb_system data file 'ibdata1' must be writable

在安装MySQL的时候报的错，我理解的这个错是因为有个文件是Innodb需要在安装MySQL(或者创建数据库的时候)的时候需要写入这个文件，但是他现在没有写的权限。　日志中的错误是：　5.7版本以前是　chmod -R 777 /usr/local/mysql/data/ 　5.7版本以后是　chmod -R 777 /var...

2019-02-13 11:19:00 417

转载简单排序(冒泡排序,插入排序，选择排序)

简单排序(冒泡排序,插入排序，选择排序)这些算法思想是比较简单的，执行速度也相对慢一些，不过，在某些情况下比那些复杂算法实际上还要好一些，比如，对于小规模的文件以及基本有序的文件，插入算法能比快速排序算法更为有效。如何排序： 1 比较两个数据项 2 交换两个数据想，或者...

2018-07-12 06:42:00 209

转载 Azkaban启动web--javax.net.ssl.SSLException: Unrecognized SSL message, plaintext connection? at sun.se...

javax.net.ssl.SSLException: Unrecognized SSL message, plaintext connection? at sun.sejavax.net.ssl.SSLException: Unrecognized SSL message, plaintext connection? at sun.security....

2018-07-11 21:54:00 307

转载 Azkaban工作流调度器

Azkaban工作流调度器在Hadoop领域常用的工作流调度系统 Oozie,Azkaban,Cascading,Hamake等等。性能对比：安装：创建ssl配置keytool -keystore keystore -alias jetty...

2018-07-10 21:33:00 130

转载 hive -- 自定义函数和Transform

hive -- 自定义函数和Transform UDF操作单行数据,UDAF：聚合函数，接受多行数据，并产生一个输出数据行UDTF：操作单个数据使用udf方法：第一种： add jar xxx.jar cteate temporary function 方法...

2018-07-10 17:53:00 101

转载 hive -- 分区，分桶(创建，修改，删除)

hive -- 分区，分桶(创建，修改，删除)分区：静态创建分区： 1. 数据：john doe 10000.0mary smith 8000.0todd jones 7000.0boss man 20000.0freed finance 15000.0stacy sab...

2018-07-09 23:47:00 439

转载 hive -- 协同过滤sql语句

2018-07-09 23:00:00 726

转载 Hive - - 分组求最大，最小(加行键)

Hive - - 分组求最大，最小(加行键)数据：1325927 陕西汉中 084 08491325928 陕西汉中 084 08491325930 陕西延安 084 08421325931 陕西延安 084 08421325933 陕西榆林 084 08451325935 陕西榆林 0...

2018-07-09 22:51:00 717

转载 hive的排序，分組练习

hive的排序，分組练习数据：添加表和插入数据(数据在Linux本地中)create table if not exists tab1( IP string, SOURCE string, TYPE string)row ...

2018-07-09 19:28:00 118

转载 Hive 外部表的练习(多表关联查询,以及分组,子查询)

Hive 外部表的练习hive创建库和表操作 hive加载数据，4种发放 1.数据放在Linux创建表结构进行加载2.先定义表结构、将一个查询select语句结果插入到表中3.数据先放在hdfs \ 创建表结构\ 进行加载(hiv...

2018-07-09 11:47:00 101

转载 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(me

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don't support retries at the cli...

2018-07-09 08:26:00 149

转载 MapRdeuce&Yarn的工作机制(YarnChild是什么)

MapRdeuce&Yarn的工作机制一幅图解决你所有的困惑那天在集群中跑一个MapReduce的程序时，在机器上jps了一下发现了每台机器中有好多个YarnChild。困惑什么时YarnChild，当程序跑完后就没有了，神奇。后来百度了下，又问问了别的大佬。原来...

2018-07-06 08:40:00 150

转载 Hive介绍及安装

Hive介绍及安装介绍： Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用Hive构建的数据仓库也秉承了这些特性。简单来说，Hive就...

2018-07-05 19:56:00 103

转载海量日志采集Flume(HA)

海量日志采集Flume(HA)1.介绍: Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理...

2018-07-04 20:57:00 244

转载 Array

数组数组使应用最广泛的数据存储结构。它被植入到大部分编程语言中用我的理解来说说数组吧。就行胡萝卜填坑一样，事先准备好坑，然后来一个填一个。拔掉随便一个胡萝卜，则要将拔掉的那个胡萝卜的后面的所...

2018-07-04 09:45:00 87

转载综述数据结构和算法

综述数据结构和算法数据结构和算发的作用：数据结构是对在计算机内存中(又时在磁盘中)的数据的一种安排，数据结构包括数组，栈，二叉树，哈希表等等。苏算法是对这些结构的数据进行各种处理，如查找一条特殊的数据项或对数据进行排序。 ...

2018-07-04 08:31:00 55

转载 MapRedcue的demo(协同过滤)

MapRedcue的演示（协同过滤）做一个关于电影推荐。你于你好友之间的浏览电影以及电影评分的推荐的协同过滤。百度百科：协同过滤简单来说是利用某兴趣相投、拥有共同经验之群体的喜好来推荐用户感兴趣的信息，个人通过合作的机制给予信息相当程度的回应（如评分）并记录下来以达到...

2018-07-02 15:18:00 127

转载 MapReduce的倒排索引

MapReduce的倒排索引索引：什么是索引：索引（Index）是帮助数据库高效获取数据的数据结构。索引是在基于数据库表创建的，它包含一个表中某些列的值以及记录对应的地址，并且把这些值存储在一个数据结构中。最常见的就是使用哈希表、B+树作为索引。索引的具体分析...

2018-06-29 14:14:00 96

转载索引（B-树）

前言本文是在讲述什么样的数据结构适合作为索引，以及其适合作为索引的原因。而阅读本文需要对B树和B+树结构有稍微的理解。以及需要对磁盘操作知识有稍微的了解。对于磁盘操作的相关知识，在文章尾部的链接文章中，有详细的介绍。在MySQL中，主要有四种类型的索引，分别为：B-Tree索引，Hash索引，Fulltext索引和R-Tree索引，本文讲的是B-Tree...

2018-06-29 11:19:00 91

转载 MapReduce(五)

MapReduce的（五）1.MapReduce的多表关联查询。根据文本数据格式。查询多个文本中的内容关联。查询。2.MapReduce的多任务窜执行的使用多任务的串联执行问题，主要是要建立controlledjob，然后建组管...

2018-06-29 11:10:00 75

转载彻底理解MapReduce shuffle过程原理

彻底理解MapReduce shuffle过程原理MapReduce的Shuffle过程介绍Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。为什么MapReduce计算模型需要Shuffle过程？我们...

2018-06-28 17:00:00 59

转载 MapReduce(四)

MapReduce(四)1.shuffle过程2.map中setup,map,cleanup的作用。一.shuffle过程https://blog.csdn.net/techchan/article/details/53405519来张...

2018-06-28 16:25:00 46

转载 ERROR: JDWP Unable to get JNI 1.2 environment, jvm->GetEnv() return code = -2

报错，但不影响运行ERROR: JDWP Unable to get JNI 1.2 environment, jvm->GetEnv() return code = -2eclipse 3.4+jdk1.6编译正常通过，运行debug模式时报错ERROR: JDWP Unable to get JNI 1.2 environment, jvm-&...

2018-06-28 09:25:00 963

转载 MapReduce(三)

MapReduce(三)MapReduce(三)： 1.关于倒叙排序前10名 1）TreeMap根据key排序 2）TreeSet排序,传入一个对象，排序按照类中的compareTo方法排序 2.写一个MapReduce的模...

2018-06-27 11:57:00 68

转载 CompareTo 基于的排序算法

CompareTo 基于的排序算法(高级排序)这个是今天学习MapReduce时发现的，自定义类后实现了WritableComparable<>接口后实现了接口中的compareTo方法，返回>1或者<1则会自动进行排序的方法。...

2018-06-26 21:47:00 130

转载 MapReduce- 数据的排序处理

MapReduce- 数据的排序处理package com.huhu.day02;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop....

2018-06-26 20:19:00 176

转载 MapReduce（二）

MapReduce（二）mapreduce 将Text转化为对象进行处理数据。根据一来说，将date，classname，name，subject，score变为对象属性我的数据是：是有重复的。package com.huhu.day02;import java....

2018-06-26 19:31:00 112

转载 MapReduce--平均分，最高，低分以及及格率的计算

MapReduce--平均分，最高，低分以及及格率的计算计算班级的平均分，以及个人的最高最低分，以及每个班级的及格率。来先看一下我的数据。时间班级姓名科目成绩20180501 1708a1 li bishi 8020180501 1708a1 li jishi ...

2018-06-26 14:23:00 990

转载 MapReduce(一)

MapReduce(一)一。介绍百度百科：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便...

2018-06-25 21:22:00 133

转载 fatal: refusing to merge unrelated histories

fatal: refusing to merge unrelated histories（git上传失败）输入命令：git pull origin master --allow-unrelated-histories这是因为远程仓库origin上的分支master和本地分支master被Git认为是不同的仓库，所以不能直接...

2018-06-25 11:25:00 67

转载 IDEA上传一个项目到github

IDEA上传一个项目到github只要3步1.2.3.4.5.查看页面上传成功。。。详情： https://blog.csdn.net/qq_27093465/article/details/76080878这个里面超级全转载于:https://www.cnblog...

2018-06-25 10:45:00 38

转载 IDEA上传一个项目到github

IDEA上传一个项目到github一。idea的配置1.打开idea设置setting2.点击ok，然后添加一个git创库3.选择你所要上传的项目，然后项目会变红4.添加到git此时项目变绿6.提交到本地二。git密钥配置1.打开git dosc命令输入ssh-kegen -t rsa -C...

2018-06-25 08:45:00 101

转载 Git的安装

Git的安装1.进入https://git-scm.com/2.下载好安装包点击安装。3.选择放到本地磁盘4.next，创建桌面快捷方式5。-->next6.完成7.检测转载于:https://www.cnblogs....

2018-06-24 21:13:00 68

转载 Hibernate 加载策略得总结

Hibernate 加载策略得总结加载策略(优化查询)：策略种类: 延迟加载: 等到使用的时候才会加载数据. 立即加载: 不管使用不使用,都会立刻将数据加载. 策略的应用: 类级别的加载策略. 关联级别的加载策略-------------------------------...

2018-06-24 19:58:00 106

转载 hadoop -- fsck

hadoop -- fsck shell命令： hdfs fsck /1708a1 -files -blocks -locations -racks /1708a1:是hdfs 中的文件查看hdfs文件状态。hadoop fsckUsage: DFSck <path> [...

2018-06-20 17:04:00 69

转载 Hibernate -- lazy加载

Hibernate -- lazy加载hibernate类级别懒加载： lazy：true（默认）//类级别懒加载 //load方法 //class lazy属性 //默认值：true load获得时，会返回代理对...

2018-06-19 10:24:00 99

转载 java.lang.Exception: DEBUG STACK TRACE for PoolBackedDataSource.close().

java.lang.Exception: DEBUG STACK TRACE for PoolBackedDataSource.close().java.lang.Exception: DEBUG STACK TRACE for PoolBackedDataSource.close(). at com.mchange.v2.c3p0.impl.A...

2018-06-18 20:23:00 156

转载 NOSQL -- Mongodb的简单操作与使用(win10)

NOSQL -- Mongodb的简单操作与使用(wins)MongoDB 创建集合：db.createCollection(name, options)use huhudb.createCollection("hehe")show collectionsdb.hehe.insert({"name...

2018-06-18 19:54:00 141

转载 java.sql.SQLException: Parameter index out of range (3 > number of parameters, which is 2).

java.sql.SQLException: Parameter index out of range (3 > number of parameters, which is 2).java.sql.SQLException: Parameter index out of range (3 > number of parameters, wh...

2018-06-14 21:01:00 2463

转载 org.apache.ibatis.reflection.ReflectionException: There is no getter for property named 'list' in 'c

org.apache.ibatis.reflection.ReflectionException:Thereisnogetterforpropertynamed'list'in'classcom.bw.yun.pojo.Page'报了这个错。今天一直都在该这个方法以及优化我的是目的是：在我的dao中根据一个对象字段进行查询，返回一...

2018-06-14 00:56:00 392

空空如也

空空如也