m_target-CSDN博客

原创 Class文件结构

Class文件结构以一组8字节为基础的二进制流，各个数据项严格按照顺序紧凑排列在Class文件中，中间没有添加任何分隔符，整个Class文件中存储的内容几乎全部都是运行时必要的文书，没有空隙存在当遇到8位字节以上的空间数据项是，则会按照高位在前的方式分割成若干个8位字节进行存储Class文件中有两种数据类型，分别是无符号数（基本数据类型）和表（引用数据类型）魔数开头的四个字节，识别字节码文件的标识（CAFEBABE）jdk1.8–>52jdk1.7–>51

2021-02-13 21:38:41 185

原创 MySQL优化器与执行器

优化器经过了分析器，MySQL 就知道你要做什么了。在开始执行之前，还要先经过优化器的处理。优化器是在表里面有多个索引的时候，决定使用哪个索引；或者在一个语句有多表关联（join）的时候，决定各个表的连接顺序。比如你执行下面这样的语句，这个语句是执行两个表的 join：mysql> select * from test1 join test2 using(ID) where test

2021-02-13 21:36:16 1771

原创 bin-log归档

删库是不需要跑路的，因为我们的SQL执行时，会将sql语句的执行逻辑记录在我们的bin-log当中，什么是bin-log呢？binlog是Server层实现的二进制日志,他会记录我们的cud操作。Binlog有以下几个特点：1、Binlog在MySQL的Server层实现（引擎共用）2、Binlog为逻辑日志,记录的是一条语句的原始逻辑3、Binlog不限大小,追加写入,不会覆盖以前的日志如果，我们误删了数据库,可以使用binlog进行归档!要使用binlog归档，首先我们得记录binlog，

2021-02-13 21:34:54 232

原创 AQS源码解读

AQSpublic abstract class AbstractQueuedSynchronizer extends AbstractOwnableSynchronizer implements java.io.Serializable { private static final long serialVersionUID = 7373984972572414691L; /** * Creates a new {@code AbstractQ

2020-10-21 18:55:08 219

原创 pycharm如何在运行时打开控制台

pycharm如何在运行时打开控制台解决方案：

2019-09-25 20:06:22 6782

原创 python实现选课系统/学生信息管理系统

1.需求管理员：添加教师：一个教师作为一个班级的班主任，同时也作为一个或多个课程的代课老师添加课程：指定课程名，学分，任课老师。添加班级：指定班级名称，班主任老师：添加学生：作为一个班级的班主任，该老师为其班级添加学生添加课程：作为一个班级的班主任，该老师为其班级添加课程给出成绩：作为一门课程的任课老师，该老师给出他所带课程的学生成绩查看学生成绩：作为一门课程的任课老师，查看学生...

2019-09-25 16:16:03 17542 12

原创 Flume监听

1. Flume监听命令的执行结果配置agent############################################# 对各个组件的描述说明# 其中a1为agent的名字# r1是a1的source的代号名字# c1是a1的channel的代号名字# k1是a1的sink的代号名字#########################################...

2019-09-18 11:36:21 649

原创 Flume采集网络端口数据

1. Flume采集网络端口数据1.1 定义flume的事件配置文件flume-nc.properties# flume-nc.conf: 用于监听网络数据的flume agent实例的配置文件############################################# 对各个组件的描述说明# 其中a1为agent的名字# r1是a1的source的代号名字# c1是...

2019-09-18 11:35:18 912

原创 Flume安装

1. Flume简介Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统支持在日志系统中定制各类数据发送方，用于收集数据Flume提供对数据进行简单处理，并写到各种数据接收方2. Flume OG 与Flume NGFlume OG：Flume original generation,即Flume0.9x版本Flume NG：Flume next generati...

2019-09-18 11:33:42 118

原创 Sqoop的基本操作

1.Sqoop的基本操作列出数据库sqoop-list-databases --connect jdbc:mysql://mini05:3306/ --username root --password root列出所有的表sqoop-list-tables --connect jdbc:mysql://mini05:3306/up1 --username root --passw...

2019-09-18 11:31:21 690

原创 Sqoop与安装

1. Sqoop简介Apache Sqoop是一种专门为hadoop和比如关系型数据库等结构化数据库之间的高效数据转换一种工具。数据的搬运工Sqoop在大多数自动化数据转换的过程中，依托于数据库相关的Schema描述信息，转换的过程是使用MapReduce来进行的Sqoop目前有两个版本，完全不兼容，Sqoop和Sqoop2.可以通过版本号来进行简单的区分，1.4.x为sqoop或sqo...

2019-09-18 11:30:42 161

原创 Hbase的region操作

1. Hbase中的手动切分regionsplit 'ns1:t1','row040'2. Hbase手动移动regionmove 'f6e6164514db53d660c5414df1f3864e','mini05,16020,1539222350164'3. Hbase中row-key的设计行健的热点问题是由于行健相似、连续且数据量过大操作成单region的数据量过大，进...

2019-09-18 11:28:35 492

原创 Hbase操作

1. Hbase的Shell操作列出所有的命名空间(相当于mysql中的show databases)list_namespace列出指定命名空间下的所有表list_namespace_tables ‘ns_name’创建命名空间create_namespace ‘ns1’创建表create ‘ns1:t1’,‘f1’禁用表,因为删除表之前首...

2019-09-18 11:27:45 214

原创 Hbase的体系结构

1. Hbase的体系结构(模型)1.1 逻辑结构(模型)表（table）划分数据集合的概念，和传统的db中的表的概念是一样的行键（rowKey）对应关系数据库中的主键，作用就是唯一标示一行记录获取hbase中的一个记录(数据),要通过行键来获取行键是字节数组, 任何字符串都可以作为行键表中的行根据行键(row key)进行排序 ,数据按照Row key的字节序(by...

2019-09-18 11:26:11 304

原创 Hbase简介与安装

1. Hbase简介Hadoop-Database根据’bigtable’论文实现的分布式可扩展的大数据存储技术随机访问实时读写海量数据存储数 '十亿行百万列’的数据高可靠性、高性能、面向列、可伸缩的分布式存储系统hbase的底层存储基于hdfs利用Zookeeper作为协调工具2. Hbase是什么?分布式开源数据库，基于hadoop分布式文件系统（HDFS）...

2019-09-18 11:24:08 415

原创 Hive分区表，桶表，外部表

1. hive中的表的分类1.1 内部表(管理表)create table t3(name string,.....);就是说数据的生命周期受表的控制，当表删除的时候，其数据文件一并被删除*2.2 外部表create ==external== table t4(name string,....);就是说数据的生命周期不受表的控制，当表删除的时候，其数据文件并不会删除1....

2019-07-12 10:05:30 160

原创 Hive基本操作

1. Hive中执行linux中的命令!linux命令;2. Hive中执行hdfs的操作dfs -ls /;3. Hive的模式本地模式开发阶段建议使用本地模式set hive.exec.mode.local.auto=true;集群模式(默认)生产环境建议使用集群模式4. Hive的访问cli(命令行)webui(很少用)api5....

2019-07-12 10:04:14 331

原创 Hive安装

1. Hive的简介Hive是建立在hdfs上的数据仓库披着mapreduce外衣的工具(查询引擎)允许不熟悉mapreduce开发的人员可以借助hive来分析存储在hdfs中的海量数据hadoop的客户端工具,不一定非得部署在集群中创建表时，指定Hive数据的列分隔符与行分隔符，Hive即可解析数据2. Hive到底是什么?查询引擎 :把hql(类sql语句)转换成mr作业在...

2019-07-12 10:03:26 151

原创 centeros安装mysql5.6

centeros安装mysql5.6卸载自带mysql的库文件yum -y remove mysql-libs.x86_64下载mysql5.6的镜像wget http://repo.mysql.com/mysql-community-release-el6-5.noarch.rpm安装镜像rpm -ivh mysql-community-release-el6-5.n...

2019-07-12 10:01:50 190

原创 mapreduce的多输入的问题

mapreduce的多输入的问题CountForSeqMapper.javapublic class CountForSeqMapper extends Mapper<Text,IntWritable,Text,IntWritable>{ @Override protected void map(Text key, IntWritable value, Cont...

2019-07-12 10:01:12 456

原创 MapReduce实现，打包，远程调试

1. MapReduce的编写1.1 pom依赖<properties>  <hadoop.version>2.6.4</hadoop.version></properties><dependencies> ...

2019-07-12 10:00:15 356

原创 mapreduce简介与实现

1. MapReduce简介MapReduce是一种分布式计算模型由Google提出,主要用于搜索领域，解决海量数据的计算问题MapReduce在处理多于10PB数据时趋向于变慢Mapreduce是依赖网络IO和磁盘IO的2. MapReduce模型计算海量的数据,能在一个机器计算吗?不能移动计算不移动数据mapreduce的阶段map阶段reduce阶段...

2019-07-12 09:56:36 279

原创 hdfs读写文件的流程

1. hdfs写文件的流程上传数据时datanode的选择策略第一个副本考虑与client最近的（同机架）第二个副本考虑跨机架的datanode，增加副本可靠性第三个副本在第一个副本机架上选择一台datanode存放上传流程客户端上传文件大小为300m，这个文件将被分成三个block上传客户端请求namenode上传文件，namanode在元数据检验后，满足上传上传条件向客户端...

2019-05-09 21:07:27 181

原创 HA高可用集群搭建

普通的hadoop集群namenode(nn)secondarynamenode(2nn)datanode(dn)普通的hadoop集群存在的问题datanode存在单点故障问题吗?不存在,因为datanode有多个机器,而且有副本机制作为保障namenode存在单点故障问题吗?存在,因为2nn不能代替nn,2nn的作用只是融合fsimage和edits文件,所以nn...

2019-05-09 21:05:57 229

原创 ZooKeeper

1. ZooKeeper开源的分布式的协调服务,是Google的Chubby一个开源的实现,它是一个为分布式应用提供一致性服务的软件2. ZooKeeper提供的功能配置维护域名服务分布式锁组服务3. ZooKeeper的特点简单ZooKeeper的核心是一个精简的文件系统 ,它支持一些简单的操作和一些抽象操作丰富ZooKeeper的操作是很丰富的，可实现一...

2019-05-09 21:04:31 4296 6

原创 hdfs基本操作

1. hdfs的操作(图形界面)1.1 hdfs的启动流程进入安全模式加载fsimage加载edits保存检查点(融合fsimage和edits文件,生成新的fsimage)退出安全模式1.2 通过浏览器访问http://namenode:500702. hdfs的操作(shell操作)hdfs dfshadoop fshdfs dfs -put text01.tx...

2019-05-09 20:59:54 536

原创递归的简单应用

题目一一个人赶着鸭子去每个村庄卖，每经过一个村子卖去所赶鸭子的一半又一只。这样他经过了七个村子后还剩两只鸭子，问他出发时共赶多少只鸭子？经过每个村子卖出多少只鸭子？解题思路：因为是每经过一个村庄会卖掉一本又一只，经过第七个村庄后还剩两只，按照要求，如果还经过一个村庄也就是第八个村庄后，鸭子数量就会为0，本题目解题使用一个count临时变量来统计所经过的村庄的数目。使用递归的解法，当鸭子数目不为...

2018-11-17 20:23:57 219

原创 JAVA版CORBA程序

JAVA版CORBA程序1——HelloWorld程序目录结构如下1. 编写IDL接口HelloWorld.idlmodule sample{interface HelloWorld{ string sayHello(); }; };2编译IDL接口：idlj –fall HelloWorld.idl编译结果生成sample包，生成下述文件_HelloWorldSt...

2018-11-03 00:29:38 293

原创 java实现kfc点餐系统

1.基本需求1.正常餐品结算和找零。2.基本套餐结算和找零。3.使用优惠劵购买餐品结算和找零。4.可在一定时间段参与店内活动（自行设计或参考官网信息）。5.模拟打印小票的功能（写到文件中）。6.html.jsp实现可视化界面。7.实现会员储值卡功能，完成储值卡消费。8.实现当天营业额和餐品销量计算和统计，用数据库记录。Echars实现数据可视化2.设计模式单点食物：采用简...

2018-10-27 11:54:22 3754 5

原创 SSM实现RPG游戏之角色生成器

功能描述几乎所有的RPG游戏（一种源自《龙与地下城》的游戏类型）在进入游戏时都会让用户自己来创建自己喜欢的角色游戏角色应有的属性游戏角色应有以下属性：名字、性别、种族、职业、力量、敏捷、体力、智力、智慧、生命值、魔法值和技能。名字：不超过50个字符。性别：可以选择男性和女性。种族：一共可选五个种族，人类、精灵、兽人、矮人和元素。职业：可选六种职业，狂战士、圣骑士、刺客、猎手、祭司和...

2018-10-01 12:27:28 861

原创 java实现24点游戏

游戏规则从扑克中每次取出4张牌。使用加减乘除，第一个能得出24者为赢。（其中，J代表11，Q代表12，K代表13，A代表1），按照要求编程解决24点游戏。基本要求随机生成4个代表扑克牌牌面的数字字母，程序自动列出所有可能算出24的表达式列出表达式无重复用户初始生命值为一给定值（比如3），初始分数为0。随机生成4个代表扑克牌牌面的数字或字母，由用户输入包含这4个数字或字母的运算表达式（可...

2018-09-30 14:39:09 10167 1

原创单词频率统计

功能需求导入任意英文文本文件统计各单词出现的频率，并按照字典序输出将单词频率写入数据库实现GUI页面实现思路读文件使用BufferedReader可以读取一行，使用StringBuilder的append()将读入的字符串追加。频率统计将英文字符串使用spilt()按空格分割，使用带自然排序的TreeMap进行存储，key存单词，value存频率。存入数据库使...

2018-09-21 15:39:50 3018

原创最大公约数与最小公倍数的实现方式

最大公约数的三种实现方式方式一：列举法主要思路：设置一个变量i使i的初始值为两个数较小的那一个，判断这两个数能否被i整除，能整除则返回最大公约数i，不能整除i让i–，再次进行判断，最终如果i=1，则两个数互质，流程图如图一所示。方式二：相减法主要思路：输入的两个数当num1与num2不相等时，如果num1&amp;amp;gt; num2,则num1=num1-num2,否则nu...

2018-09-07 19:25:57 381

原创 c++实现文件实现学生信息管理系统

c++实现文件实现学生信息管理系统功能如下：添加学生信息（学生添加完成将直接保存进文件）成绩信息（c语言，大学英语，高等数学）个人信息（姓名、性别、学号、年龄）显示学生信息查询学生信息按学号查询按名字查询按学号删除学生信息修改学生信息按学号对学生进行排序类的设计：表示成绩的Score类：class Score{public: float...

2018-09-06 21:43:51 47206 26

原创对象的序列化

对象的序列化（对象流）将对象以字节方式序列化，存储到硬盘，或者进行网络中传输。进行对象的硬盘存储： 1. 使得被存储的对象，必须要实现序列化的接口！ 2. 实现序列化接口得类，生成序列化版本号，如未生成，修改类代码结构后，产生：InvalidClassException 3. 读取文件中的序列化对象，以EOFException异常的发生表示读取文件末尾...

2018-09-03 19:23:42 98

原创 maven更换中央仓库

更换中央仓库<mirror> <id>nexus-aliyun</id> <mirrorOf>*</mirrorOf> <name>Nexus aliyun</name> <url>http://maven.aliyun.com/nexus/con

2018-09-03 19:19:59 614

原创三天打鱼两天晒网

问题描述中国有句俗语叫“三天打鱼两天晒网”。某人从2010年1月1日起开始“三天打鱼两天晒网”，问这个人在以后的某一天中是“打鱼”还是“晒网”。解题思路存储日期到in.txt文件：采用BufferOutPutStream字节缓冲流对FileOutPutStrean进行了包装以便提高效率、保护磁盘。从in.txt文件读取日期：采用BufferReader对FileReader进行包装...

2018-08-30 20:38:15 471

原创 maven的依赖范围

Maven的依赖范围 "" 编译测试运行(打包)compile true true true 例如(c3p0) test true ...

2018-08-29 23:04:20 208

原创 maven修改jdk版本

<profiles> <profile> <id>development-jdk-1.8</id> <activation> <jdk>1.8</jdk> <activeByDefault>true&

2018-08-29 23:03:10 123

原创 MD5加密

try { MessageDigest messageDigest = MessageDigest.getInstance("md5"); byte[] bytes = messageDigest.digest(str.getBytes("utf-8")); BigInteger bigInteger = new BigInteger(1, byte...

2018-08-29 23:01:35 182