- 博客(23)
- 收藏
- 关注
RSS订阅
原创 大数据名词解释
大数据名词解释大数据知识体系架构第一阶段：Hadoop一、ELK技术栈:二、HDFS:Hadoop分布式文件系统三、MapReduce:四、Apache Hive:五、Apache HBase:六、Apache Sqoop:七、Zeppelin可视化:第二阶段：Spark一、Scala编程二、Spark 生态框架三、Flume四、Apache Kafka第三阶段：离线数据平台一、Hive ETL处理二、Oozie工作流：三、Tableau可视化四、Cassandra/Redis/MongoDB第四阶段：实时
2020-05-11 18:04:29
3958
原创 记Hadoop安装中出现的各种问题
经历了几天的不断尝试，最终成功的安装了hadoop3.1.3，在安装的过程中踩了很多的坑，在此将我的经历分享给各位，希望在大家遇到问题时能给予一定的帮助，特别是正在或者打算学习大数据的朋友们，在安装hadoop之前如果能仔细阅读我的这篇文章，可以避免很多不必要的错误，使安装过程更加顺利...
2020-03-08 20:51:35
9011
7
原创 软件测试学习笔记（十）百度MTC测试
软件测试学习笔记（十）百度MTC测试视频链接：软件测试_中国大学MOOC1、谈谈你对移动应用测试的认识我认为随着技术的进步，人们使用手机的时间比使用电脑的时间更长，即使是IT的专业人员也是如此。图中可以看到手机成为最流行的设备。Android的使用占70%。第一反应是手机屏幕小，cpu、内存等各方面资源不如PC机，但现在手机的处理能力比前几年的PC处理能力要强很多。手机上软件的运行是一个移...
2020-04-26 10:19:48
1003
原创 软件测试学习笔记（九）淘宝测试
软件测试学习笔记（九）淘宝测试视频链接：软件测试_中国大学MOOC1、淘宝性能测试经历哪三个发展阶段？简述其工作内容。（1）业务发展-基础阶段编写性能测试白皮书和测试文档，整理了常用性能测试的流程，研究压测模型，总结常用测试工具和分析方法。（2）平台发展-创新阶段自动化测试平台，研发分布式压测引擎，研究页面前端和旺旺客户端等性能测试的方法。尝试进行线上与线下流量评估与换算。（3）共...
2020-04-26 10:14:44
2452
原创 大数据技术原理与应用—课后题答案（第五章）
1.如何准确理解NoSQL的含义？NoSQL是一种不同于关系数据库的数据库管理系统设计方式，是对非关系型数据库的一类统称，它采用的数据模型并非传统关系数据库的关系模型，而是类似键/值、列族、文档等非关系模型2.试述关系数据库在哪些方面无法满族Web2.0应用的需求。关系数据库已经无法满足Web2.0的需求。主要表现在以下几个方面：（1）无法满足海量数据的管理需求（2）无法满足数...
2020-04-16 12:39:32
11155
原创 Linux大数据常用命令
Linux大数据常用命令删除文件夹下所有文件删除文件夹下所有文件使用rm -rf 目录名字 命令即可-r 就是向下递归，不管有多少级目录，一并删除-f 就是直接强行删除，不作任何提示的意思eg删除文件夹实例：rm -rf /var/log/httpd/access将会删除/var/log/httpd/access目录以及其下所有文件、文件夹删除文件使用实例：rm -f /var/l...
2020-04-16 12:10:12
186
原创 解决SLF4J: Class path contains multiple SLF4J bindings.错误
当安装hbase versionClass path包含了多个SLF4J的绑定。分别在目录：/usr/local/hbase/lib和/usr/local/hadoop/hadoop-1.0.3/lib下，解决的办法很简单，只要移除其中一个SLF4J就行了。rm -f移除了/usr/local/hadoop/hadoop-1.0.3/lib下的slf4j-log4j12-1.4.3.jar包后...
2020-04-16 12:07:14
850
原创 大数据学习笔记(四）NoSQL数据库
NoSQL数据库A: 比较NoSQL数据库与关系数据库的优缺点？B:试述键值数据库、列族数据库、文档数据库、和图数据库的适用场景和优缺点？C:键值数据库和列族数据库D:三大基石CAP理论掌握NoSQL与关系数据库的区别与联系;掌握四大类型NoSQL数据库的特点和应用场景;了解NoSQL数据库的三大基石;A: 比较NoSQL数据库与关系数据库的优缺点？NoSQL数据库的优点：1.可以...
2020-04-16 12:05:24
1763
原创 软件测试学习笔记（八）性能测试
软件测试学习笔记（八）性能测试视频链接：软件测试_中国大学MOOC1、什么是性能测试？性能测试是验证产品的性能在特定的负载和环境条件下能否满足性能的要求的测试叫做性能测试2、什么是响应时间？响应时间是系统对请求做出响应所需要的时间，响应时间共分为两种：（1）服务器端响应时间：服务器端响应时间是指服务器接收到客户端发出的请求到完成数据的传输给客户端之间的时间。（2）客户端响应时间：客...
2020-04-12 21:17:36
460
原创 软件测试学习笔记（七）华三SDN测试
软件测试学习笔记（七）华三SDN测试视频链接：软件测试_中国大学MOOC1、谈谈你对功能列表作用的认识。我认为功能列表填入了样品所有需要测试的功能特性，功能列表作为测试范围的依据，它很好的体现了功能列表的特点。第一，它列出了图片的主要功能:输入、操作、应用、输出、打印和文件读写，使得测试人员能够在整体上把握被测领域。第二，它的层次结构提供了可扩展的框架,测试人员可以持续地补充细节:具体...
2020-04-06 19:50:37
1512
原创 大数据学习笔记(三）分布式数据库HBase（1）
分布式数据库HBase（1）4.1HBase简介4.2HBase数据模型4.1HBase简介（1）HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，通过水平扩展的方式，利用廉价计算机集群处理超过10亿行数据和数百万列元素组成的数据表。（2)HBase与传统的关系数据库...
2020-03-31 13:01:38
640
原创 大数据技术原理与应用—课后题答案（第一章）
大数据技术原理与应用_林子雨版_课后题答案（第一章）1.试述信息技术发展史上的3次信息化浪潮及具体内容。信息化浪潮 发生时间 标志 解决问题 代表公司 第一次浪潮 1980年前后 个人计算机 信息处理 Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等 第二次浪潮...
2020-03-30 10:34:35
9026
1
原创 软件测试学习笔记（六）功能测试&探索式测试
软件测试学习笔记（五）功能测试&探索式测试视频链接：软件测试_中国大学MOOC1、功能测试的常用步骤是什么？（1）根据需求来细分功能点（2）根据功能点派生测试需求（3）根据测试需求设计功能测试用例（4）逐项执行功能测试用例验证产品2、什么是探索式测试？探索式测试是一种软件测试风格，强调独立测试人员的个人自由和职责。它将测试学习、设计、执行、结果分析作为互相支持的活动。在整...
2020-03-30 10:24:16
484
原创 软件测试学习笔记（五）边界值分析，组合测试
软件测试学习笔记（五）边界值分析，组合测试视频链接：软件测试_中国大学MOOC3.3 边界值分析3.4 组合测试1、为什么要进行边界值分析？考虑边界，可以有更多的测试用例，要时刻注意程序可能面临的边界值的问题，从两个等价类中分别随机挑选测试用例。如果其中不包含x=0这个测试用例，则检测不出程序中的错误。考虑等价类的边界，得到五个测试用例。既覆盖到等价类又覆盖到边界，保证能检测到可能存在的...
2020-03-20 10:49:31
1990
1
原创 软件测试学习笔记（四）随机测试&等价类划分
软件测试学习笔记（四）随机测试&等价类划分视频链接：软件测试_中国大学MOOC3.1 随机测试3.2 等价类划分1、什么是随机测试，它有什么特点？测试用例输入完全随机产生的测试叫做随机测试。随机测试的特点总共有三点：（1）输入域已知。（2）在输入域中随机挑选点。（3）便于实现测试的自动化。2、随机测试面临什么样的问题？随机测试主要面临两个问题：（1）输入域的定义首先...
2020-03-20 10:47:05
749
原创 软件测试学习笔记（三）控制&数据流测试
软件测试学习笔记（三）控制&数据流测试视频链接：软件测试_中国大学MOOC2.3 结构化覆盖2.4 控制流测试2.5 数据流测试1、什么是顶点覆盖？对每个测试需求，即可达顶点，都可从测试用例集T里找到测试用例t，对应的测试路径覆盖该顶点，测试用例集T满足顶点覆盖。2、什么是边覆盖？对每个测试需求，即可达边，都可从测试用例集T里找到测试用例t，对应的测试路径覆盖该边，测试用例...
2020-03-20 10:44:13
2490
1
原创 软件测试学习笔记（二）图覆盖
软件测试学习笔记（二）图覆盖课程链接软件测试_中国大学MOOC2.1 测试中的图2.2 图覆盖准则1、什么是图？点的集合和边的集合。点或者结点，有穷非空的集合。边是点对。2、图为什么在软件测试中具有重要地位？所谓软件测试就是将软件变作一张图，然后覆盖它，不仅仅是软件，图更是计算机科学重要的结构。3、软件测试中的图是如何得到的？常见的图可以来自源代码，常见的是控制流图，还有各种各样...
2020-03-20 10:24:02
1080
1
原创 软件测试学习笔记（一）软件测试基础
软件测试学习笔记（一）软件测试基础课程链接 软件测试_中国大学MOOC（慕课）1.什么是Bug，谈谈你对它的理解Bug在英文上是小虫子、窃听器的意思，第一次bug的出现，正是一个小虫子落在巨型计算机的导致晶体管短路，从而使得计算机出现问题。我理解的bug是在编译程序时以及后续运行时出现的错误，有很大的不可预测性，进行改错时还可能出现，改掉一个bug同时又生成更多的bug的情况。2.计...
2020-03-19 11:42:17
2215
1
原创 大数据技术原理与应用—实验2—熟悉常用的HDFS操作
（1） 向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件；（2）从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名；（3）将HDFS中指定文件的内容输出到终端中；（4）显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息；（5） 给定HDFS中某一个目录，输出该目录下的所有文件的...
2020-03-16 11:22:08
8518
1
原创 HDFS操作时hadoop:未找到命令的解决办法
HDFS操作时hadoop:未找到命令的解决办法错误如下：进行HDFS操作时未找到命令解决办法（1）sudo进入profile文件sudo vim /etc/profile（2）将以下三条加到profile文件的最后export JAVA_HOME=/usr/lib/jvm/(自己的jdk版本路径)export HADOOP_HOME=usr/local/hadoop(自己的...
2020-03-16 11:10:07
16422
3
原创 大数据技术原理与应用—实验1—熟悉常用的Linux操作和Hadoop操作
实验1—熟悉常用的Linux操作和Hadoop操作1.切换到local文件夹： cd /usr/local2.返回上一级：cd ..3.切换到用户主文件夹：cd ~4.查看usr下所有的文件和目录：cd /usrls-al———————————————————————————————————目录（文件夹管理）1.进入/tmp目录，创建一个名为a的目录，并查看/tmp...
2020-03-14 14:51:03
4619
1
原创 大数据学习笔记(二）分布式文件系统HDFS
分布式文件系统HDFS（一）SeconderyNameNode 第二名称节点作用（二）HDFS存储原理（三）数据管理策略（四）HDFS数据读取过程（五）HDFS数据写入过程（一）SeconderyNameNode 第二名称节点作用1.解决Editlog不断增大的问题（定期地和名称节点进行通讯，当EditLog文件达到一定程度，就停止使用EditLog文件，名称节点停止当前EditLog的使用，...
2020-03-14 14:35:49
778
原创 Linux系统的常用命令及基本练习
Linux系统常用命令及基本练习Linux系统常用命令下面是一些基础的操作可以在自己的虚拟机上进行实验，里边的文件增加删除操作是安全的闭环动作，完成操作后不会对系统造成影响1.切换到local文件夹： cd /usr/local2.返回上一级：cd ..3.切换到用户主文件夹：cd ~4.查看usr下所有的文件和目录：cd /usrls-al————————————...
2020-03-08 20:21:45
1071
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人