- 博客(202)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 筛选日志并生成序列化文件
System.out.println("必须输入文件输入路径和输出路径");3.本次只需要进行序列化操作，所以不需要Reducer模块，编写Mapper模块。5、使用maven打包为jar,上传到master上。1.在idea中创建项目 selectData.2.添加依赖，插件包，指定打包方式，日志文件。//设置reduce任务为0。大家可以直接从前面项目复制。4、编写Driver模块。
2024-04-25 11:48:16
524
原创 集群移植到本机上
2、修改版本-由于我给大家发的VM16，而教师机上安装的是VM17，那在我们那边打开会有问题，修改下版本信息即可。4、拷贝过去的虚拟机跟你电脑的上的虚拟网络不是同一网段，大家不要修改虚拟机中，直接修改VM上以及windows系统下的。很多同学集群没有搭建成功，为了后续的课程大家可以从教师机拷贝整个集群到自己的电脑上。master,slave01,slave02,hadoop100都需要修改。3、在VM上打开虚拟机，选择对应的虚拟机。6、配置windows系统下的虚拟机。5、修改VM 可以参考前面的文章。
2024-04-25 11:14:50
109
原创 19 使用MapReduce编程统计超市1月商品被购买的次数
/3 水果 水果作为键 值 1(数量1 不是 3 表示用户编号)在com.maidu.ordercount包中创建一个新类ShoppingOrderCount类，编写以下模块。首先将1月份的订单数据上传到HDFS上，订单数据格式 ID Goods两个数据字段构成。System.out.println("必须输入读取文件路径和输出文件路径");将订单数据保存在order.txt中，（上传前记得启动集群）。在ShoppingOrderCount类中编写主方法。修改pom.xml，添加依赖。
2024-04-24 11:34:13
734
原创 18 统计网站每日的访问次数
每条数据的字段值之间使用逗号隔开的 ，最终时间是第五个自动，获取第五个字段值的中的年月日。2.通过Idea创建项目mr-raceData ,基础的配置。编写代码后，需要将其打成Jar包，需要修改pom.xml。通过浏览器访问hdfs,查看该文档前面的部分数据。拷贝到桌面，上传的master的当前用户目录下。1.将竞赛的数据上传HDFS,查看数据的格式。执行jar文件，实现访问每条访问次数的统计。将竞赛日志数据取部分上传到hdfs上。最后使用maven打包为Jar。制定打包的方式为jar。
2024-04-17 11:51:06
1105
原创 17 如何查看Hadoop中wordCount源码
我们使用的是hadoop-3.1.4版本，直接进入官网进行下载： 下载得到的文件如下图所示：
2024-04-11 11:50:36
197
1
原创 16 Java API操作HDFS
参数的优先级：1.客户端的代码中 > 2.ClassPath下自定义的文件> 3.服务器中自定义的（集群中）我们在windows平台下，使用Java代码作为客户端访问HDFS，对他进行相关的操作。hadoop集群中默认的副本是3，接下来代码中设置副本数为2，执行以下代码，看看最终副本数是多少？2.在pom.xml文件中添加依赖（注意：初次使用需要连接外网，需要下载对应的依赖文件）4.目前直接使用单元测试进行操作，我们源代码文件直接创建在test/java/目录下。6.实现文件上传，设置创建的副本数。
2024-04-08 21:27:04
464
原创 SQLServer2022安装
7.功能选择 使用功能选择数据库引擎服务，建议将目录改为非系统盘，如果大家不想自定义路径，建议直接将C 改为D即可。注意：在运行时最好获取管理员权限运行，第一次在安装时未获取管理员权限最终安装失败，卸载后重新安装，以管理员权限运行最终成功了。2.进入安装界面，选择第一个“全新SQLServer独立安装或向享有安装添加功能”等待安装完成，需要10分钟时间，大家耐心等待，安装完成后，再安装SSMS，后面不再截图。9.服务配置：启动类型都改为自动，后期熟练使用后，建议进入服务，修改启动类型为“手动”
2024-04-07 08:50:52
255
原创 window安装maven和hadoop3.1.4
大家不用去官网下载，直接使用我发给大家的压缩文件，注意解压后的文件夹不要放在中文目录下，课堂上我们讲解过原因。前面的文章已讲解如何安装idea和进行基本设置，本文主要带着大家安装配置好maven和hadoop.这是我电脑上的路径，大家最好都放在D:\\software目录下。显示版本信息，说明配置成功。最后打开命令行窗口输入。
2024-04-06 12:45:55
423
2
原创 is running 261401088B beyond the ‘VIRTUAL‘ memory limit. Current usage: 171.0 MB of 1 GB physical
注意：在修改配置文件前，需要停止集群中的yarn (可执行命令 stop-yarn.sh 修改完成后再启动，start-yarn.sh)，最后重新执行wordcount模块进行邮箱 统计。此处可修改/opt/modulr/hadoop-3.1.4/hadoop/etc/yarn-site.xml。在/opt/modulr/hadoop-3.1.4/hadoop/etc/yarn-site.xml插入以下代码。-- 是否对容器强制执行虚拟内存限制 -->
2024-04-06 12:26:56
264
原创 InterliJ IDEA基本设置
1.打开软件，先安装插件-汉化包（不推荐，最好使用英文版），本次我们使用汉化版本完成基本设置，后期希望大家适应英文版的开发环境。（写文章时已经给大家汉化完成了）安装好idea后，将软件打开，可以进行基础设置。2.设置窗体和菜单大小，主题。3.设置自动导包，移包。5.取消单行显示Tab。6.设置默认字体大小。7.设置类头文档注释。
2024-04-02 10:24:22
394
原创 windows无法使用hadoop报错：系统找不到路径
方案：由于JAVA_HOME路径有空格导致，可修改hadoop下\etc\hadoop\hadoop_env.cmd文档中set JAVA_HOME以修复该问题。环境变量的问题解决了，接下来解决批处理标签，进入D:\software\hadoop-3.1.4\bin目录下；将hadoop.cmd。将文件末尾处的HADOOP_IDENT_STRING值加上""转好后保存，其他三个文件做相同的操作。在配置中需要修改空格，参考如下。OK，说明错误已经解决。
2024-03-30 11:25:19
861
原创 windows安装jdk8
我们会在windows中通过Java代码去操作hadoop集群，因此我们需要在windows系统中配置java相关的环境，今天带着大家安装以下jdk8.安装完成，可以进入C:\Program Files\Java，查看到jdk8相关目录说明安装成功。4. 此电脑--》右击 --》属性，接下来操作如下图所示。6.完成后，窗口点击确定完成关闭窗口的操作，这样内容才能被保存。如果显示版本信息，说明环境变量配置成功。3.环境变量配置-将jdk8的路径复制。5.双击path,插入%JAVA_HOME%\bin。
2024-03-28 19:49:39
290
原创 15 HDFS 常用的shell命令
总结来说，Hadoop命令是一个更广泛的概念，它包括了与Hadoop集群管理、服务操作相关的所有命令，而HDFS命令是Hadoop命令的一个子集，专门用于操作HDFS文件系统的命令。Hadoop命令通常指的是与Hadoop生态系统相关的命令行工具，它们可以用于管理Hadoop集群和与Hadoop相关的各种服务。HDFS命令的使用语法通常为`hdfs dfs`，后面跟着具体的操作子命令，如`put`用于上传文件，`cat`用于查看文件内容，`get`用于下载文件等。81 表示 27*3 个副本；
2024-03-27 20:08:06
522
1
原创 14 编写常用脚本
我们会发现每次启动和关闭集群，都需要逐个服务依次开启或关闭，操作起来很不方面，因此我们自己编写一些脚本完成集群的启动和关闭，查看每台服务器上集群的进程。echo " =================== 启动 hadoop 集群 ==================="echo " =================== 关闭 hadoop 集群 ==================="echo " --------------- 关闭 yarn ---------------"保存并退出，修改权限。
2024-03-27 19:01:32
368
原创 13 完全分布式搭建-集群配置
Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在。$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。要获取的默认文件 文件存放在 Hadoop 的 jar 包中的位置。在文章中与教材上有区别，在理论课上已讲解。
2024-03-25 23:58:08
650
原创 12 完全分布式搭建-SSH免密登录
还需要在 slave02上采用 yt 账号配置一下无密登录到 master、slave01、slave02服务器上。还需要在 slave01上采用 yt账号配置一下无密登录到 master、slave01、slave02服务器上。还需要在 master上采用 root 账号，配置一下无密登录到 master、slave01、slave02；然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）3）.ssh 文件夹下（~/.ssh）的文件功能解释。（4）生成公钥和私钥。
2024-03-25 23:47:41
283
原创 集群时间同步
如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准；- 如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。我们以master服务器作为时间服务器，其他机器都校对master的时间。（c）添加 3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中。b）修改 2（集群在局域网中，不使用其他互联网上的时间）增加内容如下（让硬件时间与系统时间一起同步）（4）1 分钟后查看机器是否与时间服务器同步。
2024-03-24 23:23:27
532
原创 11 搭建完全分布式-远程传输文件
2.1 首先确保slave01,slave02机器上有/opt/software /opt/module ，同时确保属于yt:yt用户：用户组,如果不属于获取不存在建议看前面的文件关于模版虚拟机的准备。按照前面的克隆，需要准备三台服务器，master,slave01,slave02.（服务器设置了静态IP、主机名称、关闭防火墙）。2.通过scp命令将master上的jdk8目录拷贝到slave01、slave02的/opt/module目录下。scp [参数] [原路径] [目标路径]
2024-03-21 10:20:54
881
原创 10 搭建Hadoop单机环境并进行测试
输入命令：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar wordcount input/word.txt output。进⼊hadoop3.1.4⽬录下，创建⼀个⽬录input,进⼊input⽬录下，编辑⼀个⽂档，在⽂档中编写⼀些单词。命令： tar -zxvf Hadoop-3.1.4.tar.gz -C /opt/module。输入命令： cd /opt/module/hadoop-3.1.4。
2024-03-20 19:12:34
396
原创 9 master安装JDK
3.环境变量配置,以前我们一般都是配置在/etc/profile文件中，但是在这个配置文件中有一段shell脚本，表示在加载该文件时，也会将/etc/profile.d目录下x.sh的文件进行加载，所以本次将环境变量的配置放在自建的my_ens.sh文件。在搭建集群环境前，需要安装JDK，Hadoop平台的源码是Java代码，所以需要Java的运行环境。2.执行解压缩命令 将解压的文件放到/opt/module目录下。输入命令： sudo vim /etc/profile.d/my_ens.sh。
2024-03-20 19:01:19
312
原创 8 克隆虚拟机
后期集群我们需要使用多台服务器，此处我们先克隆三台，master,slave01,slave02.1.建议先关闭模版虚拟机。再选择 末班虚拟机右击--》管理 --》克隆。以上步骤完成虚拟机的克隆，其他slave01,slave02按相同操作完成。其他几台虚拟机按相同的步骤完成，salve01,slave02.配置完成后，重启打开终端，就会发现主机名变成master.3.开启Master虚拟机，需要修改主机的IP，主机名。命令： vim /etc/hostname。命令： vim /etc/hosts。
2024-03-20 11:50:28
305
原创 7 配置模板虚拟机
注意：yt这一行不要直接放到 root 行下面，因为所有用户都属于 wheel 组，先配置了 yt具有免密功能，但是程序执行到%wheel 行时，该功能又被覆盖回需要密码。使用远程连接工具finalShell连接虚拟机后，接下来我们使用yum命令完成一些基础软件包的安装，以及将咱们新建的用户赋予管理员权限，最后关闭防火墙和卸载自带的JDK。我们将使用yum命令进行安装，首先测试是否与外网相同，前面我们已经测试过，此处再进行测试，防止有的同学忘了连接外网。（安装的桌面版本一般都有自带的jdk，需要删除。
2024-03-19 19:56:46
925
原创 6 修改主机名和HOSTS文件
主机名的修改我们可以在安装操作系统时对其修改，如果忘记了，就可以修改配置文件完成，像后期我们进行虚拟机克隆后，就必须通过修改配置文件的方式完成主机名的修改。3.修改Hosts文件配置多台服务器IP地址，这样后期我们可以根据主机名访问服务器，如果后期IP地址发生变化我们也只需要在Hosts文件中修改主机名对应的IP地址，而集群下的配置文件不需要做任何的修改即可正常工作。2.在打开的文件中，进入编辑模式 按 i键即可 ，修改完后，按Esc退出编辑模式，最后输入:wq保存文件并退出。
2024-03-16 10:54:30
539
原创 5 远程连接虚拟机
FinalShell是一体化的的服务器,网络管理软件,不仅是ssh客户端,还是功能强大的开发,运维工具,充分满足开发,运维需求.在VMWare中操作Linux操作系统十分麻烦，此处我们推荐使用FinalShell工具远程连接的方式操作Linux。云端同步,免费海外服务器远程桌面加速,ssh加速,本地化命令输入框,支持自动补全,命令历史,自定义命令参数.1.点击快捷方式，打开软件，然后点击软件上的文件夹，弹出新的窗口。. 双击安装，直接默认安装即可。2.点击上图的加号，选择使用SSH连接Linux。
2024-03-14 11:52:08
233
原创 4 配置静态IP
1.3 点击更改设置后，选择VMnet8.可以设置子网IP网段和点击Net设置，修改网关IP网段后点击确定。2.2 选择VMnet8.右击属性，设置IP4，选择使用下面IP地址，按图上的IP地址进行设置完成后点击“确定”。弹出的框都是点击“确定”，不要直接叉掉。键盘输入i 进入编辑模式，通过光标定位到修改的位置，进行修改，首先将BOOTPROTO的值修改为static。当我们安装好Linux后，需要进行网络配置，保障windows和linux网络相通，以及通过Linux可以访问外网。
2024-03-14 11:09:15
449
原创 3 安装Linux操作系统
进入虚拟机时，Ctrl+Alt进入虚拟机，然后通过上下方向键移动选项选择第一个"Install CentOS 7" 按回车键。（如果想从虚拟机退出回到windows操作的界面，按Ctrl+Alt即可，虚拟机和windows界面操作主权的进入和退出 ）11.下图的界面中，不手动进行分区，直接选择自动分区。只需要点击进入“”“安装位置”，再弹出的界面上点击完成即可。25.在主界面上，可以鼠标右击 弹出右击菜单，选择“打开终端”，就可以使用Linux命令了。稍等片刻，会弹出语言选择界面，在界面上选择中文。
2024-03-14 09:46:18
579
原创 2 配置虚拟机
5.弹出新界面，如下图所示，在这个界面，选择“Linux”,版本centoOS7.9版本，在界面上没有小版本选择，所以大家在下拉列表中选择 "CentOS7 64位"，点击“下一步”，进入其他页面。4.下图的界面上，注意，不要选择镜像。9.网络类型选择，使用NAT。1.打开VM，主页的界面如下，点击"创建新的虚拟机"14.弹出界面点击“完成”，说明虚拟机配置成功。3.下图直接点击“下一步”
2024-03-14 08:45:17
569
原创 安装VMWare
9.点击上图“许可证”，输入密钥，密钥在安装包的readme.txt中有，直接打开复制粘贴到密钥框中，最后点击“输入”。8.点击“安装”，等待一会儿（大约几分钟），然后点击“下一步”。4.双击.exe进行VMware安装出现的第一个界面。11.在桌面上找到VMWare的快捷方式，双击打开，即可使用。10.点击下图中的“完成”，完成VMWare安装。6.勾选我接受复选框，然后点击“下一步”。5.点击下一步，出现以下界面。3.解压后文件夹中的内容。7.后面几步都是点击“下一步”
2024-03-14 08:17:16
536
原创 Oracle创建序列后无法使用序列初始值
但我们使用Oracl11G开发时，会发现序列值值会从起始值的下一个值开始生成，出现这样的原因是Oracle从 11.2.0.1版本开始，提供了一个“延迟段创建”特性。当我们使用序列作为插入数据时，如果使用了“延迟段”技术，则跳过序列的第一个值。注意：当执行此命令后。切换到普通用户进行插入操作时，需要删除已创建的序列重新创建才能生效，如果在执行命令前创建的序列还是会有跳数。大家在使用Oracle10G开发时，创建序列对象实现主键自增，序列的值会从起始值开始生成。2.在创建序列值设置起始值和最小值相同。
2023-12-02 11:52:17
104
原创 mysql常用命令-03
以上建表语句中，直接包含了相关约束的创建，有时设计或创建时漏掉了部分字段或约束，我们可以通过修改表完成其它约束和字段的修改而不是直接删表重建。今天讲解下mysql中创建表的语法。
2023-11-14 09:58:52
112
原创 MySQL常用命令02
1.创建数据库的命令：CREATE DATABASE [IF NOT EXISTS] 数据库名称;我们在创建数据库时，防止出现已创建，所以加上if not exists，不存在就执行创建库。5.删除数据库语法：DROP DATABASE[ if exists] 数据库名称;今天主要总结下命令行模式下创建数据库、查看数据库以及删除的命令。3.查看服务器中所有数据库名称中包含了"fr"字符串的数据库。4.创建数据库db_teaching的创建信息。创建一个名为db_teaching的数据库。
2023-10-13 11:10:51
393
原创 MySQL常用命令01
1.命令行登录数据库 mysql -H IP地址 -P 端口号 -u 用户名 -p 密码 数据库名称。其中部分可以省略，如果是本机且端口号是3306 ，不选择所连接的数据库名称。-h 主机IP地址 登录本机 localhost或127.0.0.1。今天开始，每天总结一点MySQL相关的命令，方便大家后期熟悉。-P 数据库端口号 Mysql默认是3306。数据库名称 在登录时就可以选择使用哪个数据库。3.数据库切换 use 数据库名称;3.查看当前所使用的数据库。
2023-10-12 19:50:55
282
原创 MySQL8安装步骤
9.进入密码规则设置规则界面，选择MySQL8的一般右数字、字母、大写字母、符号组成，不容易记，所以此处我选择MySQL5.X的。4.进入以下界面，需要C++2019的环境，选中此行然后Execute执行。16.为了方便在命令行登录MYSQL，对bin目录进行环境变量配置。8.进入下一个界面直接点击Next,不需要做任何选择。18.Navicat安装非常简单，默认安装即可。6.安装结束后点击关闭按钮。13.点击Execute，等待全部变成√。记得最后每个窗口点击确定关闭。MySQL安装成功。
2023-10-12 14:59:20
1261
原创 测试Qt是否安装成功
选择基类时，一次使用选择QWigget空白窗口，还有2种，带菜单栏的窗口和对话框窗口。选中Generate form会生成图形界面，组件直接拖拉，不需要自己编写。选择新建项目,new。
2023-08-21 10:37:26
440
原创 Qt开发环境安装（版本5.14.2）
界面如下：因为从qt 5.15开始，qt不再提供安装包，需要自行编译。本次我们选择5.14.2进行操作。我们是在windows下安装，所以选择windows版本进行下载下载完成后，双击进行安装。
2023-08-21 10:21:49
433
原创 修改Jupyter保存路径
1.使用Anaconda打开Powershell Prompt输入命令： jupyter notebook --generate-config。一般我们在使用Jupyter时，默认加载的路径就是当前用户目录下，将文件全部放到当前用户目录下，非常不友好，我们需求修改到其它的目录下。2.打开.jupyter目录下的 jupyter_notebook_config.py。4.打开jupter,就可以看到刚刚新建的 readme.txt,说明路径修改成功。为了方便测试，你可以在jupter文件夹中存放一个文件。
2023-05-16 16:19:48
651
原创 code Block 编译出现 nothing to be done
当我们使用codeBlock开发C或C++时，部分同学不管怎么编译都会出现nothing to be done。一般造成的原因是：找不到编译器。1.希望大家拿到开发工具的压缩包后自动解压到指定的路径下， 然后再打开软件，一般都有默认添加MinGW编译器。2.打开codeBlock进行设置。
2023-02-25 09:22:39
1010
原创 \main.cpp|155|error: crosses initialization of ‘std::string name‘
C++常见错误解决方案
2023-02-10 14:50:12
167
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人