- 博客(36)
- 收藏
- 关注
RSS订阅原创 第六阶段 内存级快速计算引擎Spark 作业目录
模块一：https://blog.csdn.net/crckerfang/article/details/118966514
2021-07-22 01:24:55
112
原创 第六阶段模块一作业
《Scala编程》课程作业第一题：百元喝酒作业要求：每瓶啤酒2元，3个空酒瓶或者5个瓶盖可换1瓶啤酒。100元最多可喝多少瓶啤酒？（不允许借啤酒）思路：利用递归算法，一次性买完，然后递归算出瓶盖和空瓶能换的啤酒数。代码：object HomeWorkOne { /** * * @param emptyBottle 空瓶数量 * @param bottleCap 瓶盖数量 * @param sumBottle 可以换到的总瓶数 */ def changeBott
2021-07-22 01:23:03
451
3
原创 第五阶段模块二作业
题目：1.用拉链表实现核心交易分析中DIM层商家维表，并实现该拉链表的回滚（自己构造数据，编写SQL，并要有相应的文字说明）2.在会员分析中计算沉默会员数和流失会员数：沉默会员的定义：只在安装当天启动过App，而且安装时间是在7天前流失会员的定义：最近30天未登录的会员3.在核心交易分析中完成如下指标的计算统计2020年每个季度的销售订单笔数、订单总额统计2020年每个月的销售订单笔数、订单总额统计2020年每周（周一到周日）的销售订单笔数、订单总额统计2020年国家法定节假日、休
2021-07-09 23:26:24
384
原创 第五阶段 PB级企业电商离线数仓项目实战作业目录
模块一作业：https://blog.csdn.net/crckerfang/article/details/118390700
2021-07-02 01:46:10
115
原创 第五阶段模块一作业
作业题：1、在会员分析中计算最近七天连续三天活跃会员数。2、项目的数据采集过程中，有哪些地方能够优化，如何实现？flume拦截器可以多过滤掉一些字段，只保留需要的json串，减少ods表存储量；第一题解题思路：先从视频教材里拷贝部分日志信息，导入到ods表中，然后解析ods表中json字符串存储dwd层，然后根据dwd层中的数据计算每日活跃用户数，最后计算7天内连续登陆3天的用户信息。(导入前先清空之前的所有数据，我这里没有通过flume，直接将日志文件上传到hdfs上)在hdfs上新建2
2021-07-02 01:44:33
513
原创 第四阶段模块二作业
题目要求：使用Kafka做日志收集。需要收集的信息：1、用户ID（user_id）2、时间（act_time）3、操作（action，可以是：点击：click，收藏：job_collect，投简历：cv_send，上传简历：cv_upload）4、对方企业编码（job_code）1、HTML可以理解为拉勾的职位浏览页面2、Nginx用于收集用户的点击数据流，记录日志access.log3、将Nginx收集的日志数据发送到Kafka主题：tp_individual架构：HTML+Ngin
2021-06-28 01:13:03
222
1
原创 大数据第四阶段分布式缓存Redis及Kafka消息中间件作业目录
第四阶段模块一作业：https://blog.csdn.net/crckerfang/article/details/117993302
2021-06-17 16:24:38
107
原创 第四阶段模块一作业
题目：RedisCluster的安装、部署、扩容和Java客户端调用，如下图：（1）搭建Redis5.0集群，要求三主三从，记录下安装步骤（2）能够添加一主一从（Master4和Slaver4），记录下安装步骤（3）能够通过JedisCluster向RedisCluster添加数据和取出数据第一小题解题步骤：拷贝redis-5.05.tar.gz的安装包到linux服务器，并解压tar -zxvf redis-5.0.5.tar.gz -C /opt/modules/[root@bfd01
2021-06-17 16:20:16
176
原创 第三阶段模块四作业
题目：一、基于Zookeeper实现简易版配置中心要求实现以下功能：创建一个Web项目，将数据库连接信息交给Zookeeper配置中心管理，即：当项目Web项目启动时，从Zookeeper进行MySQL配置参数的拉取要求项目通过数据库连接池访问MySQL（连接池可以自由选择熟悉的）当Zookeeper配置信息变化后Web项目自动感知，正确释放之前连接池，创建新的连接池思路：1.新建maven web项目，导入相关jar包；2.使用druid连接池自动管理连接；3.读取本地配置文件并上传到
2021-06-09 00:30:58
502
3
原创 第三阶段模块三作业
题目：业务背景现有收集到用户的页面点击行为日志数据，数据格式如下：用户id, 点击时间user_id click_timeA,2020-05-15 01:30:00A,2020-05-15 01:35:00A,2020-05-15 02:00:00A,2020-05-15 03:00:10A,2020-05-15 03:05:00B,2020-05-15 02:03:00B,2020-05-15 02:29:40B,2020-05-15 04:00:00业务：会话概念：用户的一次
2021-05-29 02:27:05
270
原创 第三阶段模块二作业
题目要求：见pdf:链接：https://pan.baidu.com/s/1YYx7-1s8t0LJYHWcnABLsw 提取码：z6h3由于作业测试数据量非常小，所以主要是以写sql为主，暂时没有调优步骤。题目一：思路：这题是连续N天登陆的同类问题，按照row_number编号–>year减rownum=gid -->按gid分组这个固定思路写sql即可。sql:WITH tmp AS ( SELECT team, YEAR, YEAR - ( row_numb
2021-05-28 04:00:22
164
原创 第三阶段模块一作业
题目：第三阶段模块一：有三个文件file1、file2、file3，文件中每一行都是一个数字，如下所示。file1：232654321575665223file2:59561165092file3:26546请编写 MapReduce 程序实现如下需求：MapReduce 程序读取这三个文件，对三个文件中的数字进行整体升序排序，并输出到一个结果文件中，结果文件中的每一行有两个数字（两个数字之间使⽤用制表符分隔)，第一个数字代表排名，第二个数字代表原始数据期望输出:
2021-05-18 20:44:34
412
原创 大数据预科班综合测试卷下
二、SQL编程题（总分40分） 要求：提交效果截图或演示视频到码云1、题目一有如下三张数据表学生表：student(studentNo,studentName,age,sex)课程表：course(courseNo,courseName,tearcher)学生得分表：student_course(studentNo,courseNo,grade)编写SQL语句，完成如下需求1）查询有课程大于80分又有课程低于60分的学生的学号（5分）2) 查询各门课程去掉一个最高分和最低分后的平均成绩
2021-04-27 20:22:53
200
原创 第二阶段模块五作业
一、Linux简答题1.使用top查看系统资源占用情况时，哪一列表示内存占用呢？used表示占用了多少内存2.如果知道一个文件名称，怎么查这个文件在linux下的哪个目录，如：要查找tnsnames.ora文件2种常用查询方法：find /opt/software/ -name scala* 或者 find /opt/software/ |grep scala二、编码题题目要求:一个张xxx.sql表的大小为156M, 需要用拆分表的工具将表拆分为1024KB的多个文件,请编写shel
2021-04-27 17:53:16
324
原创 第二阶段模块三作业
题目：模块编程题使用前端、数据库、JavaWeb 等技术并采用 MVC 设计模式,基于三层架构实现学生信息管理系统其中学生信息有：学号、姓名、性别、出生日期要求：a. 完成用户登陆功能 （判断用户输入的用户名密码和数据库存储的用户名密码是否相同）当登陆成功 跳转到首页显示登陆成功（页面、数据库表自行设计实现）b.完成用户添加功能（首先跳转到添加页面，将页面表单中填写的内容保存到数据库中）c.使用过滤器对添加用户的请求进行拦截，判断是否是未登录状态未登录：跳转到登陆页面已登陆：放行到目标资源
2021-04-01 02:16:27
270
原创 第二阶段模块二作业第二题
题目：使用Vue完成简易购物车案例题目要求:1.作出如图的展示效果2.点击购买加号则数量增加,总价格随之更变3.如果书本数量为1则不能减少4.点击移除,删除该行,总价格随之更变5.使用VUE + HMLT 实现该案例思路：在vue的视频里讲过一个类似的案例，自动更新价格的方法视频里没有讲过，使用computed关键字即可，剩下的部分在视频案例的基础上修改即可。演示过程：代码如下：<!DOCTYPE html><html lang="en"><he
2021-03-25 22:46:01
152
原创 第二阶段模块二作业第一题
题目1:简答题需求：当前希望分析产品上线两周后，页面的使用人群特点（年龄、性别、城市）和页面上不同入口点击率（页面上各种按钮、超链接等等的点击次数/页面访问次数）的关系。 拿到的数据格式为csv格式，每行数据包括：用户操作时间、用户id、用户对应的信息（好几列，年龄、性别、城市）、操作行为（访问、点击）、被操作模块名称（访问行为此列为空，点击行为此列为被点击入口的名称），示例如下：任务：对过去两周产品的使用人群特点和入口点击率进行描述和可视化作图，说明上两周的现状情况。要求：从整体角度描述提到两个指标
2021-03-25 13:28:34
302
原创 学习问题汇总
所有学习过程中遇到的问题汇总记录。JavaWeb:idea部署webapp打开html默认端口号为63342而不是8080：https://blog.csdn.net/crckerfang/article/details/115074294
2021-03-22 13:20:24
75
原创 第二阶段模块一作业第四题
请设计三张表,要求如下讲师表讲师ID 主键 int类型讲师姓名 VARCHAR类型讲师简介 VARCHAR类型讲师级别 char类型 高级讲师&首席讲师为讲师姓名添加索引课程分类表课程分类ID 主键 int类型课程分类名称 VARCHAR类型 比如前端开发 后端开发 数据库DBA…课程分类描述 VARCHAR类型创建时间 datetime类型更新时间 datetime类型课程表课程ID 主键 int类型课程讲师ID 外键 用于描述课程的授课老师课程分类ID 外键 用于
2021-03-17 22:47:30
450
原创 第二阶段模块一作业第三题
数据准备#学生表CREATE TABLE student(id INT PRIMARY KEY AUTO_INCREMENT,NAME VARCHAR(20), – 姓名city VARCHAR(10), – 城市age INT – 年龄);#老师表CREATE TABLE teacher(id INT PRIMARY KEY AUTO_INCREMENT,NAME VARCHAR(20) – 姓名);#课程表CREATE TABLE course(id INT PRIMARY
2021-03-17 22:07:57
368
原创 大数据第二阶段作业目录
第二阶段模块一作业：第一题：https://blog.csdn.net/crckerfang/article/details/114933272第二题：https://blog.csdn.net/crckerfang/article/details/114935986
2021-03-17 17:13:53
144
原创 第二阶段模块一作业第二题
数据准备1. 创建部门表(id,name)create table dept(id int primary key auto_increment,name varchar(20))insert into dept (name) values (‘开发部’),(‘市场部’),(‘财务部’);2.员工表，员工表(id, 姓名，性别，工资，入职日期，部门ID)创建员工表create table employee (id int primary key auto_increment,name
2021-03-17 17:12:59
555
原创 第二阶段模块一作业第一题
数据准备：#创建数据库 lianxi01create database lianxi01 character set utf8;#使用数据库use lianxi01;#创建商品表：CREATE TABLE product(pid INT,#主键IDpname VARCHAR(20),#商品名称price DOUBLE,#商品价格category_name VARCHAR(32)#商品分类名称);#导入数据INSERT INTO product(pid,pname,price,cat
2021-03-17 15:46:34
854
原创 第一阶段模块四作业第四题
题目：使用基于 tcp 协议的编程模型实现将 UserMessage 类型对象由客户端发送给服务器； 服务器接收到对象后判断用户对象信息是否为 “admin” 和 “123456”，若 是则将UserMessage对象中的类型改为"success"，否则将类型改为"fail"并回发给客户端，客户端接收到服务器发来的对象后判断并给出登录成功或者失败的提示。其中 UserMessage 类的特征有：类型(字符串类型) 和 用户对象(User 类型)。其中 User 类的特征有：用户名、密码(字符串类型)。
2021-03-06 23:51:01
212
2
原创 第一阶段模块四作业第三题
题目：使用线程池将一个目录中的所有内容拷贝到另外一个目录中，包含子目录中的内容。思路：线程池按照固定写法直接写就行，拷贝文件思路为调用递归，先列出目录下所有文件信息，如果是文件则拷贝，如果是文件夹，则递归。具体代码如下。拷贝线程：package step1_task4_homework.threadPollCopy;import java.io.*;public class FileCopyThread implements Runnable{ @Override pub
2021-03-06 23:44:30
196
2
原创 第一阶段模块四作业第二题
题目：实现将指定目录中的所有内容删除，包含子目录中的内容都要全部删除。思路：使用递归思想即可，先列出目录下所有文件信息，如果是文件则直接删除，如果是文件夹则递归。具体代码如下。package step1_task4_homework;import java.io.File;public class RemoveAllTest { /** * 删除目录下所有文件 * @param f 待删除目录 * @return 是否删除成功 */ p
2021-03-06 23:41:24
148
原创 第一阶段模块四作业第一题
题目：基于学生信息管理系统增加以下两个功能：a.自定义学号异常类和年龄异常类，并在该成员变量不合理时产生异常对象并抛出。b.当系统退出时将 List 集合中所有学生信息写入到文件中，当系统启动时读取文件中所 有学生信息到 List 集合中。思路：异常类直接按照异常类模板写即可；因为学生类是对象，所以在写入文件前需要先继承序列化接口才行。具体代码如下。自定义年龄异常类：package step1_task4_homework.student;public class AgeException
2021-03-06 23:33:51
271
3
原创 大数据课程第一阶段作业目录
第一题：https://blog.csdn.net/crckerfang/article/details/114081897第二题：https://blog.csdn.net/crckerfang/article/details/114082144第三题：https://blog.csdn.net/crckerfang/article/details/114082265第四题：https://blog.csdn.net/crckerfang/article/details/114082335第五题：
2021-02-25 14:45:01
146
原创 第一阶段模块三作业第五题
题目：使用集合实现斗地主游戏的部分功能，要求如下：（1）首先准备 54 张扑克牌并打乱顺序。（2）由三个玩家交替摸牌，每人 17 张扑克牌，最后三张留作底牌。（3）查看三个玩家手中的扑克牌和底牌。（4）其中玩家手中的扑克牌需要按照大小顺序打印，规则如下：手中扑克牌从大到小的摆放顺序：大王,小王,2,A,K,Q,J,10,9,8,7,6,5,4,3思路：扑克牌的花色可以通过for循环的方式来生成，分给3个玩家只要以3取余就行，本来想用set集合来打乱排序，但是测试下来并不生效，于是用了Collec
2021-02-25 14:43:36
180
原创 第一阶段模块三作业第四题
题目：使用 List 集合实现简易的学生信息管理系统，要求打印字符界面提示用户选择相应的功 能，根据用户输入的选择去实现增加、删除、修改、查找以及遍历所有学生信息的功能。其中学生的信息有：学号、姓名、年龄。 要求： 尽量将功能拆分为多个.java 文件。思路：增删改查遍历分别对应5种方法，先创建一个学生类用来封装学生的学号，姓名和年龄，然后创建一个List用来保存学生信息，最后分别对这个List进行增删改查遍历的操作即可，具体代码如下。package com.lagou.homework.part3.
2021-02-25 14:42:35
422
原创 第一阶段模块三作业第三题
题目：准备一个 HashMap 集合，统计字符串"123,456,789,123,456"中每个数字字符串出现的次数并打印出来。如： 123 出现了 2 次 ，456 出现了 2 次 ，789 出现了 1 次。思路：先以逗号分割字符串后并将分割好的字符串存到String类型的数组中，然后循环取出数组中的值放入HashMap中，如果返回值不为Null，说明这个值已经放入过了，此时对应的value+1，最后统计所有HashMap中value中的值就能得出出现次数，具体代码如下。package com.
2021-02-25 14:41:39
247
原创 第一阶段模块三作业第二题
题目：编程获取两个指定字符串中的最大相同子串。如： s1=“asdafghjka”, s2=“aaasdfg” 他们的最大子串为"asd" 。提示：将短的那个串进行长度依次递减的子串与较长的串比较。思路：按照提示将短的那串依次递减和较长的串比较，但短的字符串中可能有多个子串在长的字符串中，比如短的字符串为“dasksssaad”，长的字符串为“dasaakdelskde”，那他们最大相同的子串就会有2个，分别为“das”和“saa”，我的做法是依次按位递减，将所有符合规则截取到的字符串保存为一个Lis
2021-02-25 14:39:43
116
2
原创 第一阶段模块三作业第一题
题目：编程统计字符串"ABCD123!@#$%ab"中大写字母、小写字母、数字、其它字符的个数并打印出来。思路：使用符合规则的正则表达式来和字符串里的每个字符去做对比，符合对应规则则次数加1，最后打印出统计次数即可，具体代码如下。package com.lagou.homework.part3;public class CalCount { /** * 计算待匹配字符串里符合正则表达式的字符个数 * @param orgStr 待匹配字符串 * @param r
2021-02-25 14:37:52
123
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人