- 博客(22)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 计算机机考面试经验
虽然现在很多牛客的题目没要求构造输入输出（牛客叫核心代码模式），但是实际考试还是需要的（牛客叫ACM模式），平时刷题需要注意区分，多刷需要自己构造的。 两个平台在我看来都可以，但是考虑到最终机考在牛客，如果平时比较习惯刷LeetCode，一定要在牛客上下面的高频考题都刷几题，熟悉输入输出。两种类型，每个子项排序表示考察的频率，序号越低，考察频率越高，比如数组是考察频率最高的。总分400分，平台在牛客。这篇专栏，不建议大家购买，但是里面的题目描述的确比较详细，大家可以参考，然后根据描述去搜索答案。
2023-08-02 08:53:35
534
原创 hive常用函数笔记
unix_timestamp:返回当前或指定时间的时间戳。current_timestamp：当前的日期加时间。from_unixtime：将时间戳转为日期格式。dayofmonth：当前时间是一个月中的第几天。months_between： 两个日期间的月份。map_values: 返回map中的value。sort_array： 将array中的元素排序。map_keys： 返回map中的key。last_day：日期的当月的最后一天。current_date：当前日期。to_date：抽取日期部分。
2023-03-10 11:26:13
208
原创 解决docker删除镜像出现Error response from daemon: conflict: unable to delete 4a698e13718a (must be forced) -
解决docker删除镜像报错
2023-02-12 14:28:11
412
原创 解决Caused by: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.7.
在spark读取sclickhouse出现这个情况是因为依赖冲突不兼容。使用maven的exclusions排除冲突jar即可解决问题。
2023-02-01 12:30:09
806
原创 解决ClickHouse client version 22.10.2.11 (official build).Connecting to localhost:9000 as user default
clickhouse-client启动客户端 如果此时还报错（因为端口冲突修改tcp端口的情况）systemctl start clickhouse-server.service重新启动服务。将listen注释取消或者打开，同时也要注意自己是否修改了tcp端口号。clickhouse-server下的 config.xml。clickhouse-client --port 端口号启动。原因是未打开远程监听。
2023-01-31 23:31:32
1125
原创 解决ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.java.net.BindExce
java.net.BindException: Problem binding to [hadoop01:9000] java.net.BindException: 地址已在使用;For more details see: http://wiki.apache.org/hadoop/BindException这个原因。解决ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
2023-01-31 23:12:04
1096
原创 Spark全量增量从mysql抽取数据静态动态分区存入Hive
【代码】Spark全量增量从mysql抽取数据静态动态分区存入Hive[2]
2022-09-28 21:13:16
2943
7
原创 python数据处理小技巧(echarts学习)【一】
一.针对echarts桑基图的数据处理这是我们想要的数据格式links[{ source: '家具', target: '公司', value: 1879156}]部分源数据截图根据表格数据所致我们需要的数据字段来源于["地区", "类别"]["销售额"]下面我们利于pandas进行数据处理import pandas as pddata = pd.read_excel("超市运营数据.xls")#对地区、类别分组，根据销售额进行求和a = d.
2022-04-23 21:09:03
817
原创 解决：该虚拟机似乎正在使用中。如果该虚拟机未在使用，请按“获取所有权(T)”按钮获取它的所有权。否则，请按“取消(C)”按钮以防损坏。配置文件: E:\vm\hadoop01\hadoop01.vm
删除.lck目录原因是因为上次未正确关闭虚拟机删除之后打开虚拟机继续运行
2022-01-20 13:47:22
2397
原创 解决maven Could not find artifact org.apache.maven.plugins:maven-compiler-plugin:pom:3.8 ....错误
1.设置setting文件<!-- 阿里云镜像 --><mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/repositories/central/</url> <mirrorOf>central</mirrorOf><
2022-01-11 12:41:16
13131
6
原创 hive所遇到的坑（持续更新）
1.启动元数据报错无法进入hive解决方法 修改hive-site.xml<!-- jdbc 连接的 URL --><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true&characterEncod...
2022-01-10 17:15:06
1121
原创 解决LinuxMysql1045错误ERROR 1045 (28000): Accessdenied for user ‘root‘@‘localhost‘ (using password: YES）
错误截图解决方法 1.打开vi /etc/my.cnf找到[mysqld]段，并加入一行“skip-grant-tables” 2.输入:wq保存并退出重启数据库服务systemctl restart mysqld 3.进入数据库，免密码 mysql -uroot -p...
2022-01-10 14:54:19
4009
3
原创 Spark全量增量从mysql抽取数据静态动态分区存入Hive
import org.apache.spark.sql.{DataFrame, DataFrameReader, SaveMode, SparkSession}object readmysqlstatic { def main(args: Array[String]): Unit = { System.setProperty("HADOOP_USER_NAME", "root") val spark = SparkSession.builder() .master("l.
2021-12-22 21:04:01
6201
14
原创 Python爬虫lxml实训:使用lxml库爬取以下数据：游戏名称、游戏类型、游戏图片地址、文件大小、游戏热度
题目要求爬取数据的链接:https://down.gamersky.com/pc/ 爬取内容:游戏名称、游戏类型、游戏图片地址、文件大小、游戏热度 将爬取内容写入文件解题思路导入所需要的第三方库 from lxml import etreeimport requests 将所需要爬取的网页下载到本地(避免重复请求网页拒绝访问) url="https://down.gamersky.com/pc/"headers={"User-Agent":"Mozilla/5.0 (W...
2021-12-03 19:18:04
693
1
javaweb图书管理系统(含实训报告、sql文件、截图)
2023-01-17
全国职业技能大赛大数据赛项十套赛题（shtd）
2023-01-16
一道hql题，卡住好几天了
2023-02-03
Ai如何入门，需要掌握哪些知识？
2022-07-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人