- 博客(961)
- 资源 (26)
- 问答 (1)
- 收藏
- 关注
原创 2023-2024年最新大数据学习路线
新路线图在Spark一章不再以Java,而把Python语言作为第一语言,更适应未来的发展趋势,路线图主要分为六大模块,根据以下内容对照自己掌握了多少大数据的知识,架构原理 Spark RDD Spark DF Spark DAG Spark SQL内存迭代 性能调优。任务调度 Pandas on Spark Spark on Hive Spark Shuffle。美团点评数仓架构 小米大数据架构 平安大数据架构。* 车联网项目实战* 金融证券项目实战。* 工业项目实战 保险大数据实战。
2023-09-22 15:43:24 1034 7
原创 华为云云耀云服务器L实例评测|伪分布式环境下部署hadoop2.10.1
云耀云服务器L实例是新一代的轻量应用云服务器,专门为中小企业和开发者打造,提供开箱即用的便利性。云耀云服务器L实例提供丰富且经过严格挑选的应用镜像,可以一键部署应用,极大地简化了客户在云端构建电商网站、Web应用、小程序、学习环境以及各类开发测试等任务的过程。Hadoop是一个开源的分布式计算框架,能够处理大规模数据的存储和处理。它基于Google的MapReduce算法和Google File System(GFS)的思想,可以在廉价的硬件上进行高效的分布式计算。
2023-09-18 19:00:00 857 11
原创 刚刚,体验了一把Bing chat很爽
Hello guys,我是`Maynor`。在周三微软发布了结合chatGpt的搜索引擎,我第一时间申请了加入waitlist,终于成为使用上Bing chat的`首批全球用户`,申请流程可以看我当时发表的博客.以下是我的Bingchat使用初体验
2023-02-12 00:27:31 90231 37
原创 每天一道大厂SQL题【Day01】访问量统计
大家好,我是Maynor。相信大家和我一样,都有一个大厂梦,作为一名资深大数据选手,深知SQL重要性,接下来我准备用100天时间,基于大数据岗面试中的经典题,以每日1题的形式,带你过一遍热门SQL题及恰如其分的解答。一路走来,随着问题加深,发现不会的也愈来愈多。但底气着实足了不少,相信不少朋友和我一样,日积月累才是最有效的学习方式!
2023-01-29 17:49:41 12069 25
原创 助力工业物联网,工业大数据项目介绍及环境构建【一、二】
项目目标项目1:在线教育学习如何做项目,项目中大数据工程师要负责实现的内容和流程学习数仓基础理论:建模、分层项目2:工业大数据企业中项目开发的落地:代码开发代码开发:SQL【DSL + SQL】SparkCoreSparkSQL数仓的一些实际应用:分层体系、建模实现内容目标项目业务介绍:背景、需求项目技术架构:选型、架构项目环境测试目标了解Docker的基本功能和设计为什么要用Docker?什么是Docker?路径step1:生产环境的问题。
2022-11-28 15:53:05 3060 9
原创 实时即未来,大数据项目车联网之项目基石与前瞻【一】
车联网的概念介绍车联网( Internet of Vehicles )指按照一定的通信协议和数据交互标准,在“人-车-路-云“之间进行信息交换的网络。即首先实现汽车智能网联化,再利用各种传感技术,感知车辆状态信息,并借助无线通信网络与大数据分析技术实现交通的智能化管理。
2022-08-19 16:45:30 3025 16
原创 总结的数据结构小公式
文章目录完全无向图和完全有向图公式最小生成树矩阵:完全无向图和完全有向图公式将一个具有 n 个顶点 e 条边的无向图存储在邻接矩阵中,则非零元素的个数是 2e。对于一个具有 n 个顶点 e 条边的有向图存储在邻接矩阵中,则非零元素的个数是 e。1.完全无向图:n个顶点的完全无向图的边数= n(n-1)/22.完全有向图: 完全有向图的边数=n(n-1)3. 举例1:有10个顶点的无向连通图边的数量最少是( 9 )个,最多是( 45 )个4. 举例2:有10个顶点的有向连通图
2021-12-20 13:23:14 5609 3
原创 我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
由于我接的私活经常需要使用到Hadoop集群,本地启动有启动速度慢、操作麻烦和占用内存等诟病,有鉴于此何不部署云集群,选择的是Hadoop3.x的伪分布式部署方法。
2021-12-03 12:27:46 3972 18
原创 Docker篇之如何部署MySQL
MySQL部署5.1.1拉取MySQL镜像docker pull mysql查看镜像5.1.2创建MySQL容器docker run -di --name demo_mysql -p 33306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql-p 代表端口映射,格式为 宿主机映射端口:容器运行端口-e 代表添加环境变量 MYSQL_ROOT_PASSWORD是root用户的登陆密码5.1.3进入MySQL容器,登陆MySQL进入mysql容器
2021-11-25 20:27:00 1600 2
原创 SpringCloud微服务之Nacos集群搭建
Nacos集群搭建1.集群结构图官方给出的Nacos集群图:其中包含3个nacos节点,然后一个负载均衡器代理3个Nacos。这里负载均衡器可以使用nginx。我们计划的集群结构:三个nacos节点的地址:节点ipportnacos1192.168.150.18845nacos2192.168.150.18846nacos3192.168.150.18847此处的IP是你自己服务的IP,不一定要按照我的来2.搭建集群搭建集群的基本步骤:
2021-11-12 10:54:38 1623 6
原创 【2023年更新】1000个大数据/人工智能毕设选题推荐
正值毕业季我看到很多同学都在为自己的毕业设计发愁Maynor在网上搜集了1000个大数据的毕设选题,希望对大家有帮助~适合大数据毕业设计的项目,完全可以作为本科生当前较新的毕业设计题目选择方向。
2021-11-10 08:09:05 52610 5
原创 答应粉丝的Maven仓库学习笔记,今天它来了 一起来学习快速入门Maven
文章目录背景Maven第一部分1.1 什么是Maven1.2 仓库1.3 maven环境搭建1.3.1 下载1.3.2 安装1.3.3 配置:系统环境变量1.4 Maven使用1.4.1 私有仓库配置1.4.2 配置镜像(第三方仓库,私服)1.5 IDEA 配置1.5.1 IDEA 配置 maven1.5.2 新项目配置1.5.3 配置失败,重新配置1.6 IDEA 中 maven使用1.6.1 创建maven项目1.6.2 基本使用1.6.3 坐标2. Maven第二部分2.1 坐标2.1.1 什么是.
2021-10-19 16:23:36 2364 12
原创 [hadoop3.x]HDFS中的内存存储支持(七)概述
目前博客Hadoop文章大都停留在Hadoop2.x阶段,本系列将依据黑马程序员大数据Hadoop3.x全套教程,对2.x没有的新特性进行补充更新,一键三连加关注,下次不迷路!
2021-10-08 16:06:43 1192 3
原创 Maynor的博客导航,大数据の蜕变之路
前段时间更新完了大数据体系的相关博文,一直没时间梳理,又转战Vue、Java、Mysql了,这次便整理一下博客,一来方便自己回顾知识 二来方便博友寻找阅读。
2021-09-03 17:18:42 3023 26
原创 ✨【Java基础】每天一道基础题+面试题——Day01✨
今天是持续学习的第 29 / 100 天。 如果你有想要交流的想法、技术,欢迎在评论区留言。【程序1】題目:古典问题:有一对兔子,从出生后第3个月起每个月都生一对兔子,小兔子长到第三个月后每个月又生一对兔子,假如兔子都不死,问每个月的兔子总数为多少?public static void main(String[] args) { //需要输入的月份: System.out.println("请输入的月份"); Scanner sc = new Sc.
2021-09-01 17:24:20 1197 4
原创 问我大数据怎么入门,我总结了亲身体验的学习路线推荐给她【推荐收藏】
前两天有学妹私信我说,她已经上完大一,大数据专业的,只学过大数据导论,问我大数据该如何入门?我不禁感慨普通高校擅长培养算法人才,但在工程人才的培养上存在很多的问题。
2021-07-21 19:28:04 4985 48
原创 ❤️大数据开发必备:推荐7款大数据开发神器工作效率提升1000%【推荐收藏】
前言大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。第一款
2021-07-10 10:06:40 6019 53
原创 大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)
操作系统概述目标:了解 操作系统 的作用1.1 操作系统(Operation System, OS)操作系统作为接口的示意图:没有安装操作系统的计算机, 通常被称为 裸机如果想在 裸机 上运行自己所编写的程序, 就必须用机器语言书写程序如果计算机上安装了操作系统, 就可以在操作系统上安装支持的高级语言环境,用于高级语言开发1.2 操作系统的种类桌面操作系统服务器操作系统嵌入式操作系统移动设备操作系统1.2.1 桌面操作系统Window 系列用户群体大macOS
2021-06-26 13:19:19 3735 15
原创 大数据Flink面试考题___Flink高频考点,万字超全整理(建议)
引言大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。下面为模拟面试,假如面试官考你Flink相关,你该如何回答呢?1.简单介绍一下 FlinkFlink 核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数 据通信以及容错机制等功能。 基于流执行引擎,Flink 提供了诸多更高抽象层的 API 以便用户编 写分布式任务:DataSet API, 对静态数据进行批处理操作,将静态数
2021-06-23 23:22:10 4014 28
原创 使用记忆法打造你的大数据组件的默认端口号记忆宫殿
文章目录引言总结引言大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。总结以上便是愿你读过之后有自己的收获,如果有收获不妨一键三连一下~...
2021-06-20 21:35:52 2089 13
原创 十年项目经验面试官亲传大数据面试__大数据面试独孤九剑
> 大家好,我是**ChinaManor**,直译过来就是中国码农的意思,俺希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。 面试之前,需要针对每个大数据项目,整理一套属于自己基础知识,必须熟记于心
2021-06-11 15:38:26 2167 15
原创 领导驾驶舱下钻404问题解决
https://xxx:9007/getLoginUrl 转发到 https://xxx/getLoginUrl。领导驾驶舱点击下钻页面 报404, 涉及到学工系统和sso认证系统。成功跳转,页面正常访问.
2024-03-28 10:31:48 247
原创 DolphinScheduler3.2.1 集群部署(Cluster)[三]
中的配置一样,所以所需要的步骤也与伪集群部署大致一样。区别就是伪集群部署针对的是一台机器,而集群部署(Cluster)需要针对多台机器,且两者“修改相关配置”步骤区别较大。中的“前置准备工作”,“准备启动环境”除了“启动zookeeper”以及“初始化数据库”外,别的都需要在每台机器中进行配置。如果你是新手,想要体验 DolphinScheduler 的功能,推荐使用。的方式将安装需要的资源传输到各个机器上,所以这一步我们仅需要修改运行。如果你想体验更完整的功能,或者更大的任务量,推荐使用。
2024-03-27 14:44:10 216
原创 DolphinScheduler3.2.1 伪集群部署[二]
伪集群部署目的是在单台机器部署 DolphinScheduler 服务,该模式下 master、worker、api server 都在同一台机器上如果你是新手,想要体验 DolphinScheduler 的功能,推荐使用方式体检。如果你想体验更完整的功能,或者更大的任务量,推荐使用。如果你是在生产中使用,推荐使用或者。
2024-03-27 14:42:24 466
原创 极速体验DolphinScheduler 3.2.1 Standalone 版[一]
Standalone 仅适用于 DolphinScheduler 的快速体验.如果你是新手,想要体验 DolphinScheduler 的功能,推荐使用 Standalone 方式体检。如果你想体验更完整的功能,或者更大的任务量,推荐使用。如果你是在生产中使用,推荐使用或者。
2024-03-27 14:33:20 569
原创 ErnieRAG:用ErnieBot打造企业级RAG应用
本文介绍了如何使用ErnieBot和Milvus向量数据库打造企业级RAG(检索增强生成)应用。RAG架构通过将大模型的生成能力与外部知识库的检索能力相结合,实现了在回答问题或执行任务时能够引入最新、最准确的专业知识。文章详细阐述了RAG的原理和环境安装,包括ErnieBot的配置和Embedding模型的选择。同时,还介绍了文本生成模型的选择、知识库数据的准备、向量数据库的启动、数据表的创建、索引和加载数据库、插入数据以及检索数据等步骤。最终,通过检索数据,验证RAG应用的有效性。
2024-03-23 16:41:02 1040
原创 FastGPT知识库结构讲解
因此,FastGPT 采用了多向量映射的方式,将一组数据映射到多组向量中,从而保障数据的完整性和语义的丰富度。影响向量搜索精度的因素非常多,主要包括:向量模型的质量、数据的质量(长度,完整性,多样性)、检索器的精度(速度与精度之间的取舍)。人类的文字、图片、视频等媒介是无法直接被计算机理解的,要想让计算机理解两段文字是否有相似性、相关性,通常需要将它们转成计算机可以理解的语言,向量是其中的一种方式。你可以为一组较长的文本,添加多组向量,从而在检索时,只要其中一组向量被检索到,该数据也将被召回。
2024-03-15 11:32:50 1273
原创 提升工作效率:探索AmazonQ预览版,开发者的生成式AI助手
这将打开带有对话界面的网络体验,以与量身定制的 Amazon Q AWS Blog 专家聊天。在最后一步中,你将需要部署 Amazon Q 网络体验。你可以使用 IAM 集成符合 SAML 2.0 标准的外部身份提供者(IdP)。Amazon Q 可以与任何符合 SAML 2.0 标准的 IdP 一起使用。Amazon Q 使用服务发起的单点登录(SSO)对用户进行身份验证。
2024-03-08 10:15:57 809 1
原创 告别信息搜寻烦恼:用fastgpt快速部署国内大模型知识库助手
FastGPT 使用了 one-api 项目来管理模型池,其可以兼容 OpenAI 、Azure 、国内主流模型和本地模型等。
2024-03-04 15:50:20 1506
原创 [已解决]npm淘宝镜像最新官方指引(2023.08.31)
原来的 registry.npm.taobao.org 已替换为 registry.npmmirror.com ,当点击 registry.npm.taobao.org 会默认跳转到 registry.npmmirror.com。最新的配置淘宝镜像的淘宝官方提供的方法。
2024-02-23 16:24:57 802
原创 2024年最新1000个Java毕业设计选题参考
全网粉丝7W+,CSDN博客专家、Java大数据领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、大数据技术领域和毕业项目实战
2024-02-21 20:12:20 1920 9
原创 公众号小绿书流量主赚钱指南
可以看见,流量很大,动不动就几万,10万+,也小绿书也是可以再文末插广告的,用 AI 生成头像,稍微裁剪一下,拼图,排版,基本就可以发。看了一下现在的模型真的是越来越多了,结合之前看过的对标账号,拆一个很火,很容易,赚钱也很猛的玩法。怎么发小绿书,怎么开通流量主,参加过航海的 @台风 老师应该都说过很多次了,我不赘述了。提示词很简单,只需要 1boy,1girl 触发Lora就可以,稍微截图,拼图即可用。底模型,二次元的,写实类,水墨类都可以,自行尝试吧。公众号小绿书,情头赛道,薅流量主收益。
2024-02-21 16:57:04 213
原创 《DAMA数据管理知识体系指南》备考笔记-第一章 数据管理 (4 分)
📨 数据管理专业(Data Management Professional):指那些致力于数据管理领域的各项任务(从技术层面的数据整个生命周期管理到确保数据合理使用和发挥其潜力),通过他们的工作来帮助组织实现战略目标的专家。📨 数据管理(Data Management):涉及在整个生命周期内为数据和信息资产提供价值,通过规划、政策、程序和实施活动,执行和监控这些资产的过程。📨 数据管理专家包括:技术高手(如数据库管理员、网络管理员、开发人员)和战略业务专家(如数据管理顾问、数据战略家、首席数据官等)。
2024-01-30 17:51:01 639
原创 [已解决]com.mysql.cj.jdbc.exceptions. PacketTooBigException: Packet for query is too large (3,456,888
MySQL事务单次处理的数据包大小是有限的,不能超过设定的数据包的最大值,超过了MySQL驱动会掉丢数据,导致SQL操作失败。1、调大参数max_allowed_packet。同步大数据出现批量更新或批量插入失败。配置文件方式(不会失效,推荐)命令行方式(重启服务失效)
2024-01-28 16:57:58 483
原创 [已解决]504 Gateway Time-out 网关超时
网上的常规思路是修改nginx配置文件,增加请求执行时间,试过没有用。最后发现是防火墙拦截了。
2024-01-24 12:32:37 848
转载 基于PAI-DSW使用SD WebUI实现AI扩图功能
在本教程中,您将学习如何在阿里云交互式建模(PAI-DSW)中,使用实现AI扩图功能。随着AIGC技术的落地发展,越来越多的创新玩法闯进了我们视野,AI扩图便是其中之一。只需给AI一张图片,AI就会根据图像的上下文语义信息,预测和补充图像边界,生成一张尺寸更大的图像。AI扩图有时是拯救废片的神器,能够将半身照扩展为惊艳的全身照,有时也会翻车,生成的图像让人哭笑不得。👍 新用户可免费领取价值万元的试用资源👍 学会如何快速在阿里云上创建一个交互式训练开发环境。👍 学会如何在DSW中启动WebUI。
2024-01-18 17:15:18 186
转载 React全家桶(技术栈)
官网中文官网: https://react.docschina.org/介绍描述用于动态构建用户界面的 JavaScript 库(只关注于视图)由Facebook开源React的特点声明式编码组件化编码React Native 编写原生应用高效(优秀的Diffing算法)React高效的原因使用虚拟(virtual)DOM, 不总是直接操作页面真实DOM。DOM Diffing算法, 最小化页面重绘。
2024-01-11 09:39:48 228
转载 Apache Doris新手指南:10分钟内搭建数据分析引擎!
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景,这个简短的指南将告诉你如何下载 Doris 最新稳定版本,在单节点上安装并运行它,包括创建数据库、数据表、导入数据及查询等。这个参数我们在安装的时候是必须要配置的,特别是当一台机器拥有多个IP地址的时候,我们要为 FE 指定唯一的IP地址。
2023-12-21 10:22:53 340
原创 【大数据实训】python石油大数据可视化(八)
第二的是辽宁省,原油加工量产量8186.5万吨;之后根据同样可以将重复部分改编成函数重复调用的方法,我经过压缩,将成品代码压缩到193行,其中函数部分有157行,主体部分有36行,如果将中间用于分割的空行删除,则可以进一步压缩,压缩过的代码不但整洁,还可以迅速发现并改正错误的、需要改正的地方。(4)最近一年,2020年中国原油加工产量为67440.8万吨,同比增长3.4%,表明虽然我国经历了新冠疫情的影响,但是我国在疫情得到控制后积极恢复,原油加工产量不降反增,原油加工产业受到疫情影响不大。
2023-12-20 15:49:41 904 1
原创 下一代实时数据库:Apache Doris 【七】数据模型
数据在不同时间,可能聚合的程度不一致。因为在实现上, 我们可以通过如“导 入时对行进行计数,保存 count 的统计信息”,或者在查询时“仅扫描某一列数据,获得 count 值”的方式, 只需很小的开销, 即可获得查询结果。虽然同样无法利用预聚合的特性,但是不 受聚合模型的约束,可以发挥列存模型的优势(只读取相关列,而不需要读取所有 Key 列)在聚合模型中, 模型对外展现的,是最终聚合后的数据。也就是说,任何还未聚合的数 据(比如说两个不同导入批次的数据) ,必须通过某种方式, 以保证对外展示的一致性。
2023-12-19 10:14:05 1032
【知识库问答】保姆级教程之文心大模型版.pdf
2024-03-24
购物系统项目(文档+视频+源码).7z
2024-01-30
员工工资管理系统(文档+视频+源码).7z
2024-01-30
仓库商品管理系统(文档+视频+源码).7z
2024-01-30
学生选课系统(文档+视频+源码).7z
2024-01-30
图书管管理系统(视频+源码).7z
2024-01-30
学生选课成绩信息管理系统(ER图文档+视频+源码).7z
2024-01-30
学生信息管理(文档+视频+源码).7z
2024-01-30
Mysql和Oracle飞机订票系统(ppt+ER图+流程图+需求背景数据库+架构说明有lun文视频源码齐全).7z
2024-01-30
酒店管理系统(ppt+ER图+流程图+需求背景数据库+架构说明有lun文视频源码齐全).7z
2024-01-30
汽车租赁管理系统(详细文档+视频+源码).7z
2024-01-30
CDGA超全资料(包含电子书、学习笔记、思维导图、刷题和必背知识点)
2024-01-30
Oracle 转化成 Hive Sql的规则 正则已写好 (要求讲清思路)
2021-08-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人