- 博客(549)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 SpringBoot入门Bean的扫描、Bean的注册、Bean自动配置原理、自定义starter
这个类上有一个注解，@ConditionalOnClass含义是如果存在DispatcherServlet.class这个类，就生效，会自动配置，当引入了starter-web坐标，就会引入DispatcherServlet这个类，所以就自动注入到IOC中了。@ComponentScan 这个注解，相当在启动类上添加了这个注解，不需手动添加了，可以自动扫描的Controller、Service，不指定包路径，默认扫描添加的这个类的包及子包，SpringBoot默认扫描启动类所在的包及其子包。
2024-03-21 23:14:35
709
原创 python导入Numpy失败，ImportError: Unable to import required dependencies: numpy:
我这Python3.7版本 应该匹配Numpy1.16.4版本。看这个报错信息，是python版本与Numpy版本不匹配，因此卸载NumPy1.21.2，重新安装。
2024-01-08 23:07:48
751
原创 学习人工智能-基础篇
深度学习模型中典型的就是卷积神经网络（convolutional neural network,CNN）。它主要应用是在图像识别方向。还有一个模型是循环神经网络（Recurrent Neural Network,RNN），通常用于自然语言的处理。本文介绍的是卷积神经网络。生成对抗网络、强化学习。在早期的图像分类任务中，通常是先人工提取图像特征，再用机器学习算法对这些特征进行分类，分类的结果强依赖于特征提取方法，往往只有经验丰富的研究者才能完成.在这种背景下，基于神经网络的特征提取方法应运而生。
2023-12-11 22:38:54
1231
原创 图数据库Neo4j概念、应用场景、安装及CQL的使用
传统的**关系数据库管理系统(RDBMS)**并不擅长处理数据之间的关系，那些表状数据模式和呆板的结构难以添加新连接或不同类型连接。Neo4j的Cypher语言是为了处理图形数据而构建的，CQL代表Cypher查询语言，像Oracle数据库具有查询语言SQL，Neo4j具有CQL作为查询语言。如果是4.x的版本，jdk要是符合11的，因为我们的jdk版本是8的，安装的版本是3.5x。图数据库不仅能有效存储数据点之间的关系，而且非常灵活，适合添加新的关系类型，并使。适合针对特定目的的数据发现和探索。
2023-11-01 00:06:43
876
原创 计算即时订单比例-首单使用开窗函数row_number()
首先需要从数据集中拿出每个用户的首单，一般都是使用排序开窗函数进行操作。然后计算即时订单的比例，只需要从拿出的首单数据中分别计算两个指标，再相除即可，注意需求中需要保留两位小数，所以可以使用 decimal 类型来展示最终的结果。请从配送信息表（delivery_info）中求出每个用户的首单（用户的第一个订单）中即时订单的比例，保留两位小数，以小数形式显示。请从配送信息表（delivery_info）中求出每个用户的首单（用户的第一个订单）中即时订单的比例，保留两位小数，以小数形式显示。
2023-09-13 00:06:15
407
2
原创 Pytorch中如何加载数据、Tensorboard、Transforms的使用
公式：output[channel] = (input[channel] - mean[channel]) / std[channel]在Pytorch中涉及到如何读取数据，主要是两个类一个类是Dataset、Dataloader。Compose()中的参数需要的是一个列表，列表中的数据需要的是transforms类型。即 Compose([transforms参数1, transforms参数2, …Dataloader，可以对数据进行打包，为后面的网络提供不同的数据形式。TensorBoard的使用。
2023-08-31 23:46:40
842
原创 解决Original error was: DLL load failed while importing _multiarray_umath: 找不到指定的模块。
第一步：首先找到你的虚拟环境位置，我的是D:\tools\anaconda\envs\pytorch\Library\bin。添加环境变量D:\tools\anaconda\envs\pytorch\Library\bin，到path路径下。1、重新安装torch，但是这种办法太过于麻烦了。周末电脑关机后，再次运行深度学习模型后出现错误。
2023-08-08 23:15:00
228
原创 【Pytorch】下载CIFAR10数据集报错： urllib.error.URLError: ＜urlopen error name: https＞
在使用Pytorch 下载CIFAR10的时候，遇到一个报错，可能是网络特别慢导致的，一般情况下都会遇到这个报错。解压后，放到对应的目录文件中，再次运行代码就成功了。1、到官网直接下载这个压缩包，解压。
2023-08-03 19:22:31
661
原创 机器学习和深度学习简述
而今，“深度学习工程师”进入了工业化大生产时代，只要掌握深度学习必要但少量的理论知识，掌握Python编程，即可在深度学习框架上实现非常有效的模型，甚至与该领域最领先的模型不相上下。机器学习的方法论和人类科研的过程有着异曲同工之妙，下面以“机器从牛顿第二定律实验中学习知识”为例，帮助读者更加深入理解机器学习（监督学习）的方法论本质，即在“机器思考”的过程中确定模型的三个关键要素：假设、评价、优化。神经网络思想的提出已经是70多年前的事情了，现今的神经网络和深度学习的设计理论是一步步趋于完善的。
2023-08-02 12:11:03
671
原创 安装Pytorch及配置Pycharm
它主要由Facebookd的人工智能小组开发，不仅能够 实现强大的GPU加速，同时还支持动态神经网络，这一点是现在很多主流框架如TensorFlow都不支持的。接下来安装Pytorch,在官网中找到适合自己的版本，https://pytorch.org/get-started/previous-versions/的dll文件，但实际上需要的dll在Anaconda3\library\bin目录下。原文地址 https://github.com/conda/conda/issues/8273。
2023-07-06 23:56:20
2946
2
原创 安装Anaconda
Anaconda，一个开源的Python发行版本，可用于管理Python及其相关包，包含了conda、Python等180多个科学包及其依赖项。
2023-07-06 23:37:34
349
原创 机器学习入门
5、评估、优化模型，训练模型是算法寻找最优的模型的内部参数，评估和优化模型是在验证集或测试集上进行模型效果评估的过程中，对模型的外部参数进行优化，超参数，是指在模型训练之前需要设置的参数，用户控制模型结构和训练过程中的一些超参数。特征工程（让数据易于被机器理解，并发掘重要特征）特征工程简单讲就是发现对因变量y有明显影响作用的自变量x，特征工程的目的就是发现重要特征，基于业务特性，从众多的特征中发现对标签有明显作用的特征，而摒弃掉无用的特征，降低特征的维度，提升机器学习模型的性能。
2023-07-04 23:19:18
334
原创 Matplotlib实战：如何用代码画出漂亮的图表？
首先先安装Matplotlibmatplotlib是专门用于开发2D图表、3D图表以渐进、交互方式实现数据可视化。
2023-06-20 23:25:58
580
原创 Jupyter Notebook是什么及使用
Jupyter项目是一个非盈利的开源项目，源于2014年的python项目，Juptter Notebook，原名IPython Notbook，是IPython的加强网页版，一个开源web应用程序名字源自Julia、Python和R是一款程序员和科学工作者的编程/文档/笔记/展示软件.ipynb文件格式是用于计算型叙述的JSON文档格式的正式规范Juptyter项目旨在开发跨几十中编程语言的开源软件，开放标准和用于交互式计算的服务。
2023-06-13 23:27:21
3066
原创 深度学习简介
深度学习（Deep Learning）（也称为深度结构学习【Deep Structured Learning】、层次学习【Hierachical Learning】或者 深度机器学习【Deep Machine Learning】）是一类算法集合，是机器学习的一个分支。深度学习方法近些年，在会话识别、图像识别和对象侦测领域表现出了惊人的准确性。
2023-06-07 23:08:27
485
原创 基于ChatGPT的知识图谱构建
知识图谱是指对现实世界中的实体、概念和它们之间的关系进行结果化的表示，并用图形方式表达出来的一种知识表示形式。知识图谱可以用于自然语言处理、机器学习、数据挖掘等多种任务中，可以帮助计算机更好的理解自然语言，提高智能化程度。
2023-06-02 22:32:41
1837
原创 基于ChatGPT的推荐系统
基于ChatGPT的推荐系统的模型架构与基于ChatGPT的文本模型有一些相似之处，但也有一些不同之处，在模型的输入方面，基于ChatGPT的推荐系统需要输入用户的历史行为数据或者用户的兴趣标签，以及需要推荐的目标文本或商品，在模型的输出方面，基于ChatGPT的推荐系统输出的是一个文本序列或商品序列。其次，基于ChatGPT的推荐系统还需要解决冷启动问题，因此对于新用户或新商品，很难获得足够的历史行为数据或兴趣标签，为了解决这个问题，可以使用一些基于内容的方法，比如基于商品描述或用户画像的推荐。
2023-06-01 22:10:10
1107
原创 基于ChatGPT的文本生成
ChatGPT是一种基于Transformer的自然语言处理模型，能够生成自然而流畅的文本序列。在文本生成领域，ChatGPT模型具有非常广泛的应用，可以用于实现文本摘要、文本生成、翻译等多种任务。
2023-05-30 23:20:09
885
原创 基于ChatGPT的对话生成
但是，在基于ChatGPT的对话生成任务中，输出序列的精度通常较大，因此在计算损失函数时，需要使用一些技巧来避免梯度消失或爆炸的问题，比如使用动态规划算法来计算损失函数。基于ChatGPT的对话生成模型在实际应用中还存在一些问题和挑战，比如模型的自我学习能力和数据隐私问题，因此在应用场景中需要特别关注这些问题，并采渠相应的解决方案。基于ChatGPT的对话生成模型的训练和优化过程基础知识中介绍的模型训练和优化过程类似，但有一些特殊的细节要注意。（2）交互体验：交互体验是衡量模型与用户交互体验的指标。
2023-05-29 22:32:30
1408
原创 ChatGPT的基础知识
ChatGPT是一种基于深度学习的自然语言处理技术，其核心是一个神经网络模型，包括深度学习基础、自然语言处理基础、循环神经网络基础和注意力机制基础。
2023-05-25 22:50:29
3125
原创 什么是ChatGPT、历史发展及应用领域
ChatGPT是一种基于人工智能技术的聊天机器人，它可以与用户进行自然语言交互，回答用户的问题，提供各种服务和娱乐功能。ChatGPT利用GPT模型进行训练，可以理解用户的语言意图，生成自然流畅的回答，并不断优化自身的表现。ChatGPT是一款基于GPT-3模型的人工智能聊天机器人，可以进行自然语言对话，提供各种服务和娱乐功能。ChatGPT会自动学习用户的偏好和习惯，以提供更加个性化的服务。ChatGPT还提供了一些实用的功能，例如翻译、计算器、天气查询等，用户可以通过输入相应的指令来使用这些功能。
2023-05-24 23:41:49
1200
原创 机器学习工作流程
特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。注：业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。3.3.2为什么需要特征工程（Feature Engineering）意义：会直接影响机器学习的效果。3.3.3特征工程包含内容。3.3.1什么是特征工程。3.3.4各概念具体解释。2、机器学习工作流程。机器学习工作流程总结。
2023-05-11 22:05:50
538
原创 人工智能概述、发展历程及主要分支
数据算法计算力 ，硬件支撑 CPU、GPU、TPU计算力之CPU、GPU对比：CPU主要适合I\O密集型的任务GPU主要适合计算密集型任务什么类型的程序适合在GPU上运行？（1）计算密集型的程序所谓计算密集（Compute-intensive）的程序，就是其大部分运行时花在寄存器预算上，寄存器的速度和处理器的速度相当，从寄存器读写数据几乎没有延时。可以做一下对比，读内存的延迟大概是几百个时钟周期；读硬盘的速度比较慢，即便是SSD，也慢。（2）易于并行的程序。
2023-05-08 22:53:22
1017
原创 安全常见基础名词概念
hosts是一个没有扩展名的系统文件，可以用记事本工具打开，其作用就是将一些常用的网址域名与其对应的ip地址建立一个关联“数据库”，当用户在浏览器输入一个需要登录的网址时，系统首先会自动从host文件中寻找对应的ip地址，一旦找到，系统会立即打开对应网页，如果没有找到，就会将网址提交到DNS域名解析服务器进行IP地址的解析。1）、顶级域名：又叫一级域名，一串字符串中间一个点隔开的，例如baidu.com，顶级域名是互联网DNS等级之中的最高级的域，它保存在DNS根域的名字空间中。如何查看本地Host文件。
2023-04-25 23:13:36
387
2
原创 实战大数据项目
存储日志数据集（HDFS）数据仓库构建（Hive）数据分区表构建数据预处理 （Spark计算引擎）-使用Zeppelin进行写SQL订单指标分析Sqoop数据导出到传统数据库（Mysql）Superset数据可视化项目架构架构方案：1、基于Hadoop的HDFS（数据存储）文件系统来存储数据2、为了方便进行数据分析，将这些日志文件的数据映射为一张一张的表，所以，我们 基于Hive（数据仓库工具）来构建数据仓库，所有的数据，都会在Hive下进行管理，提高数据处理的性能。
2023-04-13 22:33:43
3357
1
原创 Zeppelin框架及Hive查询操作
Apache Zeppelin是一款基于Web交互式框架，支持多种语言，Scala、SparkSQL、Markdown，SQL、Shell、Python等。可以使用Zeppelin链接SparkSQL。Zeppelin提供数据分析、数据可视化。打开浏览器 访问，xxxx:8090。Zeppelin安装和使用。一键启动集群中所有的组件。
2023-04-10 22:32:57
688
原创 Hive概论、架构和基本操作
Apache Spark是一个快速的，多用途的集群计算系统，相对于Hadoop MapReduce将中间结果保存在磁盘中，Spark使用了内存保存中间结果，能在数据尚未写入硬盘时在内存中进行计算，同时Spark提供SQL支持。Hive是建立在Hadoop上的数据仓库基础架构，它提供了一系列的工具，可以存储、查询、分析存储在分布式存储系统中的大规模数据集。Hive定义了简单的类SQL查询语言，通过底层的计算引擎，将SQL转为具体的计算任务进行执行。它将计算分为两个阶段，分别为Map和Reduce。
2023-04-04 22:23:10
1168
9
原创 数据仓库概论
数据仓库，英文名称Data Warehouse，可简写为DW和DWH，数据仓库顾名思义，是一个很大的数据存储集合，出于企业的分析性报告和决策支持目的而创建，它为企业提供一定的BI（商业智能）能力，指导业务流程改进、监视时间、成本、质量以及控制。数据库：数据库是面向交易的处理系统，它是针对具体业务在数据库联机的日常操作，通常对记录进行查询、修改。数据仓库的输入方式各种各样的数据源，最终的输出用于企业的数据分析、数据挖掘、数据报表等方向。数据库是面向事务的设计，数据仓库是面向主题设计的。数据库和数据仓库区别。
2023-03-30 22:47:45
212
原创 HDFS概述
HDFS文件系统可存储超大文件，时效性稍差HDFS具有硬件故障检测和自动快速恢复功能HDFS为数据存储提供很强的扩展能力HDFS存储一般为一次写入，多次读取，只支持追加写入，不支持随机修改HDFS可在普通机器上运行HDFS采用的Master/Slave架构一个HDFS集群有两个重要的角色，分别是NameNode 和DataNodeHDFS的四个基本组件：HDFS Client、NameNode、DataNode、和SecondaryNameNode1、Client就是客户端文件切分，文件上传HDFS的时候，
2023-03-29 22:52:56
560
原创 Hadoop框架概论
集群：集群是指一组独立的计算机系统构成的一多处理器系统，它们之间通过网络实现进程间的通信，让若干台计算机联合起来工作（服务），可以是并行的，也可以是做备份的。其中重点的包括：Kafka、Spark、Flink、Hive、HBase、Zookeeper、Yarn、HDFS、MapReduce、集群模式主要用于生产环境部署，会使用N台主机组成一个Hadoop集群，这种部署模式下，主节点和从节点会分开部署在不同的机器上。开源社区版：指由Apache软件基金会维护的版本，是官方维护的版本体系，版本丰富，兼容性差。
2023-03-28 20:16:43
486
原创 大数据简介
大数据概论和职业规划Linux服务器系统Hadoop概论HDFS分布式文件系统Hive数据仓库SparSQL指令Zepplin框架Sqoop框架Superset数据可视化大数据数仓实战-didi出行大数据概念大数据特点大数据应用场景大数据分析业务步骤大数据职业规划大数据学习路线。
2023-03-21 22:31:19
522
原创 KafKa主题、分区、副本、消息代理
Kafka将主题拆分为多个分区，不同的分区存在不同的服务器上，这样就使kafka具有拓展性，可以通过调整分区的数量和节点的数量，来线性对Kafka进行拓展，分区是一个线性增长的不可变日志，当消息存储到分区中之后，消息就不可变更，kafka为每条消息设置一个偏移量也就是offset，offset可以记录每条消息的位置，kafka可以通过偏移量对消息进行提取，但是没法对消息的内容进行检索和查询，偏移量在每个分区中是唯一的不可重复，并且它是递增的，不同分区间偏移量可以重复。
2023-03-13 23:30:11
191
原创 Dockerfile命令及实践构建一个网站
镜像都是多层存储的，每一层在前一层的基础上进行修改：容器也是多层存储，以镜像为基础层，在其基础上加一层做为容器运行时的存储层。镜像的创建有两种方式：1、手动修改容器内容，然后docker commit提交容器为新的镜像2、通过在dockerfile中定义一系列的命令和参数构成的脚本，然后这些命令应用于基础镜像，依次添加层，最终生成一个新的镜像，极大的简化了部署工作。
2023-02-15 22:51:38
365
原创 Docker的容器管理
注意：容器内的进程必须处于前台运行状态，否则容器就会直接退出，自己部署一个容器运行，命令不得后台运行，前台运行即可。如果容器内，什么事也没做，容器也会挂掉。容器内，必须有一个进程在前台运行。docker run 镜像名，如果镜像不存在本地，则会在线去下载该镜像。我们运行nginx基础镜像，没有运行任何程序，因此容器直接挂掉。docker run 等于创建+启动。
2023-01-29 22:53:35
155
原创 Docker的镜像管理-增删改查
默认的docker仓库是，dockerhub，有大量的优质的镜像，以及用户自己上传的镜像，centos容器vim nginx，提交为镜像，上传到dockerhub。比如默认运行的centos镜像，不提供vim功能，运行该容器后，在容器内安装vim，然后提交该镜像，再导出该镜像为压缩文件，可以发给其他人用。-it 开启一个交互式的终端，–rm容器退出时删除该容器。被删除的镜像，不得有依赖的容器数据。查看docker的镜像存储路径。#存放docker镜像的目录。使用不同镜像，生成容器。2、本地镜像导出、导入。
2023-01-03 23:27:04
382
原创 Docker镜像的原理
1、一个完整的系统，是由linux的内核+发行版，才组成了一个可以使用的完整系统。2、利用docker容器，可以获取不同发行版镜像，然后基于该镜像，运行出各种容器去使用。linux的一个完整系统包括两部分一个是linux内核，主要是与底层硬件进行交互的，例如如何获取磁盘信息，管理网络。另一个是发行版。利用docker容器可以获取不同的发行版镜像，然后基于该镜像，运行出各种容器去使用，底层还是用的相同的一个linux内核。docker image搜索地址。
2022-12-21 22:10:17
1384
chromedriver.exe V2.3
2017-09-11
深入理解java虚拟机
2017-03-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人