- 博客(467)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 深度之眼PyTorch训练营（第二期）笔记目录(已完结)
文章目录简介目录简介本期训练营来自深度之眼，以下为训练营PyTorch简介中摘录：1）上手快：PyTorch代码更简洁易读，实现时间短，只要了解它和机器学习的基础概念，就可以上手使用2）易调试：由于PyTorch采用动态图机制，使得调试它就像调试python一样简单3）资源多：非常干净、统一，文档化非常好，也没有大量重复的函数，目前arXiv中最新的算法大多都用pytorch实现，可以迅...
2019-10-30 08:55:55
5100
3
原创 深度之眼Paper带读笔记目录
文章目录简介NLP目录CV目录简介本次的Paper学习营分CV和NLP两个方向，每个方向又分精读、重点阅读和推荐阅读三类文章，精读基本每篇文章都分三部分：论文导读、论文精读、代码讲解。为了快速了解各种方法、框架，代码部分我基本就略过，等遇到实际问题再上手-。-两个方向的第一篇文章是一样的。所有论文都可以从谷歌学术上找到。NLP目录01.Deep learning：Deep learn...
2019-10-02 08:43:53
6184
3
原创 11.FrugalGPT
假设模型为LiL_iLi，输入为qqq，模型输出为LiqL_i(q)Liq若正确答案表示为aaa，则输入在模型LiL_iLiraLiqraLiq))sqLiqsqLiq))模型的运行代价根据上面的调研表格可知：输入要钱、输出要钱、固定按次要钱。
2024-03-15 19:10:45
877
1
原创 11.用AI运行AI
部分截图来自原课程视频《2023李宏毅最新生成式AI教程》，B站自行搜索。用AI运行AI，顾名思义就是使用AI来统筹调用其他AI来解决复杂问题。常见的AI运行AI工具有：这里面推荐使用Godmode，相较其他工具更加友好，可以随时调整执行计划，可以以10分钟为单位分段执行查看执行结果，且不需要魔法上网就可以访问（但需要谷歌或推特账号登录）。
2024-03-14 15:51:12
1024
原创 10.用AI解释AI
部分截图来自原课程视频《2023李宏毅最新生成式AI教程》，B站自行搜索。官网Blog地址：https://openai.com/research/language-models-can-explain-neurons-in-language-modelsAI涉及到的神经网络模型是一个黑盒子，关于AI的可解释性一直也是研究的一个热点，现有研究有从不同目的，不同角度对这个黑盒子做了一些可解释性的解读。
2024-03-14 10:32:39
1095
原创 深度之眼Paper带读笔记GNN.08.GCN（下）
本课程来自深度之眼，部分截图来自课程视频。图卷积神经网络的半监督分类（GCN）作者：Thomas N.Kipf，Max Welling单位：University of Amsterdam发表会议及时间：ICLR 2017在线Latex公式之前写的有点问题，重新编辑发现CSDN对文章长度做了限制，只能切开变成上下两篇了这节通过几篇图卷积相关的论文来讲解图卷积核的演变过程。
2023-11-22 09:44:54
311
1
原创 08.Diffusion Model数学原理分析（下）
σtz部分截图来自原课程视频《2023李宏毅最新生成式AI教程》，B站自行搜索。书接。
2023-11-10 11:12:51
249
1
原创 08.Diffusion Model数学原理分析（上）
文章目录Diffusion Model回顾Diffusion Model算法TrainingInference图像生成模型的本质目标MLE vs KLVAE计算Pθ(x)P_\theta(x)Pθ(x)Lower bound of logP(x)\log P(x)logP(x)DDPM计算Pθ(x)P_\theta(x)Pθ(x)Lower bound of logP(x)\log P(x)logP(x)原理数学推导部分截图来自原课程视频《2023李宏毅最新生成式AI教程》，B站自行搜索。Dif
2023-11-08 17:12:23
246
1
原创 06.GPT-4+图像生成
我们报告了 GPT-4 的开发情况，这是一个大型多模态模型，可以接受图像和文本输入，并生成文本输出。虽然在现实世界的许多场景中，GPT-4 的能力不如人类，但在各种专业和学术基准测试中，GPT-4 表现出了人类水平的性能，包括在模拟律师资格考试中以前 10% 左右的成绩通过考试。GPT-4 是一个基于变换器的模型，经过预先训练，可以预测文档中的下一个标记。训练后的调整过程提高了在事实性和遵守预期行为方面的性能。该项目的一个核心组成部分是开发基础设施和优化方法，使其在各种规模的情况下都能表现出可预测性。
2023-11-02 20:37:16
776
1
原创 李宏毅机器学习笔记.Flow-based Generative Model(补)
文章目录引子生成问题回顾：GeneratorMath BackgroundJacobian MatrixDeterminant 行列式Change of Variable Theorem简单实例一维实例二维实例网络G的限制基于Flow的网络构架G的训练Coupling LayerCoupling Layer反函数计算Coupling Layer Jacobian矩阵计算Coupling Layer Stacking1×1 ConvolutionGLOW效果其他工作原视频见油管https://www.you
2023-11-02 11:02:03
722
原创 05.大模型&大数据量
部分截图来自原课程视频《2023李宏毅最新生成式AI教程》，B站自行搜索开幕就是"A colossal language model, showcasing unimaginable power."并以此为语料从Midjourney生成一个AI插画，看了一下个玩意被羊毛党薅到已经收费了。AI表示巨大力量之类的图片总是会加上渺小的人类做比较。图中怪兽的左手手指那里貌似有点没生成好，另外牙的细节也不够逼真。通常我们认为大模型一般性能会比较好，在20年一篇OpenAI的文章。
2023-10-26 19:59:56
472
1
原创 03.生成式学习的策略与工具
文句最小单位是Token，在中文中指字，英文中指Word piece，例如单词unbelievable的token为：un believ able英文为什么不用单词作为token？因为通过之前的学习我们知道，AIGC在微观上来看是一个分类问题，因此我们需要为模型提供所有可能的分类，而英语单词理论上来讲是无穷多的（因为里面有各种专有名词、人名、地名等），只能用更小的Word piece来对英文进行分类。
2023-10-15 19:20:32
218
1
原创 02.机器学习原理（复习）
部分截图来自原课程视频《2023李宏毅最新生成式AI教程》，B站自行搜索这节课主要是复习，但是里面有些结论可以加深对ML和DL的理解。
2023-10-14 16:17:59
446
1
原创 08.SCA-CNN
本课程来自深度之眼《多模态》训练营，部分截图来自课程视频。用于密集字幕的全卷积定位网络作者：Long Chen等单位：浙大发表时间：2017 CVPRLatex 公式编辑器第一句提出你要研究什么？视觉注意已成功应用于结构预测任务，如视觉字幕和问题回答。当前的研究做法是什么？现存的注意力机制模型大体上是空间的，例如对最后一个特征图的每一个位置赋予一个权值。这种空间注意力机制并不能有效的符合注意力机制的初衷，即：一个动态的与上下文有关系的横跨时间的特征提取器。
2023-09-07 11:03:51
219
原创 07.Knowing When to Look
本课程来自深度之眼《多模态》训练营，部分截图来自课程视频。用于密集字幕的全卷积定位网络作者：Jiasen Lu等单位：弗吉尼亚理工大学发表时间：2016 CVPRLatex 公式编辑器铺垫现有的问题是什么？基于注意力的神经网络编码器-解码器框架已被广泛用于图像caption任务。大多数方法都强迫视觉注意力对每个生成的单词都处于激活状态。然而，解码器在预测 "the "和 "of "等非视觉单词时，可能几乎不需要来自图像的视觉信息。
2023-09-01 10:05:27
422
原创 06.DenseCap
本课程来自深度之眼《多模态》训练营，部分截图来自课程视频。用于密集字幕的全卷积定位网络作者：Justin Johnson+AK+李飞飞单位：斯坦福发表时间：2016 CVPR ORALLatex 公式编辑器我们介绍了密集caption任务，该任务要求计算机视觉系统既能定位图像中的突出区域，又能用自然语言对其进行描述。当描述由单个单词组成时，密集caption任务将物体检测任务和当一个预测区域覆盖整个图像时的图像字幕任务进行了概括。
2023-08-28 17:14:09
286
原创 05.Image Captioning with Semantic Attention
本课程来自深度之眼《多模态》训练营，部分截图来自课程视频。神经图像描述生成作者：Quanzeng You等单位：罗切斯特大学+Adobe研究中心发表时间：2016 CVPRLatex 公式编辑器第一句先讲Image Caption任务的难度与重要性第二句讲现有的方法，当时的image caption的模式有两种：top-down，将图片直接转化为词，优点是端到端，缺点是难以提取细节。
2023-08-26 14:01:56
223
原创 04.Show, Attend and Tell
本课程来自深度之眼《多模态》训练营，部分截图来自课程视频。神经图像描述生成作者：Kelvin Xu等单位：多伦多+蒙特利尔大学发表时间：2015 ICMLLatex 公式编辑器第一句，总体描述，黑体部分破题：基于注意力的模型我们。。。我们还。。。（这部分工作是重点）SOTA描述。
2023-08-19 14:20:47
367
原创 03.Show and Tell
本课程来自深度之眼《多模态》训练营，部分截图来自课程视频。神经图像描述生成作者：Oriol Vinyals等单位：谷歌发表时间：2015 CVPRLatex 公式编辑器开门见山：自动描述图像内容是连接计算机视觉和自然语言处理的人工智能中的一个基本问题。我们干了什么：在本文中，我们提出了一种基于深度循环架构的生成模型，它结合了计算机视觉和机器翻译的最新进展，可用于生成描述图像的自然语句。该模型被训练以最大化给定训练图像的目标描述句子的可能性。
2023-08-14 18:21:28
213
原创 02.Deep Visual-Semantic Alignments for Generating Image Descriptions
本课程来自深度之眼《多模态》训练营，部分截图来自课程视频。用于生成图像描述的深度视觉语义对齐作者：AK和李飞飞单位：斯坦福发表时间：2015 CVPR看过斯坦福cs231n课程的应该记得，有一次课外作业就是做这个。开门见山第一句点题，同时也指出本文的目标是that从句中描述的事：我们提出了一个生成图像及其区域的自然语言描述的模型。用几句话简单介绍模型：我们的方法利用图像数据集及其句子描述来了解语言和视觉数据之间的模态间对应关系。
2023-08-12 16:24:50
360
原创 01.CLIP
本课程来自深度之眼《多模态》训练营，部分截图来自课程视频。从自然语言监督中学习可转移的视觉模型作者：Alec Radford等单位：Open AI发表时间：2021 arxiv在构建计算机视觉模型时，只是为了某一个或某一组任务而构建数据集，往往需要大量的劳动力来进行数据标注，并且数据集的构建成本很高。而且，这些标准的计算机视觉模型擅长一类任务，甚至只擅长这一类任务。若是想要让模型适应新的任务需要花费大量的精力和成本。同时，一些训练时表现好的模型可能在测试中表现不佳。
2023-08-07 17:39:10
244
原创 番外02.GLM-130B
首发公众号：学姐带你学AI本课程来自深度之眼《大模型——前沿论文带读训练营》公开课，部分截图来自课程视频。Glm-130B：开放的双语预训练模型作者：Hugo Touvron等单位：清华大学发表时间：ICLR 2023项目地址：https://github.com/THUDM/GLM-130B这个模型有个轻量化版本GLM-6BGLM-130B是一个双语（英语和汉语）预训练的语言模型，具有1300亿个参数，使用了General Language Model (GLM)的算法。
2023-06-23 10:00:38
646
原创 番外03.SELF-INSTRUCT+Alpaca
首发公众号：学姐带你学AI本课程来自深度之眼《大模型——前沿论文带读训练营》公开课，部分截图来自课程视频。自指导：将语言模型与自生成的指令相结合作者：Yizhong Wang等单位：华盛顿大学发表时间：ACL 2023以上介绍的prompt称之为：指令。各种研究表明：对大模型进行指令微调，可使的模型对于新任务具有0-shot的卓越能力（摘要第一句）。但指令微调很大程度上依赖于人类（专家）编写的指令数据，这些些数据在数量、多样性和创造性方面都是有限的，阻碍了调整后的模型的通用性。
2023-06-21 08:57:00
773
原创 番外01.LLaMA
本课程来自深度之眼《大模型——前沿论文带读训练营》公开课，部分截图来自课程视频。向量空间中词表示的有效估计作者：Hugo Touvron等单位：Meta AI发表时间：2023 arxivChatGPT相关工具，不过貌似好多都很麻烦，要部署，直接能用的没看见。。。什么是LLaMA：1.参数量有四档：7/13/33/65亿，最低那档据说24g显存的显卡可以跑，7亿的LLaMA用了1万亿token进行训练，最大模型则用了1.4万亿。
2023-05-12 14:25:44
906
1
原创 06.物理数据模型
物理数据模型是以常用的DBMS（数据库管理系统）理论为基础，将CDM、LDM中所建立的现实世界模型生成相应的DBMS的SQL语言脚本。利用该SQL脚本在数据库中产生现实世界信息的存储结构（表、约束等），并保证数据在数据库中的完整性和一致性。...
2022-08-26 16:32:22
2516
原创 05.概念数据模型CDM
域（Domain）是某个或某丝属性的取值范围，定义域后可以被多个实体的属性共享使用域的定义在模型设计中具有重要意义，使得不同实体中的属性标准化更加容易。这里我们不需要在中间表存放额外的信息，因此可以直接设计多对多关系，如果我们需要存放额外信息就要将多对多关系拆分设计为两个一对多关系，例如：我们需要保存学生每门课程考试的分数，此时需要手动添加课程考核实体。这个查询是双向的，下面看单向的咋整。实体是现实世界中可区别于其他对象的“物体”，它可能是有形或无形的，具体或抽象的，有生命或无生命的。...
2022-08-25 20:23:08
3247
原创 04.PD与数据库关系模型简介
PowerDesigner是Sybase公司推出的一个集成了企业架构分析、UML（统一建模语言）和数据建模的工具。它不仅可以用于系统设计和开发的不同阶段（即业务分析、概念模型设计、逻辑模型设计、物理模型设计以及面向对象开发阶段）。
2022-08-25 10:19:47
609
原创 03.状态图、活动图、时序图、协作图、组件图、部署图
对象流是动作状态或者活动状态与对象之间的依赖关系，对象流表示动作使用对象或者动作对对象的影响，用活动图描述某个对象时，可以把涉及到的对象放置在活动图中，并用一个依赖将其连接到进行创建、修改和撤销的动作状态或者活动状态上，对象的这种使用方法就构成了对象流。转换：转换是状态间的关联。在活动图中，对于同一个触发，可根据不同的触发条件转移到不同的活动，每个可能的转移就是是一个分支。动作状态对象的动作状态是活动图的最小单位的构造块，是指执行原子的、不可中断的动作并在此动作完成后通过完成转换转向另一个状态的状态。
2022-08-24 21:35:42
5228
原创 02.UML类图
抽象类可以在类的属性General页面中勾选：抽象方法可以在类的属性Operation页面中勾选：抽象方法只有定义没有实现，必须在子类中实现抽象方法。抽象类也可以有非抽象方法。下图中，类名Indianelephant使用{abstract}{abstract}标识。这说明Indianelephant类是一个抽象类，其中migrate方法是Indianelephant抽象类的操作。
2022-08-22 15:36:17
810
原创 01.模型的概念、UML概述
模型是对实体的特征及变化规律的一种表示或抽象，即把对象实体通过适当的过滤，用适当的表现规则描绘出的简洁的模仿品。模型是实体的认知。例如：通过研究地产市场获得房价预测模型通过模型可以掌握实体的特征行为变化规律。例如：股票预测模型通过模型解决现实问题。例如：天气预测模型建模的意义与误区一个真实的系统可能比较庞大，也可能含有许多细节，常常超过人类智力可能认知的范围，所以人们必须从系统中抽离出重要的现象，让人们能够认识与理解系统的重要特性，包括系统各组件的静态与动态合作关系。......
2022-08-16 18:47:07
1093
原创 网络编程之多播
单播数据只能发送给单个目的主机，一个发送方、一个接收方，两个主机间的通信不影响其他主机。广播数据是通过广播地址将数据发送给局域网上的所有主机，广播一般只在单个局域网中传播。多播和广播一样也是将数据发送给多个主机，但仅将数据发送给属于相同多播组的主机，而且多播数据能通过路由器进行传播。.........
2022-07-29 21:34:51
1039
原创 套接字选项
SO_CONDITIONAL_ACCEPT用于设置服务器Socket是否自动Accept客户端的连接请求，默认是False，服务器会自动Accept客户端的连接请求（完成三次握手），设置为True后，需要应用程序调用WSAAccept（https//docs.microsoft.com/en-us/windows/win32/api/winsock2/nf-winsock2-wsaaccept）回调函数完成Accept客户端的连接请求。只支持TCP，通常用来判断等待时间过长的连接，并关闭之。........
2022-07-28 15:02:48
3168
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人