- 博客(173)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 毕设学习：联邦学习梯度聚合加密算法
为了避免原本的算法的一些问题，本文提出了加密-解密结构，并证明了这种结构带来的误差是可量化的，且en-decoder可以线下训练出来。大致思路：各个客户端上传梯度时进行加密，服务端直接用有扰乱的梯度当成真梯度来计算，这样一来谁也不知道谁是真梯度。这样可以保证梯度被转化到一个固定的范围内，方便后面的encoder,decoder操作。这个就是encoder,decoder的目标了，（他们两个都是可以学习的模型）通过公式，我确定了加密梯度和加密模型本身是一样的。
2024-04-17 18:06:04
127
原创 Bilp（Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Gene）学习
而VLMO是图像和文本共享同一个自注意力模型，只有最后的头分成了三个，分别是文字，图像，文字+图像的处理专家。最后的这三个FFN层的参数是不一样的（各自用不同的任务去学习），但之前的自注意力模型都是一样的。blip结合了albef和VLMO的特点，它的图像和文本模型是分开的，文本更是有三个子模型，但是参数都是共享的（图中用同样颜色标记的部分），每个模型都是用于不同的任务（不同任务用一个模型里不同的部分，是VLMO的做法）blip是之前albef的原班人马，也有针对网络数据太嘈杂的问题的对策。
2024-04-16 15:49:29
170
原创 OSWORLD: Benchmarking Multimodal Agents forOpen-Ended Tasks in Real Computer Environments论文学习
OSWORLD是第一个可扩展的、用于多模式代理的真实计算机环境，支持任务设置、基于执行的评估和跨操作系统的交互式学习。完成环境之后就开始与环境交互（接受诸如截图之类的信息），然后就开始根据指令工作，最后是评估。但现有的batchmark(基准)不是真的在一个可执行环境下，这会导致只有一个正确解，其余的可以方案也会被惩罚。一边接受图像（vit式）一边是要求。以前的工作成功率不超过15%，甚至会0%，尤其在有多个app参与的时候。之前的agent都是在简化过的范围内一些特定的应用上工作，非常受限。
2024-04-13 16:09:13
123
原创 albef论文学习
有些模型会把最后得到的tokens做一个平均作为输入给最后的全连接层的值（用这个平均作为这个图片上提炼出来的信息），有些模型会在后面加上一个cls 作为 token(bert饼干)，最后拿这个cls对应的值作为图像的信息。这一步不给他上强度的话会很简单，所以会从一开始搞正负样本的地方找出一个与正样本相似度最高的样本作为负样本给它判断，强化其能力。左边那一部分其实和vit一毛一样，（可能是图像进入transformer模型的通用方法）提出来的黄色方块就是上文提到的cls对应的token，是图像信息的精华。
2024-04-11 21:18:44
436
原创 COT（思维链）指令微调，幻觉解释
cot(ai鼓励师？)给ai“let think step by step”之后表现变好了。用短句子提示推理步骤。
2024-04-11 21:12:29
71
原创 bert论文学习
位置嵌入是可学习的。因此第几个句子，第几个位置这些的嵌入都是可能变化，需要学习的。bert用这种方法把前后文有关的单词联系起来。通过这两个训练之后，bert就可以理解单词和句子了。要利用它做其他的工作，只需要复制该模型然后在自己需要的任务上微调就可以了。bert相当于只有transformer的encoder部分。它的主要工作是“完形填空”和“判断句子是否相连”。接下来是预训练：掩蔽语言模型和下一句预测。bert的工作是推测出那些词是隐蔽词元。这一步是一个二分类，判断是不是连在一起。
2024-04-11 16:59:32
271
原创 git 学习 2
不同的分支，被激活的时候叫checkout。在vscode上生成新分支会默认checkout新分支。可以在终端用 git checkout main回到主分支，用git switch命令更好。你在main上提交了修改，切回dev分支的时候工作区也会变成dev的尚未修改的部分。这个dev就是要被合并的分支，当前checkouted的分支就是目标分支。在vscode上使用git，下载git-graph。可以用 git merge --abort取消合并。合并冲突的时候要自己手动修改冲突的文件。
2024-04-11 11:05:18
390
原创 git学习 1
在本地的.ssh文件夹下生成一个密钥（存在一个自己取好名字了的文件里），再把这个密钥输入到github自己的setting那边去，这样对面的仓库就知道这是你了。.gitignore是忽略文件，通过修改其内容（如echo xxx.log > .gitignore）可以记录那些文件是要被忽略的，不用放入暂存区，仓库。git可以分成三个区域，分别是.git所在目录（工作区，我们建立的文件夹）暂存区（.git/index记录即将提交的修改）本地仓库（.git/objects，记录各个版本数据）
2024-04-10 21:26:34
676
原创 linux 学习
cp 就是 copy ， cp file1 file2就会把file1复制一份成file2,cp file1 folder\就是把文件复制到文件夹folder里。chmod u+r t1.py chmod代表改权限，u 是本人（user），r是阅读权，最后是具体那个文件。cp -R folder\ folder2\把文件夹里的东西全部复制到另一个文件夹里。cp 1 2 3\会默认1,2是要复制的文件，3\是地方。cat t.py > t1.py把t.py内容放进去。rwx分别代表读，写，执行。
2024-04-10 16:30:27
534
原创 机器学习 基础 笔记2
右边一开始要输入所有的汉字，先和已经输出的汉字比较（与其相关的权重高），在与左边输入的英文做相似度比较（也是注意力机制）（一开始可能没有学会不过我们有标准答案），计算各个词的概率选出最大的那个。这相当于在说：我要比较每一个向量（可能代表了某一个单词）和其他向量的相似度（和自己或者重复的向量相似度自然高），最后的结果就是一个加权和（自己和与自己类似的向量乘上相似度的和）显然要是有一个向量重复的多或者与它类似的多的话，他最后的结果就大，更重要，而且也体现了有哪些词和他有关。最后它的工作流程是什么样的呢？
2024-04-10 15:04:52
488
原创 机器学习 基础 笔记 1
现在判别器水平提高了，生成器生成的数据很难再骗过判别器了，所以我们得反过来优化生成器，之后生成器水平提高了，然后反过来继续训练判别器，判别器水平又提高了，再反过来训练生成器，就这样循环往复，直到达到纳什均衡。可以看到，在训练（更新）D的时候要练到底，保证找到最大的divergence(差别)，确认了这个G最大有多大的问题后，再更新G,这个G就不能更新太多次了，因为G变化太大可能导致D难以辨别，对应的原来那个点可能就不是divergence最大的那个点了。这是判别网络的损失函数，0代表假。
2024-04-09 21:02:46
287
原创 Clip论文学习
测试时，将标签句子化，再将其放入encoder中操作。最后找出特征最相似的。学习时，图片与文本对应（句子），共有n个句子与n个文本，进行对比学习。特点：泛化能力强，zeroshot也很好。
2024-04-09 00:45:22
166
原创 考研复试 数据库 1
数据库管理系统要有什么功能呢？常见的dbms：oracle,mysql等。dbms为了管理db,运行着哪些程序？一条数据库语句相当于很多条高级语言。这三种语言就叫做sql语言。
2024-01-21 19:53:38
408
原创 计算机网络 CRC
就是让原数据和一个约定好的数据依次做异或，做到最后的结果放到数据后面发过去。接收方对收到的数据做一样的事情，因为末尾加上了一直异或得到的结果，讲道理应该是0，不是那就出错了。像这样中途出现了0，且后面全都是0的显然是传输无误的，毕竟就算真的算下去最后也会变成0。（以G为1001为例）
2023-04-10 02:11:43
257
1
原创 （学校）计算机网络 1.计算机网络概述
协议规定了：消息的格式，意义，顺序和采取的动作。定义：计算机网络就是互连的、自治的计算机集合。就是格式，意义，顺序。记成：语法，语义，时序。计算机网络是计算机技术和通信技术的结合。internet的组成结构是什么。protocol协议，考研必备词（计算机网络就是一种通信网络。接入网络：边缘和核心的接口。就是通信所遵守的规则。核心网络就是通信那一段。
2023-04-09 22:38:17
191
原创 数据库 1.关系
我们要看到r的属性(A1A2`````B1B2)和s的属性(B1B2`````)，知道了结果应该是(A1A2````)的样子，现在我们要去除两个部分：一部分是B1B2`````，一部分是多余的元组。假如选出的元组中有不满住这个条件的，那他与除数做笛卡尔积就会出现“扛不住的”“除数”这样的组合，这种组合不会出现在被除数里，这就违反了除法的定义了。的操作，取出需要的属性，这下剩下的刚好就是我们不想要的元组，还是正确属性款式的，直接。地下是等号的是等值连接，就和笛卡尔积之后筛选某某值一样的操作一样，只是更快。
2022-11-28 01:00:16
506
原创 编译原理5 自底向上语法分析
那么既然我的这个新的项目是由这个旧项目推出来的，我肯定要配合这个旧项目，那么接下来的就是beita 和a(beita1可能是空串所以考虑一下a).然后的思路就都是一样的。正常情况下状态栈和符号栈是平的。规约的时候，符号栈把需要规约的符号都弹出去，把与之对应的状态也都弹出去，符号栈再压入对应的非终结符号。实践的时候，其实就是把那些非终结符的OP集算出来，然后看那些产生式，看那些和这个非终结符相邻的终结符，就可以愉快的写出比较了。之前的a只要是个东西都可以得出规约的结论，现在a需要是A的follow集。
2022-11-10 01:50:42
406
原创 汇编接口 2.80X86寻址方式
注意：所有地址的算法都是段地址*10H再加上偏移地址。理论上我们的地址线总共有20根，寄存器16根和4根段地址线就可以处理所有情况，但是我们实际上两种寄存器都有16位，因此我们实际上是把内存分成了64K份同时偏移地址最大可以是64K，同一个地址可以有多种写法。地址的计算是先算完了BX,SI这样的普通寄存器，再算DS的。就是给AX赋值2056H，这个2056H是从内存的指令段拿出来的，然后赋值。段内直接转移地址是给IP加上了一个数字，产生新的IP。之前是数据的地址，现在讲讲指令。(IP)代表新的指令地址。
2022-11-09 04:21:16
246
原创 汇编接口 1.中央处理器和存储器
我们的寄存器就只有16位，所以要把1MB的大小分成16个部分，每个部分64KB，这样只要16位就可以对一个段内进行检索了。sp是顶端的位置，bp是内部某一个单元相较于顶端的位置。通用寄存器就是我们常用的那32个寄存器。代码，数据，堆栈放在不同的段中。
2022-11-08 10:10:42
106
原创 操作系统3. OS调度
有新的工作开始了，那就增加他的步长（你概率越大增加的越多），我运行步长小的。B平时都在使用IO，要用cpu的时候就尽量满足它。周转时间就是从时间轴一看是开始算到结束。抢占式，可以把正在进行的工作直接打断。上面是不考虑IO操作的，现在考虑呢？响应时间就是任务到达系统到首次运行。谁运气好这把归谁，但有些人运气更好。一种量化不公平程度的方法。
2022-10-23 14:41:17
183
原创 操作系统 2-2 进程之线程
这个是使用了多线程的方法。thread[]就是线程数组，task这个函数就是线程的内容,t就是函数的参数。所有线程收到的变量都是一样的，愚不可及。同一个进程的线程有很多东西是共有的。也可以通过全局变量来传递参数。这里是没有使用多线程的方法。
2022-10-23 02:57:08
111
原创 操作系统 2.进程，线程之进程
cpu平时只做一件事，那就是不断地取下一条指令，但是我们在工作中可以进行更加复杂的逻辑，这就需要控制流。PCB有点像java里面建立一个对象的时候会建立一个叫做“class”的类一样，是进程的信息提取处。就绪和运行是进程的常规状态，正在运行的就是运行态，可以运行但是没轮到的就是就绪态，自己有事情要等，比如说要等IO的就是阻塞态。中断是由外部的事件产生的，比如说时钟和I/O中断。在异常当中，中断和陷阱是很正常的，故障和终止是不正常的。设备队列是“等待IO设备的进程的队列”，也就是阻塞队列。
2022-10-09 20:18:59
215
原创 模式识别 5.聚类 2
就是说，一开始先选择几个初始聚类均值，然后拿样本一个一个比较，哪个聚类离自己近就选哪个，选完一轮后更新新均值，然后继续。一个是聚类与聚类的距离。
2022-09-29 03:33:44
81
原创 模式识别 4.无监督学习与聚类
mj是第j类样本的中心,nj是第j类样本的总数,Cj代表第j类样本，m代表所有样本的中心。tr就是矩阵的意思 \。我们这节课讲无监督的。
2022-09-29 03:05:04
386
原创 模式识别 2. 距离分类器
之前选择的模板要取决于输入的样本，样本不同模板就不同。这样子做就可以固定样本。arg就是反三角的那个符号，很好理解。最近邻就是选择离样本x最近的那个样本。距离一定是要欧式几何距离吗？求出均值和方差就可以进行高斯缩放了。权重貌似都是真实权重的平方？解析几何里面cos的求法。Xk和u都是d维向量。
2022-09-28 23:19:14
151
原创 数理逻辑 4 命题公式的范式
析取式强调的是里面的式子是析取，也就是并。合取式强调的是里面的式子是合取，也就是或。对于一个主析取式，只要让其中的一个子式为真，就可以让总体为真。对于一个主合取范式，只要让其中的一个子式为假，总体就为假。析就是并，合就是或，合取就是里合外析，析取就是里析外合。那要怎样把普通的式子转化为合取或者析取式呢？极大项就是和，极小项就是并。弄假就是使得公式为假的赋值。
2022-09-06 14:11:58
940
原创 编译原理 1.引言
既然C语言可以通过A机器语言变成B机器语言，同时我们有可以通过C语言把C语言变成B机器语言，我们就可以通过之前的那个小机器先把作为实现语言的C语言通过A机器变成B机器语言，我们就可以通过B机器语言把C语言变成B机器语言了。解释一下：这个意思就是，我可以用汇编语言把一个C子集变成机器语言，而汇编语言是可以用机器语言变成机器语言的，那就相当于可以用机器语言把C子集变成机器语言了。同时我也可以用C子集把C语言变成机器语言，这样一来我们就可以用机器语言把C语言变成机器语言了。用实现语言把源语言变成目标语言。
2022-09-06 14:11:05
210
原创 模式识别 1.距离分类器
就是看横纵坐标中差距大的那个，就是切比雪夫距离。在无穷次方的情况下只要有一个维度的值比别人大，那么这点差距就是无穷放大，结果只剩下最大的哪一个。wi代表类别，ui代表这个类别的模板。s(x,ui)就是x与ui的相似度。以上就是单模板匹配学习，每个样本就是用模板的“均值”来代表的。看起来像鸭子，叫起来像鸭子，游起来像鸭子，那就是一个鸭子。假如不用欧氏几何距离，还有什么计算距离的方法？没什么区别，就是把距离转化为了界面。各种范数，用图来显示怎么说？挑最近的那个，所以叫最近邻。这就是计算总距离最小的那个点。
2022-09-05 10:25:54
474
原创 数理逻辑 1：
啥是数理逻辑？：推理：命题：一个能够判断真假的语句逻辑连接词：连接词符号表示：->意味着后面那个是前面那个的子集，所以叫蕴含。真值函数：其实就是输入了几个参数，得到一个参数。...
2022-05-09 11:47:58
232
原创 数理逻辑 3 逻辑蕴含和逻辑等价
啥叫逻辑蕴含：P,Q,R都要是1，这相当于限制了v的赋值，而A就是要在这种限制的赋值下保证为1.A是永真式的话当然就不怕限制了，直接就蕴含。可以直接理解为：在前面的一集合的命题公式都为真的情况下，下面的这个命题公式为真否。逻辑等价：这个···和<->有什么区别吗？果然，没有了集合的性质就是->嘛。常用的逻辑等价式：注意：结合律都是用的一样的符号哦。带入定理：...
2022-05-09 11:47:33
1194
原创 数理逻辑 2
Atom(Lp)就是p,q那些命题变元，pv就是该命题的真假几个命题公式组合起来也是命题公式，各种命题公式的集合就是Form(Lp)弄真弄假：就是给命题公式（p,q那些）赋值
2022-05-09 11:01:15
326
1
原创 形式语言与自动机 图灵机
图灵机定义：形式化定义：转移函数显然要有下个状态，改写内容和向左向右。一个经典的例子：思路有了，怎么做呢？：类似例子：图灵机的表示能力：举个例子：那个m和n的意思是连接，有m和n个0的意思。（1）那个地方应该是m-n+1个零。扩展图灵机：非确定图灵机：受限图灵机：...
2022-04-18 00:06:06
504
原创 形式语言与自动机 下推自动机
下推自动机是啥？：下面是他的模型：如何运转？：下面是标准定义，属实有点复杂：注意状态转移函数成分极其复杂，要考虑现有状态，要考虑输入符号，还要考虑栈。一些约定：大写的是栈里的，小写的是输入带上的。例子：例子：这里有一个问题：输入0001111怎么办？：确实进入q2了，毕竟只要栈空了就会进去，但是还要输入一个1，当前处于的状态q1,q2都没有定义在栈空了的情况输入1会发生什么，直接进...
2022-04-12 02:29:32
1505
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人