- 博客(54)
- 收藏
- 关注
RSS订阅原创 高级优化理论与方法（八）
这节课先介绍了一些全局搜索法。介绍了奈勒-米德单纯形算法，模拟退火算法，粒子群优化算法，遗传算法（这里讲的比较粗略，可以参考我的另一篇博客）。这些算法都属于启发式算法，算法的理论基础较为薄弱，所以在介绍算法之后没有做过多展开。到这周是第八周了，学期过半。前半学期都在介绍无限制条件的优化算法，后半学期要开始介绍带限制条件的优化算法了。这节课先从比较简单的线性优化开始，介绍单纯形法。这节课证明了任何线性优化问题都可以转化为规范形式，这方便了我们后面的求解。
2024-04-15 11:00:18
971
原创 高级优化理论与方法（七）
上节课介绍了解线性方程组的第一种情况，这节课介绍了第二种和第三种情况。为了使结论更具一般性，还引入了矩阵的伪逆概念。接下来开始介绍神经网络。对神经网络做了一些数学上的简化，为了便于理论研究。主要介绍了最简单的单层神经网络。还提及了多层神经网络的反向传播算法，但由于过于复杂，于是没有具体展开计算。
2024-04-08 11:13:53
960
原创 高级优化理论与方法（六）
本节课先就上节课没讲完的拟牛顿法接着讲，回顾了秩为1的修正方法。由于该方法存在一些问题，为了解决这些问题，又介绍了DFP算法。接着又简要介绍了收敛速度较快的BFGS算法。接着开始了一个新的主题——解线性方程组。由于问题的复杂性，我们讲问题分成两种情况来分类讨论。目前只讲了第一种情况。第一种情况本质上是一个数据拟合问题，根据数据，求得$min ||Ax-b||^2$。然后，介绍了直接的求解公式。最后，对于如何在充分利用已知数据的基础上，对新数据进行拟合，又提出了递归最小二乘法。
2024-04-01 11:12:56
760
原创 高级优化理论与方法（五）
这节课从上节课提到的共轭方向法讲起，又介绍了共轭梯度法。牛顿法存在一些缺陷，为了改进，提出了拟牛顿法。关于拟牛顿法中的$H$如何计算，又有一些不同的方法。这节课介绍了秩为1的修正方法，以及DFP算法。
2024-03-25 11:20:32
828
原创 高级优化理论与方法（四）
高级优化理论与方法（四）上节回顾Fixed StepsizeSteepest DecentGradient MethodAnalysisTheorem 3Order of convergenceExample 1Example 2Example 3Example 4TheoremTheoremNewton Method优缺点优点缺点Convergence OrderExampleTheoremTheoremModificationConjugate MethodLemmaConjugate Directio
2024-03-19 17:37:34
252
原创 高级优化理论与方法（三）
本节课介绍了梯度方法。先是推导出了固定步长的梯度法，然后在此基础上，考虑可变步长，于是推导出了最速下降法。并且给出了对于二次函数的最速下降法的具体做法和例子。最后做了一些理论性的分析，证明了梯度方法的收敛性。
2024-03-11 11:25:11
352
原创 RNN实现退位减法
最近深入学习了一下RNN，即循环神经网络。RNN是一类比较基础的神经网络，本文使用的是最基础、最简单的循环神经网络的形式。LSTM也是一种常见的循环神经网络，但本文为了降低理解难度，将不会涉及。本文先介绍了RNN，并指出了其相比普通神经网络的优势。然后给出了RNN的前向传播公式，并推导了反向传播算法。最后给出了用RNN实现退位减法的代码。RNN也是从普通神经网络迈向人工智能的一大步。通过RNN，我们可以让代码“理解”减法，或者至少看上去对减法有了深刻的理解。
2024-03-07 17:49:49
1023
原创 拜占庭将军问题与区块链
拜占庭帝国是历史上赫赫有名的一个帝国，也就是东罗马帝国。它的首都是君士坦丁堡。但是1453年君士坦丁堡沦陷了之后，这个帝国也就灭亡了。拜占庭将军问题并不是历史上真实存在的，而是一个虚拟的问题。它是在1982年的时候，由著名的计算机大神兰波特（图灵奖获得者）提出的。
2024-03-05 15:45:24
1156
原创 高级优化理论与方法（二）
本节课先回顾了FONC和SONC这两个找最值点的必要条件，然后给出了SOSC这个找最值点的充分条件。虽然看上去比较简单，但是关于无约束优化的定理目前也只发展到这种程度。目前数学界还没有找出一个充分必要条件。然后介绍了一维搜索方法中的迭代方法。重点介绍了黄金分割法，简略介绍了斐波那契法、二分法、牛顿法、割线法等方法。
2024-03-04 16:19:38
822
原创 高级优化理论与方法（一）
这是一个新的系列。我这个学期选了一门《高级优化理论与方法》的课，想着反正要做笔记，不如直接做电子笔记，于是就有了这个系列。由于这门课是一周上一次，所以我基本上会保持一周一更的速度。内容会从易到难。我们老师的讲稿都是英文的，板书也是英文的。简洁起见，我这里就保留英文板书的原汁原味。但是由于本人的英文水平有限，所以还是偶尔会在里面穿插一些中文。看到中文，大概率是我自己加的注释。由于是课堂笔记，所以里面的内容可能会有一些小错误，或者不那么严谨的地方，还请大家多多包容，批评指正。
2024-03-04 15:57:36
880
原创 神经网络中的损失函数（下）——分类任务
上文主要介绍了回归任务中常用的几个损失函数，本文则主要介绍分类任务中的损失函数。在实际应用中，交叉熵是使用最为广泛的损失函数。本文从最大似然和信息论两个角度推导出了交叉熵损失函数。同时又介绍了KL散度和余弦相似度损失函数。
2024-01-16 20:40:12
1257
1
原创 2024的新年祝福！
新的一年来啦！祝大家新年快乐！非常感谢一直以来支持我的朋友们，尤其感谢那些收藏我博客、给我点赞、给我评论的朋友们。我也一直坚持产出高质量的内容，尝试用一些便于理解的方式讲述那些艰深晦涩的知识。希望大家在新的一年里继续多多支持！2024是一个非常有趣的数字，在这里用数学的方式庆祝2024的到来！
2024-01-10 20:54:07
474
原创 神经网络中的损失函数（上）——回归任务
神经网络是深度学习的基础。在神经网络中，损失函数和优化函数是两个非常重要的概念，它们共同决定了模型的性能和训练效果。本文将介绍神经网络中比较常用的损失函数。
2024-01-10 20:09:05
1217
原创 算法设计与分析之计算复杂性理论
我们在研究一个问题之前，首先得搞明白这个问题能不能解，如果能解，这个问题究竟有多难。而我们衡量一个问题有多难，则主要看该问题是否能够在多项式时间内可解。P问题、NP问题等名词的提出就是为了区分一个问题到底有多难。本文简单介绍了P问题、NP问题、NPC问题。这些都是计算复杂性理论中的专有名词。希望能够对大家有帮助。
2024-01-07 23:49:31
876
原创 各种不定积分的技巧
前言积分对于理工科的人来说，可谓一种基本技能。在物理学上，积分是求解函数面积、体积、质心、转动惯量等物理量的基本工具。在数学上，积分概念的引入，催生了诸如微分方程、无穷级数、微分几何、复变函数等数学分支，丰富了数学的内涵，推动了数学的发展。在实际应用中，定积分可以计算具体的值，具有实际价值。而不定积分则可以用来寻找原函数，为求解定积分提供了便利。两者在物理学、工程学、经济学等领域中都有着广泛的应用。本文就来探讨一些计算不定积分的技巧。基础积分公式这里先给出一些比较基础的积分公式。有了这些积分公
2023-12-15 21:31:32
228
原创 大语言模型——BERT和GPT的那些事儿
自然语言处理是人工智能的一个分支。在自然语言处理领域，有两个相当著名的大语言模型——BERT和GPT。两个模型是同一年提出的，那一年BERT以不可抵挡之势，让整个人工智能届为之震动。据说当年BERT的影响力是GPT的十倍以上。而现在，由GPT-3.5模型产生的chatGPT，则以一己之力，让整个世界重新认识了人工智能。现在，用妇孺皆知来形容chatGPT一点也不为过。是什么让GPT在后来完成复仇，碾压BERT模型？这篇文章带你了解这两个模型的“恩恩怨怨”。
2023-11-23 23:20:03
1427
2
原创 大语言模型领域的重要术语解释
本人对人工智能非常感兴趣，目前是一名初学者，在研究大语言模型的一些内容。很多模型都是用英文提出的，其中也包括很多概念，有些概念的中文翻译和其想表达的意思不完全一样，所以在这里，想更加精准地帮助大家理解这些词汇。
2023-11-20 19:25:27
590
原创 三国杀中的概率学问题4——曹冲
前言这篇文章是围绕曹冲的称象技能展开的一些数学上的讨论，将涉及到积分、概率论等知识，并会做很多拓展。值得说明的是，本文受到了这篇文章的一些启发。连续情形1先来看一个连续情形的问题。问题一：假设每张牌的点数是0~1的随机数。我们重复翻开牌堆顶的牌，直到所有牌的点数和大于1为止。求翻开牌数的数学期望。我们用概率论的方式来理解这个问题。每张牌的点数可以看成一个随机变量，第iii张牌的点数表示的随机变量为ξi\xi_iξi。由题意得，ξi\xi_iξi服从标准均匀分布，即ξi\xi_iξi~U
2023-11-13 21:38:35
337
原创 三国杀中的概率学问题3——王荣
前言本文是三国杀中的概率学问题系列文章中的一篇，将详细讨论王荣吉占的期望摸牌数问题。并加上连续情形作为拓展。值得说明的是，本文的思路受到了一篇文章的启发，在此特别鸣谢，这是文章的链接。王荣吉占的期望摸牌数王荣的二技能吉占很有意思，展示牌堆顶的一张牌，然后猜测下一张牌比这张牌大还是比这张牌小，猜对了就继续猜，直到猜错为止，然后最终可以获得展示的所有牌。所以即便第一次就猜错，也能拿到2张牌（第一张展示的牌，和猜错的这张牌）。为了能够摸更多的牌，我们需要采取贪心的猜牌策略，保证自己这次猜对的概率最大。也
2023-11-13 21:36:31
583
原创 三国杀中的概率学问题2——神郭嘉
本文将慧识和不屈这两个相似的技能合在一起，构造了一个通用的函数，并给出了函数的表达式。由于表达式过于复杂，于是又给出了较为简单的函数的拟合形式，并且拟合的精度相当高。本文既计算出了原问题的精确解，又给出了一个解此类问题的新思路。
2023-11-01 16:43:21
480
原创 8类放球问题
虽然我们按一定的标准，划分出了8个问题，但其实这8个问题又有很多变种。比如，我们只关注了n≥mn\geq mn≥m的情况，我们得出的结论一部分对n≤mn\leq mn≤m适用，一部分却不适用了。掌握解决这一类问题的方法比记住结论更加重要。
2023-10-27 22:55:11
559
原创 数学建模之遗传算法
遗传算法是美国教授Holland于1975年提出的一种基于模仿生物遗传学的优化算法。这种算法很难得到问题的精确答案，但是能够在允许的时间复杂度内得到一个较优的答案。常用来解决一些目前不存在多项式算法的问题，如旅行商问题（TSP问题），背包问题。假设背包的容量为m，有n个物品，第i物品的重量为wiw[i]wi，价值为viv[i]vi，我们要从中选取一些物品放入背包，在不超过背包容量的前提下，使装入背包的物品总价值最高。
2023-09-25 21:43:57
1034
原创 用python实现扫雷游戏
扫雷》是一款大众类的益智小游戏，于1992年发行。游戏目标是在最短的时间内根据点击格子出现的数字找出所有非雷格子，同时避免踩雷，踩到一个雷即全盘皆输。其规则简单易上手。这个扫雷是一个比较粗糙的实现。在一般的扫雷中，还有一些其它功能，如右键标记雷；单击已点开的数字格子，周边的格子会闪一下，若其周边的雷都被正确标记，则会自动显示出其周边不是雷的区域。由于tkinter中的按钮无法区分左键点击和右键点击，故该功能暂时无法实现。该程序仅仅提供了一个制作游戏的思路，毕竟谁会真的拿我的代码来玩扫雷呢。
2023-07-04 09:42:06
730
2
原创 囚徒困境——从博弈论的角度解释“美女配丑男”
本文讨论的是一种比较理想的情况，现实中的情况更加复杂。只是为了分析美女配丑男背后的原理，所以采用了一些特别理想的假设。其实，在爱情中，不只有心理学，还有数学哦。
2023-05-16 20:50:37
1203
原创 圈小猫游戏
如图所示，在一个11*11的接近正方形的棋盘上，每个格子按照六边形规则排列（即每个内部的格子都与六个格子相邻）。最中间是小猫的初始位置，它想逃出棋盘。而我们不想让它逃出棋盘，所以要利用手中的棋子和初始障碍物（深色格子）围住它。执棋者先手，小猫后手。这个游戏可以一人扮演小猫，一人下棋，两个人玩。也可以电脑扮演小猫，跟电脑玩。y0 = 6;x = x0;y = y0;
2023-05-10 22:17:01
1272
原创 数据结构——堆和优先队列
堆是一个比较基础，且实现起来难度也不算太大的一个数据结构。而且堆在很多地方都有较好的应用。堆作为一种数据结构，底下有很多具体的分支，比如二项堆和斐波那契堆。现在我们介绍一种最最基础的堆——二叉堆。在许多地方，二叉堆又简称为堆。在本文中，如无特殊声明，堆默认指二叉堆。二叉堆是具有下列性质的完全二叉树：每个结点的值都小于或等于其左右孩子结点的值（称为小根堆）；或者每个结点的值都大于或等于其左右孩子的值（称为大根堆）。
2023-04-15 09:53:01
1112
原创 数学建模之评价类问题
我最近在做2021年国赛的C题，这道题是一道典型的评价类问题。本文将主要针对此题展开研究，介绍一下评价类问题常用的几种方法。
2022-10-27 16:53:24
1695
原创 圈小猫游戏与天使问题——容错值理论
前言最近我在玩一个很有意思的游戏，叫“圈小猫游戏”。我觉得这个问题和数学有很大的关系，可以通过数学的方法对这个游戏进行研究。这个游戏的网址是：https://www.6soluo.com/cat/。大家有兴趣也可以玩玩看。后来我发现，早在1982年，英国数学家约翰·何顿·康威提出了一个博弈论问题——天使问题，这个问题和圈小猫游戏有高度的相似性。我在研究这两个相似度极高的问题时，提出了一个理论——容错值理论。现在把这个理论介绍给大家。圈小猫游戏规则介绍在一个11*11的接近正方形的棋盘上，每个格子
2021-12-19 23:14:31
5688
1
原创 浅谈投票制度
浅谈投票制度前言投票制度的定义术语偏好概况决策方法合理投票制度应具有的性质选民中立性概念不满足此性质的决策方法举例候选人中立性概念不满足此性质的决策方法举例单调性概念不满足此性质的决策方法举例几乎具有决定性概念不满足此性质的决策方法举例多数投票制投票制度的分类及举例二元投票制排序投票制排序复选制波达计数法孔塞多制计分投票制阿罗不可能定理各个国家使用的投票制度前言投票制度是个很有意思的问题。投票制度的定义投票制度是根据投票人的选择以选出结果的方法。本文仅探讨当获胜者为1人时的情况。术语偏好概况偏
2021-11-07 18:09:02
3023
1
原创 NOIP2018——美好的两天
昨天和今天两天是NOIP2018的比赛，我们是去学军紫金港校区参加的。两天，每天都起得很早，还好有咖啡让我保持清醒。清晨的阳光是通红的，很大，还不是很亮，一半隐没在云层中，很美，唤醒我美好的一天。心情略微紧张，心态趋于平稳。一切像计划中的样子，很顺利。来得早了，就在报告厅等，还能遇到杭二中的大佬，和他们谈笑风生，说着那些我都没听过的算法。还给我介绍，这一位有多强，那一位又有多强，只有我一个蒟蒻...
2018-11-11 16:03:32
806
原创 （化学）醋酸的稀释与氢离子的浓度关系的证明
前言最近觉得我的博客不应该只写关于信息竞赛的东西，这样显得太单调。就让我写一写其它学科的东西吧。醋酸的稀释与氢离子浓度的关系化学老师说，醋酸越稀越电离，那么会不会有人问醋酸越稀，电离出的氢离子就越多，那么浓度也越大呢。可但是水也增多了，氢离子浓度又会怎么变化呢？老师上课时只给出了结论（越稀释，氢离子浓度越小），而我却想要证明一下它。先把化学方程式写出来：HAc⇌H++Ac−HAc⇌H^++...
2018-10-21 21:44:14
2743
原创 浅谈扩展中国剩余定理
洛谷p4777前言在洛谷上，这是一个连模板都是省选/NOI-的题目，我也钻研了好几天，也许还没有达到通透的境界，但我还是想写一些我在学习过程中的一些感想。用途这个定理，其实不能说是一个定理，我觉得更像一个算法。给出如下同余方程组，让你求方程的最小正数解：x≡b1x≡b_1x≡b1(mod a1)a_1)a1)x≡b2x≡b_2x≡b2(mod a2)a_2)a2)……x≡...
2018-10-17 11:33:30
538
1
原创 浅谈概率论——三门问题和酒鬼问题的矛盾与联系
前言关于三门问题和酒鬼问题的矛盾与联系，其实是一个很强的同学问我，我才开始思考这个问题。我与机房里的大佬们轮番舌战，最后才发现了问题的最终解释。三门问题三门问题，也叫蒙提霍尔问题，是一个经典的概率学问题。原题如下：有三扇门，两扇门后面是羊，一扇门后面是车。你随机选择了一扇门，然后主持人在剩下的两扇门中打开了一扇门，后面是羊。然后问你的这扇门后面是车的概率是多少。正确解法先验概率是不会受后...
2018-10-17 09:01:17
4480
1
原创 简化版本的master定理
前言今天看洛谷日报的时候，看到一个很有意思的东西，叫master定理，是关于计算时间复杂度的（主要针对初赛的选择题）。 这是今天洛谷日报的链接：https://www.luogu.org/blog/Chanis/master时间复杂度master定理又叫主定理。 我们用T(n)表示时间复杂度。时间复杂度在计算的时候、只需要管复杂度最高的一部分，且忽略系数。比如若实际复杂度为3n2+...
2018-10-15 18:30:57
1291
原创 NOIP2018初赛反思
前言今年的初赛不像去年的初赛一样，来的时候就像一场毫无征兆的暴雨。我们学校就是从去年才开始有信息学竞赛这种东西的。去年的时候根本就没怎么训练过，完全失去当分母的。今年的我经过了刷题的洗礼，已不是去年的我了。初赛分析这一次，选择题的分值变成了2分一道。单选考了几道概率题，还有点难度。多选一如既往的难。问题求解的难度稍微降低了一点。看程序写结果比较良心，第四题考了个康托展开，还好我以前遇到过。程...
2018-10-15 15:14:02
543
原创 浅谈数组排序的交换次数
前言最近在做初赛题，遇到了一些关于数组排序，问交换次数的题目。刚开始感觉这种题目好难，在网上也很难查到相关的证明，于是自己思考了一下，也问了老师，想记录下我的成果。 我目前做到的题目大致可以分为两类，一类是不知道数组的具体元素求最多交换次数，一类是知道具体元素求最少交换次数。不知道数组的具体元素求最多交换次数以一道初赛真题引入。 将5个数的序列排序，不论原先的顺序如何，最少都可以通...
2018-09-16 10:42:06
3887
原创 浅谈特征方程及相关证明
前言特征方程应该是大学里的内容，但最近做题的时候遇到了，就想把我的一点心得和大家分享一下。 但由于鄙人水平有限，故以下只讨论二阶常系数线性齐次递推式。问题已知f(n)=c1∗f(n−1)+c2∗f(n−2)f(n)=c1∗f(n−1)+c2∗f(n−2)f(n)=c1*f(n-1)+c2*f(n-2)（c1,c2c1,c2c1,c2是常数），已知f(0)f(0)f(0)和f(1)f(...
2018-09-10 22:07:06
5611
13
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人