- 博客(39)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 阅读笔记 | FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting
FEDformer与Autoformer的结构整体上是高度近似的，都采用了Encoder-Decoder结构，并同样对时序数据分解了季节性和趋势两部分并进行建模。此外，原来Autoformer的趋势提取用了固定窗口大小的平均池化，而FEDformer则提出MOEDecomp，用一组不同窗口大小的filters进行池化，再加权对提取的趋势进行混合。在传统的时序预测中，常常需要对输入模型的变量进行自相关和互相关分析，并手工根据分析结果选择变量并一次性地构建输入模型的数据，以抑止多重共线性的负面影响。
2024-03-27 20:55:01
725
原创 阅读笔记 | Autoformer: Decomposition transformers with auto-correlation for long-term series forecasting
针对复杂时序模式的捕捉，文章提到了时序分析中常用的时序分解思想，即，将单一的时序分解为多个更易于预测的子序列，然后再做注意力。为了发挥注意力机制的长序依赖建模能力，文章强调并解决了长期时序预测中，复杂时序模式难捕捉和注意力机制计算量大的问题。消融实验表明本文方法的自相关机制可以正确发现每个周期的下降过程，并展现出明显的时间效率和内存占用上的提升。对于自注意力机制的计算复杂度问题，文章基于随机过程理论，用基于快速傅里叶变换的自相关性机制替代使用矩阵运算的自注意力机制，实现了。步对齐后的结果相乘再进行求和。
2024-03-27 20:53:01
808
原创 阅读笔记 | Temporal fusion transformers for interpretable multi-horizon time series forecasting
在论文1中，时序预测被限定在了multi-horizon forecasting的背景下，通过Fig. 1可以很好理解这点，我认为通俗来说所谓multi-horizon，主要是指模型看到的输入数据的种类和范围扩展了，并且支持动态步数的多步预测。变量的两方面扩展带并不会直接带来模型精度提升，不当地处理甚至可能导致模型训练推理速度和精度的下降。传统多变量预测中常常需要实施特征工程，对变量进行自动或手工的选择和处理，但都没有认真思考如何充分利用各种异质输入数据。因此这篇文章的主要问题就是如何可解释地高效利用这些异
2024-03-04 14:37:56
944
原创 阅读笔记 | Informer: Beyond efficient transformer for long sequence time-series forecasting
与Autoformer和FEDformer等相似，Informer算是较早的一篇致力于将Transformer应用于长期时序预测的论文。本文同样着眼于解决原始Transformer的计算和存储复杂度问题，不同的是还注意到了原始Encoder-Decoder结构中，Decoder结构导致的step-by-step的生成方式带来的低效问题。文章发现并非所有时点的数据都与其他时点有很强的相关性，因此希望利用这种性质减少注意力计算。本文模型依旧是Encoder-Decoder结构，其中Encoder同样是多层结构，
2024-03-04 14:32:20
896
原创 阅读笔记 | REFORMER: THE EFFICIENT TRANSFORMER
这篇论文发表较早，主要关注Transformer的效率问题。标准的Transformer模型在许多自然语言处理任务上取得了最先进的结果，但它在长序列上的训练和推理代价非常大。主要的计算和内存瓶颈在于自注意力机制中的点积注意力，其复杂度为O(L2)\Omicron(L^2)O(L2)，其中LLL是序列长度。随着LLL的增大，计算和内存需求急剧增加。因此，Transformer难以扩展到处理长序列的任务。在拼写重复、机器翻译以及图像生成等多个任务上验证了Reformer的有效性。结果表明，Reformer模型比
2024-03-03 14:58:57
894
原创 阅读笔记 | Transformers in Time Series: A Survey
这篇综述主要对基于Transformer的时序建模方法进行介绍。论文首先简单介绍了Transformer的基本原理，包括位置编码、多头注意力机制、前馈全连接网络等模块。接着提出了从网络结构和应用领域两个角度对时序Transformer进行分类。从网络结构角度，总结了在模块级别和架构级别对Transformer进行的改进，以适应时序建模的特点从应用角度，概述了Transformer在预测、异常检测和分类任务中的不同变体的应用情况。预测时序预测模块级的变体。
2024-03-03 14:53:08
1164
原创 Linux | Ubuntu通过USB访问Redmi K40存储出现xxx was not providedby any .service files错误
Ubuntu连K40手机访问手机存储出现Unhandled error message: The name:1.153 was not provided by any .service files错误，通过Ubuntu终端输入nautilus -q命令可完美解决
2024-02-18 15:14:50
503
原创 强化学习在生成式预训练语言模型中的研究现状简单调研
本文深入研究了强化学习在生成式预训练语言模型中的应用，包括对齐优化、提示词优化和经验记忆增强提示词等。研究通过综述现有方法，特别关注基于人类反馈的微调和推理时附加对齐方法。此外，探讨了通过强化学习进行提示词优化的方法，包括离散提示词的强化学习和经验记忆的增强。研究的目的在于揭示强化学习如何优化生成式预训练语言模型，提高其性能和适应特定任务的能力。
2024-01-09 22:58:08
1094
原创 强化学习Double DQN方法玩雅达利Breakout游戏完整实现代码与评估pytorch
基于Pytorch实现Double DQN方法在雅达利Breakout游戏上，设置不同超参数进行训练，并简单分析结果。后附完整代码。
2024-01-09 22:26:11
1597
4
原创 论文复现 | Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy
日志级记录复现Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy
2023-12-23 22:30:33
1320
原创 讲座思考 | 周志华教授：新型机器学习神经元模型的探索
12月22日，有幸听了南京大学周志华教授题为“新型机器学习神经元模型的探索”的讲座。现场热闹非凡，大家像追星一样拿着“西瓜书”找周教授签名。周教授讲得依旧循循善诱，由浅入深，听得我很入迷，故作此记。
2023-12-23 22:09:27
1690
1
原创 讲座 | 颠覆传统摄像方式乃至计算机视觉的“脉冲视觉”
传统相机拍摄视频时其实是以一定帧率进行采样，视频其实还是一串图片的集合，因此低帧率时会觉得视频卡，拍摄高速运动物体时会有运动模糊等等问题。然而你能想象这一切都可以被“脉冲视觉”这一前沿技术改变吗？
2023-12-09 22:14:01
723
原创 阅读笔记 | Mistify: Automating DNN Model Porting for On-Device Inference at the Edge
The paper designs an intermediate middleware Mistify that decouples traditional DNN model design and deployment, and automates porting DNNs from cloud to edge.
2023-11-30 10:43:48
1018
原创 阅读笔记 | Edge-Cloud Polarization and Collaboration: A Comprehensive Survey for AI
这篇是一篇综述性文章，主要关于云计算、边缘计算以及边云协同计算在人工智能方面的进展。
2023-11-30 10:36:51
544
原创 阅读笔记｜A Survey of Large Language Models
为了让人们对 LLMs 有一个基本的了解，本调查从四个主要方面对 LLMs 的最新进展进行了文献综述，包括预训练（如何预训练一个有能力的 LLMs）、适配（如何有效地适配预训练的 LLMs 以更好地使用）、利用（如何使用 LLMs 解决各种下游任务）和能力评估（如何评估 LLMs 的能力和现有的实证研究成果）。我们对文献进行了全面梳理，总结了 LLM 的主要发现、技术和方法。
2023-11-30 10:31:58
1034
原创 阅读笔记 | Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy
在无监督时间序列异常检测中，异常点的关联主要集中在它们相邻的时间点上，而不是整个时间序列。这种关联的局部集中性提供了一种天然的区分正常和异常时间点的标准。
2023-11-30 10:01:04
931
原创 阅读笔记 | Privacy vs. Efficiency: Achieving Both Through Adaptive Hierarchical Federated Learning
The paper strictly formulates the problem at first, and designs a cloud-edge-end hierarchical FL system with adaptive control algorithm embedding a two-level Differential Protection method to relieve both the resource and privacy concerns
2023-11-28 10:05:36
1040
原创 2023深大计算机考研复试保姆级经验贴(无透题，吃住行体检一应俱全)
其他计算机专业的基本只有面试时间不太一样[ ] 网上报道[ ] 3.30～3.31 深大现场报道[ ] 3.31上午 机试模拟[ ] 3.31晚上 机试正式考试(三小时)[ ] 4.1下午 英语与综合面试[ ] 4.1 面试完当天出成绩和录取结果!(我是晚上偶然查到的)以上时间仅供参考，看通知仔细看通知!千万别搞错了!最新复试详细通知一般在计软的官网这里：https://csse.szu.edu.cn/pages/recruitment/master。
2023-04-04 03:07:48
4193
23
原创 iOS设备自动登录汕大校园网认证 一次设置永久免登录
如何在苹果设备（Mac、iPad、iPhone）上使用捷径（Shortcuts）来使设备每次连接汕头大学校园网WiFi后自动使用校园网账号登录，以及一键查询流量情况。当然，你也可以创建快捷方式在桌面以便掉线时一键重连，无须再前往浏览器输入账号密码登录。
2023-03-15 22:37:56
1629
原创 手写数字识别画板前后端实现 | Flask+深度神经网络
介绍利用Python的Flask框架为深度学习模型搭建后端接口，实现手写数字图片识别接口，并利用已有Web前端画板程序进行改造并接入识别接口，打造具备手写数字识别的在线画板。可在此基础上扩展汉字识别。
2023-03-13 10:33:47
1134
原创 Typecho | 博客结构与插件开发笔记：插件行为触发器拦截
概要最近在学习Typecho插件开发，对于图床类插件有了基本的了解。本文将介绍今天通过对原生上传组件Widget_Upload学习到的，关于Typecho博客中附件的上传、修改、删除、查询和获取的基本过程。上传组件仍然是在Typecho 1.1中，作者对于附件的各种管理定义了一个Widget_Upload类，位于var/Widget/Upload.php。其中最为主要的类函数方法如下表所示。函数名权限作用uploadHandlepublic上传附件时会调用该方法进行处理，返
2023-03-05 12:49:22
173
原创 Typecho | 博客结构与插件开发笔记：附件及扩展方法
概要最近在学习Typecho插件开发，对于Typecho博客的数据表结构和一些基础插件方法有了一定了解，这篇笔记主要记录Typecho的七大数据表之一contents表及其用于存放attachment类的数据时的一些使用心得。数据表与插件本文所提到的博客程序及其版本为Typecho 1.1 (17.10.30)，其数据表结构在官网有较为详细的介绍，包括表的数据字典：https://docs.typecho.org/database，故在此不做赘述。但其中关于表中各属性的取值似乎并没有做举例或说明，下面
2023-03-05 12:32:33
203
原创 人类的思想和能力正受到AI的挑战
ChatGPT和New Bing所代表的大规模预训练语言模型的大规模测试，为我们的生活似乎就要造成天翻地覆的变革。文章将从我的视角去探讨其对于人类思想和能力的挑战。
2023-02-26 23:04:16
159
原创 计网 | Wireshark抓包和分析腾讯视频点播详细过程
这次抓包实践的目的是搞清楚腾讯视频Windows客户端在点播视频的时候，视频数据是如何传输来到客户端的。最终分析得出结论，腾讯视频Windows客户端在点播视频时，使用了资源重定向、智能DNS等帮助客户端选择稳定的服务器；视频流采取了“两级分段”进行传输。
2022-10-18 20:18:00
3595
2
原创 计网 | Cisco Packet Tracer下模拟交换机及VLAN配置实验记录
- 学习交换机的基本配置，制作网络拓扑图（1台交换机、2台PC），2台PC能够ping通（截图）。- 截图网络拓扑图（2台PC），2台pc机分别用连通线和交叉线连接，然后测试其连通性。- 学习交换机VLAN的配置方法，正确的配置交换机的VLAN，截图网络拓扑图；- 查看配置pc1、pc2和pc3在配置VLAN前后的连通性。- 了解交换机VLAN配置常用命令
2022-10-18 15:39:13
2673
原创 笔记 | 初探Kotlin协程
协程是一种不同于进程和线程的存在，其本质是一种函数，可在安卓开发中为开发者提供便利。本文将对协程的基本使用进行介绍，并与进程、线程对比，并对其基本原理进行介绍。
2022-10-13 08:15:08
676
原创 物联网 | HASS+MQTT+树莓派室内监测小型物联网系统
本文将在阿里云服务器上部署Home Assistant服务和MQTT服务，并在树莓派4B上通过GPIO口连接温湿度、火焰和烟雾传感器。最终编写Python程序将树莓派通过MQTT连接到Home Assistant，实现远程监控室内环境条件的效果。......
2022-06-12 21:56:25
5903
原创 神经网络 | 感知器原理及python代码实现and和or函数
目录文章目录目录感知器原理代码方法和步骤一、感知器代码原理解析二、训练感知器实现or函数1. 代码2. 不同迭代次数和初始权重下的准确率感知器原理如图，感知器中每个输入都有对应的权重，感知器在预测时：输入向量inputs⃗=(x1,x2,...,xn)\vec{inputs}=(x_1,x_2,...,x_n)inputs=(x1,x2,...,xn)输出带权和weight_sum=w0+x1×w1+x2×w2+...+xn×wn=w0+∑i=1n(xi×wi)weight\_
2022-05-19 17:14:43
1518
原创 计网 | C语言Socket编程获取本机IP及指定域名IP
实验目的和要求使用Winsock提供的API函数 ,利用Socket获得本机IP和本机名称。使用Winsock提供的API函数 ,利用Socket获得百度域名的IP 。结果预览环境记录名称值操作系统Windows 11 家庭中文版22H2内存16GBCPUIntel® Core™ i7-8750H CPU @ 2.20GHz 2.20 GHzIDEDEV-C++ 5.10目录实验记录配置IDE需要注意的是引用winsock2.h
2022-05-19 16:55:12
3834
原创 算法 | byte值的按位不定长存储算法 [C/C++]
问题背景：首先，在基于动态规划的灰度图像压缩算法中，压缩前灰度值序列的每个值原本以8bit，即1byte进行存储，压缩后，灰度值序列分为n个段，每个段中的每个元素都不一定以8bit存储，具体存储位数存放在一个大小为n的byte数组中。我们称这为不定长存储。其次，我们知道在计算机中一般为按字节编址和存储，在Python、C/C++等编程语言中主要提供的读写的最小单位也是字节，而不是比特。但要实现灰度值序列的不定长存储，按比特读写是更方便的。解决问题：现有一个byte值序列data[data_size]，
2022-05-19 16:17:11
551
原创 杂谈 | 从刘慈欣科幻小说到元宇宙
《超新星纪元》是我国著名科幻小说作家刘慈欣写于1991的长篇科幻小说，看完这本书后，才逐渐意识到《超新星纪元》中早早就出现了大刘对于元宇宙、大数据、数据挖掘和人工智能等技术的大胆构想！
2022-02-27 09:52:50
1374
原创 树莓派 | Raspberry Pi 4B使用nginx+sqlite3+php7.3+typecho搭建轻量级博客系统
前言手头的树莓派4B跑了跑人脸识别以后就一直在吃灰。最近想起来以前看到一款很不错的叫Typecho的轻量级博客程序，简洁美观，拓展性强。正好可以把闲置的树莓派算力利用起来。raspberry_typecho目录概要硬件环境服务器：树莓派4B 烧录RaspberryPi OS储存卡：16GB SanDisk 高速卡外壳：九层亚克力板外壳+散热小风扇网络环境：校园网 有固定内网IP但无公网IP开始搭建SQLite3安装： 命令行输入sudo apt-get install sqlite3启动： ...
2021-08-27 11:07:01
432
原创 学习笔记 | Android Studio安卓开发入门经验总结 干货
前言最近完成了移动编程课程的学习，加上其它安卓开发项目的经历，感觉收获颇为丰富。故在此总结整理安卓开发中比较常见的一些问题，技巧和指南。0.目录1.开发环境Android Studio是谷歌基于IntelliJ IDEA社区版开发的，面向安卓开发的免费集成开发环境。其方便快捷的开发调试和可视化UI编辑可以令安卓开发事半功倍。本项目所使用集成开发环境为Android Studio 4.1.1，编程语言为Java，使用JDK 1.8，使用Gradle 4.1.1进行项目工程构建和依赖管理。2. 项目新建An..
2021-08-18 17:43:28
1682
原创 Typecho | 博客css和js无法加载 前台样式崩了 https相关
过程记录今天为博客申请了一个SSL证书，安装完成以后开启了强制HTTPS，然后在博客后台设置-基本-站点地址 把原先的http地址改为了https。此时一切都还正常。然后我又把SSL证书部署取消了，结果在http下访问出问题，博客无法加载任何css样式和js！如图：失去css和js就是这么丑错误原因如上所述，css与js无法加载，F12调出调试发现，竟然是因为所有css和js的路径都带https！因为把服务器SSL证书取消部署以后，忘记在博客后台改站点地址了。调试模式发现大问题解决方案在博客后台设置-基..
2021-08-18 17:14:57
1007
原创 物联网小项目 | LeanCloud+树莓派+安卓实现住宅环境异常告警系统
本系统监测的条件限于温湿度、火焰、烟雾或有毒气体，以及登记授权人员人脸信息，（人脸检测和识别老早写了，懒得再接入了有时间再说吧） ????出现异常时可及时记录和向用户APP推送消息告警。目录前言物料清单软件架构室内环境条件监控模块手机监视APP模块硬件模块使用DHT11温湿度传感器MQ-2烟雾传感器云后端接入与使用为安卓用户端接入LeanCloud数据及消息推送SDKLeanCloud安卓SDK初始化LeanCloud安卓消息推送服务初始化LeanCloud安卓消息推送服务接入完成测试为用户端监测
2021-07-17 13:11:41
1500
2
原创 派查查 ：一个WearOS智能手表系统上的快递查询应用
在学习面向对象程序设计课程的时候，收获颇多，最后的课程报告选题选择了“Android开发”。但是安卓手机上好的应用数不胜数，自己不想重蹈覆辙做别人做过不知道多少遍的东西，就选择了当时相对Android手机软件开发比较小众的WearOS系统软件开发，做了TicWatch的问问商店里第一款腕上快递查询应用：派查查PieExpress。这也是我第一次做安卓开发，如有不足，还请海涵。
2021-06-22 18:30:00
1824
原创 Android Studio Start Failed com.intellij.ide.plugins.PluginManager
Android Studio started failed jetbrain plugin manager method not found问题描述用得好好的AS升级了一下，本来好好的隔一晚上就启动不了了，启动界面显示xxx遂开始了漫长焦急的治病求医。解决过程一个小时各种重装AS，jdk均无果。上网查资料，尝试在配置文件里添加disable.firstrun、在hosts里添加ssl-dl.google.com的ip解析、科学上网等，问题依旧。后来看到一个靠谱一点的办法，既然是插件出问题，就把**
2021-03-15 14:04:47
268
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人