- 博客(100)
- 收藏
- 关注
RSS订阅
原创 关于现有预报气象大模型的能力上限思考
从2022年开始，以华为pangu weather为代表的气象大模型及fuxi、fengwu等相继涌现，公开发表的文章里也展示了模型与ec预报性能的对比，并且这些大模型也公开了相应的代码或模型，便于人人都可测试使用（如何在本地部署大模型可以参考。但是，第四点，不得不提的是，气象输入数据确实庞大，这在计算机视觉里的相关任务还是需要做很多研究工作。所以我们看文章里大模型与IFS的对比，会发现大模型在前期的优势不明显，而后，大模型的优势开始突出，但应该还会有第三个阶段，IFS与大模型差异不大。
2024-02-07 14:43:41
391
原创 如何在本地部署现有气象大模型
注：如果GraphCast用pip一键安装不成功（大概率是），可以按照https://github.com/ecmwf-lab/ai-models-graphcast提到的方式，首先安装jax，再手动安装GraphCast。7、关于预训练模型，ai-models对FourCastNet、GraphCast、Pangu、Fuxi均支持自动下载，按如下方式即可。4、添加Fuxi大模型，当前ai-models支持Fuxi，但貌似还不支持pip一键安装，可以按如下方式手动添加。
2023-12-28 14:50:19
1100
15
原创 机器学习/深度学习方法在气象领域应用探索研究
近年来，机器学习方法在气象领域的利用引起了广泛关注，成为研究的热点。本报告深入探讨了机器学习问题与气象问题之间的相似性，并着重介绍了我们在气象降尺度、基于图像的天气识别、短临、短期气象要素预测等领域的探索。我们的结果表明，在气象学中应用机器学习方法可以产生令人印象深刻的预测和识别结果，从而为气象预测、灾害防治等领域提供重要的支持和指导。最后，我们讨论了在气象学中利用机器学习方法进行未来研究、实际应用方向和前景。
2023-06-28 11:40:31
550
原创 python写入grib文件
说明：ele中存储了要保存的变量名称，创建DataArray时的变量名可以任意定义，但DataArray中attrs的GRIB_shortName变量名称必须为ECMWF所定义的形式，具体细节可参考。如果不采用标准变量名，grib文件虽然可以写入成功，但名称会变为t，而且即便如果写入多个变量，解析时发现找不到变量。包括xarray库和cfgrib库，其中，xarray库安装较为方便，但安装cfgrib库可能碰到一些问题，具体安装方式可参考之前的博文。写入Dataset后，如果保存netCDF，可以用。
2023-05-15 15:39:59
817
3
原创 python安装cfgrib读取grib数据
cfgrib提示RuntimeError: Cannot find the ecCodes library
2023-01-29 17:27:08
3079
2
原创 地形指导的深度学习风场空间降尺度 Terrain Guided Flatten Memory Network for Deep Spatial Wind Downscaling
深度学习与气象先验融合的风场空间降尺度
2022-11-04 15:36:39
1224
原创 图时空序列预测方法记录
1、《Graph WaveNet for Deep Spatial-Temporal Graph Modeling》2019年IJCAI的文章，亮点有三：①自适应邻接矩阵 self-adaptive adjancency matrix；②基于自适应矩阵的扩散图卷积 diffusion GCN；③空洞因果卷积 dilated causal temporal convolution。其中，自适应邻接矩阵是通过两个node embedding矩阵基于ReLU和Softmax激活得出，优势在于对未知图结
2022-03-30 11:43:05
3266
原创 关于Latex出现Package CJK Error
目前尝试的修改tex文件内容的方法都没成功，唯一成功的方式是：1、用记事本打开tex，另存为utf8格式；2、用latex打开，打开的时候类型选择utf8.
2022-02-11 15:49:20
1874
1
原创 python读取xlsx
通过pandas库可读取xlsx文件，读取方式为import pandas as pddata = pd.read_csv('./data.xlsx')但pandas读取xlsx文件需要xlrd库，未安装则会提示缺少库文件，另外，如果xlrd库版本过高，则会提示xlrd.biffh.XLRDError: Excel xlsx file; not supported需要将xlrd库降至1.2.0版本。...
2022-01-27 09:41:12
1274
原创 关于python的GUI界面
在尝试将pytorch图像识别的结果用用户界面的形式展示：最开始试图用C#写界面（毕竟写界面C#还是非常人性化的），然后通过按钮事件调用python识别，并将结果返回C#（或者将结果写入文档，并用C#重新读取），但不管怎么尝试，搜了好多方式，都无法实现简单的按钮事件调用（搜到的a+b例子也无法复现）。无奈，搜索了一下，发现python自带的tkinter可以实现用户界面的。记录一下基本用法：root = Tk()可以理解为初始化好图形界面root.geometry('1280x640
2021-11-30 14:51:45
592
原创 github个人主页或reamd添加访客统计的方法
1、从Flag Counter选择喜欢的格式2、点击 GET YOUR FLAG COUNTER3、将（HTML）的内容复制到readme.md即可显示
2021-09-22 14:24:59
2720
原创 docker pull 遇到的问题
1、利用docker pull拉取镜像时，提示Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Post http://%2Fvar%2Frun%2Fdocker.sock/v1.39/images/create?fromImage=registry.cn-shanghai.aliyuncs.com%2Ftcc-public%2Fpython&am
2021-02-08 11:01:06
3137
原创 Latex用pgfplots画图碰到的问题
1、提示Package pgfkeys Error: Choice '1.13' unknown in key '/pgfplots/compat/anchors'分析：通过各种搜索应该是版本不对应，也就是pgfplots版本过低。解决方法：①更新pgfplots版本，我只知道https://sourceforge.net/projects/pgfplots/files/pgfplots/这里可以下载各个版本的pgfplots，但具体怎么更新不知道。②在画图的时候是调用了\pgfplotsset
2020-11-27 12:42:12
1609
原创 学习几个Linux命令
Linux常用命令：1、列出当前目录下文件总数：ls -lR|grep "^-"| wc -l2、在tmux中想要放大当前窗口，命令为ctrl + b + z，但不小心点了ctrl + z，会提示实际上，ctrl + z 命令相当于把任务放在后台，输入 fg 后即可将任务放回前台。...
2020-11-18 09:19:38
132
原创 时序预测相关算法的直观结构图及公式
最近花了很长的时间来整理前述时序预测方法及代码，本期做一个形象直观的对比。如下：ConvLSTMConvGRUPredRNNPredRNN++统一了一下画图及公式组织。
2020-10-20 16:20:09
740
原创 欢迎关注公众号 - 人人AI气象
个人是机器学习、模式识别方向出身，前期主要研究视频等时空数据的特征分析。现在入坑气象领域有一年多，为了更好的进步，为了更好的将之前所研究基础应用于气象，尝试建立了如下公众号，欢迎关注。公众号主要从气象和计算机两个方向尝试总结一些有用的内容，但写作方式跟博客一样随意。...
2020-10-12 20:53:26
245
原创 Pytorch手动实现卷积
某些时候可能需要用到类似卷积操作滑动窗的思想，实现一些操作。具体实现如下，首先导入必要的包import torchimport numpy as npimport torch.nn as nn方便起见（同时为了验证方法正确性），构建简单的卷积输入input = torch.from_numpy(np.array([1,2,3,4,5,6,7,8,9])).view((1,1,3,3)).float()查看输入内容In [5]: input.shape
2020-09-30 12:23:53
1921
原创 视频预测相关方法记录
1、《Efficient and Information-Preserving Future Frame Prediction and Beyond》网络结构包括：编码、预测、解码 三部分内容。主要内容是引入two-way的方式。原文链接：https://openreview.net/pdf?id=B1eY_pVYvB代码连接：https://github.com/GilgameshYu/CrevNet-Traffic4cast...
2020-09-02 10:36:16
3184
1
原创 Domain Adaptation 与 Generative Adversarial Network
域自适应 与 生成对抗网络1、《Unsupervised domain adaptation by backpropagation》pytorch 代码：https://github.com/fungtion/DANN文章：http://sites.skoltech.ru/compvision/projects/grl/files/paper.pdf网络结构：细节：①网络简称DANN，文章发表于2015年ICML，与GAN（2014年NIPS）同时期，DANN参考文献中有GAN。DA
2020-07-16 10:38:49
836
原创 最新（2019-2020）视频超分辨率方法调研
1、【CVPR 2020】TDAN: Temporally-Deformable Alignment Network for Video Super-Resolution链接：https://openaccess.thecvf.com/content_CVPR_2020/papers/Tian_TDAN_Temporally-Deformable_Alignment_Network_for_Video_Super-Resolution_CVPR_2020_paper.pdf代码：https://gi
2020-07-08 18:45:22
4244
原创 微信小程序开发遇到的问题及解决方法
1、调用高德地图时提示 getlocation:fail fail:require permission desc 错误。解决方法：根据如图所示提示，需要在app.json文件中添加permission字段。点击查看详情即可发现解决方案，具体来说，即再app.json文件添加如下代码即可，desc内容可自行填写。 "permission": { "scope.userLocat...
2020-02-25 14:58:47
1023
原创 pytorch多GPU训练方式 Multi GPU
1、首先定义模型import torch.nn as nnclass Net(nn.Module): def __init__(self): pass def forward(self, x): pass2、利用DataParallel分布式存储数据和模型gpuID = '0,1,2,3,4,5,6,7'device_ids =...
2019-11-04 16:24:27
1452
原创 C# 遇到的问题回顾
C#真是个神奇的东西，好几年前稍微接触过一点。最近重新有需求，居然发现啥都不会了。但是一旦用起来之后，却发现啥都想起来了。。。1、如何创建界面从这里下载社区版的安装文件。下载之后是exe文件，该exe文件用于安装 安装VS 的程序。会默认安装到c盘的，如下安装的时候需要选择.NET Framework，否则没有可视化界面，如下2、如何播放视频，最简单的可以用window...
2019-10-18 15:08:24
237
原创 Pytorch在已有网络基础上微调
这个问题应该很简单，而且之前看过类似的demo，结果忘干净了，现在只实现了一个比较naive的方法。我们以vgg为例，假定我们的网络继承自VGG，那么from torchvision.models.vgg import VGGclass DemoNet(VGG): def __init__(self): super().__init__ sel...
2019-09-17 16:06:04
1103
原创 LabelMe安装流程及简单用法
环境：Windows 10 + Anaconda 31、首先安装anaconda3，推荐此网站，下载较快https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/。下载完毕安装即可。以下步骤均在Anaconda Prompt下进行即可。主要就是按照官方提供的流程走。https://github.com/wkentaro/labelme。2、...
2019-09-16 18:00:42
7062
原创 python开发环境
今天突然想起之前开始用python时候对于开发环境的迷茫，在用python之前，习惯matlab和C#。接触python时对于用何种开发工具有点不知所措，查询知道pycharm是比较多数人的选择，当然也有很多Eclipse答案。用matlab的习惯使得我习惯于在command里调试，而pycharm看起来好像比较复杂，Eclipse也是晕，因此，最开始用的是python自带IDE。后来，知道a...
2019-09-16 14:18:48
212
原创 整理Pytorch代码自己的写作习惯
自己不是纯代码为主，而主要研究算法，因此自己以前全部代码都是停留在能用的阶段，但自从git clone SRPytorch这一工程后，觉得需要提升自己代码可读性，也便于自己算法的对比。现大体归纳为以下几点：1、适当的目录之前很不好的习惯是全部代码放在一处，甚至放在一个文件中。受SRPytorch的启发，按模型构建、模型保存、附加类库等分类，构建适当的目录，如下图这样工程下只放一个...
2019-09-11 18:50:34
435
原创 screen 常用命令总结
同tmux类似（tmux基本命令参见博文tmux终端复用经常用到的命令集合），screen命令也可以实现终端复用。基本命令如：1、新建会话screen -S session_name2、退出当前回话ctrl+a+d3、返回某一会话screen -r session_name4、会话重命名ctrl + a : sessionname new_session_n...
2019-09-04 08:21:44
180
原创 转置卷积直观解释
之前一直说反卷积反卷积，但大家都说它不是真正意义上的反卷积，而更应该叫做转置卷积。一直没仔细去了解，直到我看到了这篇博客里的两张图真香！...
2019-07-24 18:01:33
143
原创 Tensorboard提示unable to get first event timestamp for run解决办法
TensorBoard为分析模型训练过程等提供了很好的可视化端口，关于如何在Pytorch中调用Tensorboard，博文《pytorch调用tensorboard方法尝试》已经详细说明。今天在调用Tensorboard过程中，遇到问题如下，运行tensorboard --logdir=/log/path后提示unable to get first event timestamp for r...
2019-05-31 20:08:13
3518
原创 Vim基本命令总结
1、编辑文件vim aaa.bbb其中aaa为文件名，bbb为文件后缀2、插入或更改文件内容首先键入i，待左下角出现“insert”时，即可编辑3、编辑更改后保存在编辑模式下，首先按esc键退出编辑模式，键入:和q回车即可4、未编辑直接退出键入q回车即可5、显示行号键入:set nu即可6、跳转至指定行号键入:n 666行号即可7、多行插入...
2019-04-29 14:43:22
132
原创 tmux终端复用经常用到的命令集合
1、新建tmux会话，tmux new -s session_name其中，session_name可以为任意名字。2、退出但不终止当前会话，ctrl + b, d即，首先按下ctrl和b的组合键，松开后，再按d键。3、返回特定会话，tmux a -t session_name其中，session_name即要返回的会话名字。4、终止当前会话，tmu...
2019-04-29 13:58:23
168
原创 Pytorch获取中间层表示
这里先只是搬运过来，https://github.com/zergtant/pytorch-handbook/blob/master/chapter4/4.1-fine-tuning.ipynb，还没测试，但觉得以后会用到。根据提供的方法，需要经过如下步骤：1）定义hook函数in_list= [] #存放待输出中间层内容def hook(module, input, output...
2019-04-26 16:44:45
1199
1
原创 UCASthesis模板编译过程出现的问题及解决方案
我采用的PDFTeXify编译，1、从https://github.com/mohuangrui/ucasthesis下载模板后，尝试编译一下，发现提示跟MiKTeX相关的一些问题， 解决办法：从http://mirrors.zju.edu.cn/CTAN/systems/win32/miktex/setup/windows-x86/下载MiKTeX安装包，安装至CTeX安装目录下...
2019-03-07 10:10:55
1594
原创 Latex引用图片各种格式的转换方法
1、pdf转eps - 用Adobe Acrobat直接另存为即可；2、visio画图转eps - visio另存为pdf，然后同1；3、eps转pdf - 在安装了CTEX的前提下，从命令行进入eps所在目录，执行epstopdf *.eps即可。今天碰到了一件囧事，在写latex时候，由于不想把每个图片都放到当前文件夹，所以新建了一个Image文件夹，专门存放插图。于是...
2019-02-28 14:33:13
2585
原创 解决python ImportError: cannot import *
假如我们运行import aaa提示错误 ImportError: cannot import bbb解决办法：更新aaa库pip install aaa --upgrade
2019-01-15 09:00:17
1187
原创 python读取.nc数据
要用python读取.nc数据，首先要安装netCDF4包。运行pip install netCDF4即可。首先通过import netCDF4 as ncfile = nc.Dataset(file_path)打开文件，如果我们对.nc文件的内容一无所知，那么可以通过file.variables命令，查看文件内容，可以查看保存文件数据的key、dtype、shap...
2018-12-29 10:37:16
13681
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人