- 博客(464)
- 资源 (127)
- 收藏
- 关注
RSS订阅
原创 2020年总结与展望
简介今天是2021年的1月17日，周日，由于和同事约好周六周日分开上班，因此今天并没有去单位加班。昨晚上原本打算今天是要做如下的事情的： 做早饭 做午饭 阅读戒药笔记 阅读财务自由之路 三组臀桥 图书馆坐坐 使用maven下载spring boot2.1.4 继续进行2020年总结与展望的编写 刷鞋子结果由于昨晚和同学聚会去海底捞，吃了很多的肉，回到家里也比较晚，23:00到家，睡的时候估计24:00了，夜里还起了两次夜，睡得不好，早晨8:00多醒过来，玩手机玩了40分钟。之后打
2021-01-17 22:33:47
1034
12
原创 2019年总结和展望
属性信息文档名称2019年总结和展望版本号V1.0.0.0文档修改日志修改时间修改人修改描述版本号2020-01-07 22:21宋全恒2019年总结和展望，确定基本结构，填充简介部分V0.0.0.02020-01-09 20:43宋全恒添加阅读旅程V0.0.1.02020-01-10 20:45宋全恒添加周...
2020-01-12 23:06:29
2588
6
原创 Maven常用命令
下载sources和javadocmvn dependency:sources -DdownloadSources=true -DdownloadJavadocs=true
2019-06-07 17:39:27
309
原创 04-15 周一 GitHub仓库CI服务器actions-runner和workflow yaml配置文档解析
地址镜像介绍大模型应用ID=ubuntu建议定要使用和宿主机相同的自定义镜像来运行CI作业，不然可能会出现诸如GLIBC问题，即如果宿主机为Ubuntu 20.04，那么自定义镜像最好也是Ubuntu，并且版本是20.04这样稀奇古怪的问题遇到的会少许多。本文详细的记录了为一个GitHub配置一个self-hosted runner的过程，通过上述的过程，我们可以灵活的为仓库配置自定义的运行器，并且也可以使用自定义的容器进行仓库CI作业的执行，提升作业环境的封装性。
2024-04-17 10:40:26
672
原创 04-12 周五基于VS code + Python实现CSDN发布文章的自动生成
之前曾经说过，在撰写文章之后，需要，同样需要将外链的图像转换为的形式，因此，可以参考。
2024-04-12 22:51:27
404
原创 04-12 周五 基于VS Code + Python 实现单词的自动提取
在之前的文章中，我们03-11 周一 zotero文献阅读时生词提取步骤这个文章中，我们详细的介绍了我们通过如下的流程将阅读文献时的生词摘录出来，专门进行专项日常生词积累。那么该如何进行呢？我们怎么才能将枯燥的切换转换为程序的执行呢？这便是这个文章要记录的内容管理。最近状态还好吧，人还是要自律，最近自己对自己的手机使用屏幕时间限制，限制之后，再也不用担心因为手机放纵，看电子书，或者看短视频了，每天清净心不少。
2024-04-12 22:31:56
302
1
原创 10-24 周二 论文阅读 Containerisation for High Performance Computing Systems: Survey and Prospects
继续看文章了。容器在隔离的环境中封装了复杂的程序和它们的依赖，这使得应用更加的兼容和更可移植。HPC上的容器需要包含大量的库，导致尺寸较大。这些库针对硬件进行优化，这危害了容器的可移植性。与HPC相比，Cloud实际上通常整合复杂的容器编排机制。但在HPC上启用容器编排机制的方法已经提出了。本文给出综述和分类，关于HPC系统上的容器化和编排策略。强调Cloud和HPC的差异。其实这篇文章是自己从23年10月20日开始看的，结果啊，到了今天才完成了阅读，真的是非常惭愧。
2024-04-12 15:33:43
407
原创 04-03 周三 使用印象笔记API批量更新笔记标题
在阅读这篇博客之前，首先给大家案例一下印象笔记这个应用，楼主之前使用onenote来记录自己的生活的，也记录了许多的内容，但是，有一天自己的同事和自己说了印象笔记这个工具，然后在使用了之后，就发现确实是不错的，包括模板功能啊，大纲，XMind支持，以及剪藏功能，而且在多个终端可以非常方便的同步，而且每个笔记有300M的空间（超级用户），最新的印象笔记也上线了视图功能，让自己非常的方便。这样让自己的复盘非常的便利，因为自己已经基本养成了周盘、月盘、年盘的习惯了。
2024-04-03 11:16:53
879
原创 03-28 周四 Linux 并行工具使用xargs和parallel
程序猿日常工作开发中，免不了要和linux服务器打交道的，如何高效的使用shell命令来实现我们的功能呢，比如说如下的场景： 诸如此类的场景，如果手动，一个一个ssh-scp，太枯燥了。因此，我们便需要高效的并行工具，启动多进程的方式来实现我们的目标。在Linux中，并发查询多个目录的磁盘占用可以通过多种方法实现。以下是一些可以提高效率的策略：使用与参数并行执行：命令可以将标准输入数据转换为命令行参数，并执行指定的命令。结合参数，可以指定并行进程的数量。在这个例子中，命令用于查找所有目录，和确保了文件
2024-03-28 10:08:20
952
原创 03-11 周一 使用Zotero阅读文献时提取单词到不背单词App步骤
在Zotero中阅读文献的时候，对生词进行着色，楼主选择了红色，短语选择的颜色为蓝色。导出这些生成，然后转换成逐行的格式。将生词导入到不背单词App，进行艾宾浩斯的记忆，专项提高。最近自己也是疯狂的在积累单词，自己上周日刚看完了一本东野圭吾的白夜行，整理了人物关系图。
2024-03-27 09:35:36
727
原创 03-11 周一 单词提取步骤
最近自己也是疯狂的在积累单词，自己上周日刚看完了一本东野圭吾的白夜行，整理了[人物关系图](https://download.csdn.net/download/lk142500/88947833)。在阅读paper的时候，就意识到了结构structure的重要性，所以笔者决定再次进行金字塔原理的阅读，而且我再阅读的时候，还能感受到当时我阅读Martin Fowler的《重构 改善既有代码的设计》所带给我的感动，我感觉这本书也是一个这样的书，书里面包含了深刻的洞见，等我看完再分享分享。提出（理论或解释）；
2024-03-25 17:33:55
425
原创 03-25 周一 论文阅读 Train Large, Then Compress: Rethinking Model Size for Effcient Trainning and Inference
由于硬件资源有限，训练深度学习模型的目标通常是在训练和推理的时间和内存约束下最大限度地提高准确性。我们研究了在这种情况下模型大小的影响，重点研究了受计算限制的NLP任务的Transformer模型：自监督预训练和高资源机器翻译。我们首先表明，尽管较小的Transformer模型每次迭代执行得更快，但更宽、更深的模型收敛的步骤要少得多。此外，这种收敛的加速通常超过了使用更大模型的额外计算开销。因此，计算效率最高的训练策略是违反直觉地训练非常大的模型，但在少量迭代后停止。
2024-03-25 16:50:51
989
1
原创 03-11 周一 zotero文献阅读时生词提取步骤
在Zotero中阅读文献的时候，对生词进行着色，楼主选择了红色，短语选择的颜色为蓝色。导出这些生成，然后转换成逐行的格式。将生词导入到不背单词App，进行艾宾浩斯的记忆，专项提高。最近自己也是疯狂的在积累单词，自己上周日刚看完了一本东野圭吾的白夜行，整理了人物关系图。
2024-03-12 10:46:41
375
原创 12-07 周四 Pytorch 使用Visdom 进行可视化
在完成了龙良曲的Pytroch视频课程之后，楼主对于pytroch有了进一步的理解，比如，比之前更加深刻的了解了BP神经网络的反向传播算法，梯度、损失、优化器这些名词更加熟悉。这个博客简要介绍一下在使用Pytorch进行数据可视化的一些内容。
2023-12-07 14:34:08
385
原创 11-16 周四 简单代码理解FlashAttention 分块计算softmax
上述的代码过程主要是将张量分成了两块进行计算，最后可以看到采用逐步累加的方式得到的结果与逐步运算是相同的。
2023-11-16 15:56:28
377
原创 11-15 周三 softmax 回归学习
softmax分享可以参考什么是softmax回归估计一个连续值，分类预测一个离散类别。恶意软件的判断回归和分类分类可以认为从回归的单输出变成多输出softmax基本上是在多分类问题中，将输出概率化的操作子。在神经网络中，作为最后一层进行的。其中交叉熵的理解反而不太好。上述为在TF中使用交叉熵来获取准确率的样例代码，可以看到correct_prediction为一组向量[True, False, False, …]强制转化为tf.float32之后求平均，就相当于求出了准确率。
2023-11-15 15:26:43
598
原创 11-13 周一 同济子豪兄CNN卷积神经网络学习记录
为了深入理解CNN，进行B站 同济子豪兄深度学习之卷积神经网络的学习.最近一直想要弄清楚这个CNN的工作，并且要能够使用CNN完成自己的神经网络，至少在计算视觉领域能够分析，以及典型的计算机视觉，NLP，语音处理相关的工作。CNN都是一个相对来说比较有用的工作。所以深度学习框架，Tensorflow或者Pytorch都是非常重要的。自己在这方面的积累真的太少了。要尽快的学习，加速自己对于机器学习的沉淀，投入时间，换取成长。
2023-11-13 19:13:52
527
原创 11-09 周四 CNN 卷积神经网络基础知识
学习一下CNN，卷积神经网络。使用的视频课程。人脸识别卷积网络与传统网络的区别：卷积神经网络是一个三维的数据，是h*w*cflowers 一共102种分类。要把数据和标签读进来。ImageFolder工具。数据预处理DataLoader模块直接读取batch数据网络模块设置迁移学习需要把head层改一改 256 * 256 ， 224 * 224训练时可以全部重新训练，也可以只训练咱们任务的层，本质目标是一致的。网络模型保存与测试。
2023-11-09 16:50:03
431
原创 11-08 周三 解决csdn外链转存失败问题
在使用typora + picGO撰写自己的博客时，图像已经转换为了静态资源，但发表在CSDN上，如果直接复制粘贴，csdn会将其中的图片链接再次转存到自己的图像服务器中，这有很大的问题。那么如何解决这个问题呢？
2023-11-08 20:01:26
284
原创 11-08 周三 图解机器学习之实现逻辑异或，理解输出层误差和隐藏层误差项和动量因子
最近笔者完成了《图解机器学习》这本书的阅读，由于最近深度学习网络大行其是，所以也想要好好的弄清楚神经网络的工作原理。比如说训练、比如说验证，比如说权重更新，之前也曾经写过两个博客来描述感知机和BP算法示意。10-09 周一 图解机器学习之深度学习感知机学习11-06 周一 神经网络之前向传播和反向传播代码实战反向传播这个博客里主要通过一个样本，来不断的更新参数，但实际的神经网络结构是不会像博客中name简单的，因此还是需要给出一个计算公式的。# 计算输出层误差# 计算隐藏层的误差error = 0。
2023-11-08 17:35:01
428
原创 11-06 周一 神经网络之前向传播和反向传播代码实战
在神经网络的世界中，参数和权重是非常重要的概念，尤其是当下，大模型横行其道，ChatGPT，文心一言，通义千问等各种领域的大模型接二连三的诞生，而大模型大就大在神经网络结构复杂，参数量非常庞大。不同的大模型，参数是非常巨大的。这是一场参数为王的战争。杰弗瑞·欣顿提出的反向传播算法 Back Propagation,解决了两层神经网络所需要的复杂计算问题），也就是反向传播算法。BP算法它解决的问题是参数如何更新的问题。
2023-11-07 17:05:33
234
原创 10-16 周一 Scientific Software Management in Real Life: Deployment of EasyBuild on a Large Scale Syste
管理科学软件栈手动任务，需要大规模团队，并且还需要特定领域细节知识。扁平的flat module view手动创建module file的问题OS 镜像需要包含辅助包来支持软件栈的组成，潜在的使得计算节点膨胀，并限制了软件的安装第一段说的是HPC软件管理现状，系统管理员很累。第二段写的手动通用编程需要SubversiongitCMake为了支持科学软件站的组成可视化库额外的Python模块这种方式不仅使集群节点的OS镜像臃肿，而且将缺失软件的安装限制在指定的维护窗口内。
2023-10-20 15:13:24
69
原创 01-10 周二 PyCharm远程Linux服务器配置进行端点调试
使用 PyCharm，您可以使用位于另一台计算机(服务器)上的解释器调试应用程序。参考该博客本文详细的描述了使用PyCharm来调试远程Linux服务器的代码，通过直接调试服务器上的的代码，可以解决在Windows上的差异（比如说路径分隔符），而且在使用FastBuild进行镜像构建的时候，需要使用docker运行环境，在真实环境上运行能够更加方便快捷的开发。
2023-10-13 16:37:00
1167
原创 10-09 周一 图解机器学习之深度学习感知机学习
感知机是神经网络中的概念，1958年被Frank Rosenblatt第一次引入。感知机作为一种基本的神经网络模型，它模拟了人脑神经元的工作原理。感知机接受多个输入信号，将它们加权求和并加上偏置值，然后通过一个激活函数将结果转化为输出信号。感知机能够容易的实现逻辑与，或，非。但单层感知机无法实现异或。感知机可以用于分类问题，将输入信号分为不同的类别。感知机也是神经网络的基本组成单元，通过感知机的组合可以构建更加复杂的神经网络模型，比如说多层感知机MLP和卷积神经网络CNN。
2023-10-09 21:43:30
683
2
原创 03-03 周五 镜像安装sshd和jupyter以及修改密码
由于在镜像中需要进行jupyter和sshd的安装，并且需要进行密码的修改，因此在该文档中记录了这两个交互方式的工程设计。
2023-03-31 14:12:52
456
1
原创 02-27 周一 图解机器学习SVM-人脸识别之PCA降维
本文的内容包括PCA分析，特征脸以及通过使用主成分分析来转换原始训练数据集的过程，行文也包括了为理解这个过程而记录的图片链接，辅助对于协方差矩阵，矩阵、特征值分解的理解。
2023-02-28 17:50:16
549
原创 02-18 周六 图解机器学习之SMV 第五章5-2
本文主要详细描述了机器学习中分类，尤其是svm，在分类标签classes_,predict等的属性的访问。并且描述了ovo和ovr两种分类器时的训练方式。本文也消息描述了controur、meshgrid的使用技巧。
2023-02-21 15:01:39
624
原创 02-04 周六 图解机器学习 SVM 支持向量机分类学习
本文主要是为了理解SVM，使用numpy，matplot，sklearn，在对图解机器学习理解的过程记录的痕迹。
2023-02-21 12:43:27
574
原创 slurmrestd服务部署文档的撰写
由于项目组前期调研，需要通过slurmrestd服务来调用Slurm集群的能力，通过Rest接口进行作业的提交、节点信息、作业信息的查询，因此需要完成slurmrestd服务的配置和启动。 本文档建立在 文档的基础上，由于上述文章中部署的文档并不包含libjwt模块，slurmrestd服务通过使用JSON Web Tokens（JWT）对用户身份进行认证，因此需要重新部署slurm集群，以提供对于JWT认证的支持。 20.02版本中最新推出的功能。 Slurm provides a RFC7519 c
2022-07-14 10:46:50
1810
4
原创 K8S调用GPU资源配置指南
该文档用于描述使用Kubernetes调用GPU资源的配置过程。文档会较为详细的描述在配置过程中遇到的问题和解决方式，并且会详细描述每个步骤的验证结果，该文档对于Kubernetes的使用以及GPU资源的理解有一定的辅助意义。在行文时主要描述了TensorFlow框架调用GPU、也有Pytorch调用GPU支持的过程，文档适用于运维人员、开发人员。 配置过程的主要目标是实现通过yaml文件实现对于底层GPU资源的调度。为达到此目的，需要实现如下的目标： Docker 使用容器创建虚拟环境，以便将 Tens
2022-06-10 15:35:31
10773
2
原创 Typora PicGo SM.MS图床设置
简介 在程序猿的世界中，只有输出，不断输出才能成为自己在工作中的源头活水，因此在工作中，不断的记录遇到的问题和解决的思路和过程，对于锤炼思考有着十分重要的过程。文章写作作为文笔输出的重要部分，因此在工作生涯中扮演者举足轻重的作用。本文介绍了使用Typora+PigGo+SM.MS的文档撰写工作流，把文章撰写和发布的流程打造的非常轻便和高效。笔者采用的图床是SM.MS，看官也可以采用其他的图床，还是比较多的。总流程Markdown语法 文档撰写工作流的核心是采用markdown语法所见即所得，通过轻
2022-05-13 17:00:11
742
2
多线程多线程.xmind
2020-11-07
word多级目录设置.zip
2020-07-11
优秀格式文档规范.docx
2020-07-11
克鲁斯卡尔算法.zip
2020-07-04
数据结构之普利姆算法思想和实践
2020-06-26
数据结构之图的表示、深度优先和广度优先遍历.zip
2020-06-21
Ubuntu使用active-backup模式进行网口绑定.zip
2020-05-24
XShell使用快捷命令快速运维系统状态.zip
2020-05-24
类的分散复杂度.pdf
2020-03-22
金蝶容器运维指南.zip
2020-03-04
elasticsearch.md
2020-03-03
2019年总结和展望.pdf
2020-01-12
《超新星纪元》读后感.pdf
2020-01-04
使用Nexus创建私服.pdf
2019-07-14
论文阅读 Containerisation for High Performance Computing Systems
2024-04-12
03-25 周一 论文阅读 Train Large, Then Compress: Rethinking Model S
2024-03-25
Postman自动化测试.zip
2021-04-24
多线程多线程.zip
2020-11-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人