- 博客(862)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 TensorFlow 常用类与方法
在 graph 启动之前, 所有的 var 都可以看作 placeholder, 并没有实际, 具体的值去填充. 所以 session 就是一个让 graph launch 起来的机制.可分为多种, 如 模型的首层输入tensor, 计算得到的tensor, 构建的常量tensor, 及参与训练的 trainable tensor., 重置当前的张量图, 相当于清空所有的张量, 在 jupyter 中可以用到, 比如有些cell 执行过后不满意,就可抹掉执行效果.它也有自己的完全限定名.
2017-08-16 09:59:03
2161
2
原创 最优化算法 总述
Newton method牛顿法.Quasi-Newton拟牛顿法.BFGSBFGS, Broyden–Fletcher–Goldfarb–Shanno algorithm.L-BFGSL-BFGS,Limited-Memory BFGSOWL-QNOWL-QN,Orthant-Wise Limited-Memory Quasi-Newton.
2017-06-26 09:30:25
2077
原创 LLM 幻觉现象及 RAG 解决方案
流程简介：将文本分块，然后使用一些 Transformer Encoder 模型将这些块嵌入到向量中，将所有向量放入索引中，最后创建一个 LLM 提示，告诉模型根据我们在搜索步骤中找到的上下文回答用户的查询。
2024-01-03 11:10:56
411
原创 GPT 系列笔记及简明源码
open ai 出品, 与 google 的 bert 系列 是不同的任务, NLGeneration vs. NLUnderstanding.
2023-08-28 11:43:10
1159
原创 tensorflow 中的 gradient 与 optimizer
Optimizer.`minimize`(self, loss, global_step=None, var_list=None, ...)返回一个 train_op, 运用优化方法求损失函数的极小值. 它其实是以下两个 api(梯度计算与参数更新) 的封装. 当我们想在二者之间做一些自定义操作时, 就可以显式地分开调用
2023-07-12 15:29:20
1365
原创 pytorch 中的数据集与多进程并发
需要 Dataset + collate_fn + Sampler + DataLoader 联用, 才等价于 tf 的 dataset.
2023-06-20 14:58:53
1275
原创 transformers库中torch的train loop设计
工作较为琐碎. 我用 train loop 统一代指, 因为主流程在内, 是一个 loop.transformers 是一个流行的预训练模型库, 我想学习并复用它的 train loop 设计.
2023-05-29 11:45:27
1522
原创 LoRA, 替代 fine-tune 的轻量级低秩分解
LoRA, Low-Rank Adaptation of Large Language Models, 大语言模型的低秩适配器. 这里的秩就是通用的最大线性无关组个数这样的定义.适用场景: 用 Lora 来替代大模型的常规 fine-tune.
2023-05-15 16:12:24
1601
2
原创 AIGC 文生图及 stable diffusion webui 练习笔记
第一步, 拉git仓库第二部, 进入项目目录, 运行 webui.bat (linux 为 webui.sh). 它会安装 venv 虚拟环境, 还会试运行。
2023-04-28 18:30:13
955
原创 NLP 中的 prompt 笔记
NLP 中, 一种用于 Language Model 的 Pretrained Task 范式.前辈的特点是让模型通过去适配这些任务. 流程是 “pre-train, fine-tune, and predict”.而 prompt 的思路则与此相反, 调整预训练任务的形式(Reformulate), 使其更接近于原始预训练任务(如 完形填空). 流程是 “pre-train, prompt, and predict”.
2023-02-16 11:09:18
863
原创 公务员考试要求及流程梳理
以我所在的浙江为例, 网址见参考[1].公务员考试录用入口.公务员公开遴选入口. 报考对象是基层公务员群体, 通俗理解就是从公务员队伍中，继续再晋升报考更好单位的公务员.公开选调入口. 报考对象是应届大学本科毕业生，他们的身份还不是公务员。而且选调生入职后更多扎根基层，作为党政机关重点培养的干部后备人选。
2022-12-15 20:43:23
998
原创 python profile 性能分析
自己写了一个小型项目, 写完发现运行一次要好几秒, 瓶颈在哪呢?有无优化空间?涉及到的对象比较多, 方法间的嵌套和递归调用也不少, 很难手工打印时间戳去分析耗时. 此时就需要专业工具啦.
2022-11-24 16:11:05
846
原创 pytorch autograd 自动微分与梯度更新
pytorch 内置了常见 tensor 操作的求导解析解. 从 loss 到 parameter 是若干个 op 叠加起来的复合函数, 所以用链式法则逐个计算.tensor.grad_fn 记录了一个 tensor 是由何种运算产出的, 以及相应的求导解析解.
2022-09-20 17:55:22
1133
原创 py 用 playwright 做 web自动化测试
web 自动化测试, 是指用 运行代码的方式, 在浏览器中完成对网页的指定的操作, 解放双手与眼睛.
2022-08-12 17:36:27
1342
原创 volvo s60 T4 2021款 使用手册
图: 千斤顶位置图：千斤顶头部为 圆形凸块图: 左前轮的位置标示, 整体图图: 左前轮的位置标示, 局部特写图图: 底部视角, 圆孔可对应 千斤顶的凸起, 是受力的地方官方手册中有两处是错误的.见下图.图. 手册中的错误1为:千斤顶的头部为圆形凸块而非凹槽; 错误二为底盘样式不符且支点是圆孔而图中描述的红色条块.......
2022-06-25 15:26:50
769
原创 统计图表之桑基图 sankey diagram
一种展现能量流动的图表. 典型场景有:网上搜, 大多是付费软件的引流, 博主良心整理出无套路的 即用即走 在线工具.参考[1]的界面参考[2]的界面
2022-06-23 11:13:07
455
原创 中医脉象诊断
切诊, 即 望闻问切 之切, 又称把脉. 单解"切", 有 接触, 按压 之意.中医学认为, 血脉贯通人体全身, 故脉象可反映全身的 气血, 阴阳 及脏腑功能.多处的脉都可以诊, 以 寸口脉 最为常见.“寸关尺” 三个部位, “浮中沉” 三个深浅程度, 搭配起来就是 九种数据反馈, 俗称 三部九侯.正常脉象称"平脉". 寸关尺三部均有脉, 不浮不沉, 从容和缓.脉可理解为动脉, 寸口脉之外的其他脉, 也可以诊.寸口脉对应西医解剖, 叫 桡(ráo)动脉, radial artery........
2022-06-03 15:41:54
1446
原创 家庭常用药
文章目录止痛感冒药中成药(含西药组分)西药抗生素/消炎药中成药头孢(处方药)青霉素(处方药)红霉素(处方药)甲硝唑(处方药)抗过敏肠胃止痛布洛芬缓释胶囊.用于牙痛, 头痛等.感冒药中成药(含西药组分)感冒灵胶囊.成分: 三叉苦, 金盏银盘, 野菊花等. 对乙酰氨基酚.功效: 解热镇痛, 用于感冒引起的头痛发热, 鼻塞流涕, 咽喉肿痛.维C银翘片成分: 三叉苦, 金盏银盘, 野菊花等. 对乙酰氨基酚.功效: 解热镇痛, 用于感冒引起的头痛发热, 鼻塞流涕, 咽喉肿痛.
2022-05-27 13:48:56
257
原创 中医 肝与血的认识
肝在现代生活中的 工作机能与负荷.久视伤血面向电脑屏幕工作, 面向手机屏幕娱乐. 眼睛终日不得休养.肝开窍于目眼睛干涩, 视物模糊.魂藏于肝五脏与五行中的肝todo魂藏于肝神,魂,魄魂的现代释义, 指伴随心神活动而产生思维意识. 那么古书怎么讲?《左传·昭公七年》云:“人生始化曰魄,既生魄,阳曰魂”. 是说魂魄生来即有，阳神曰魂，阴神曰魄, 魂魄其实就是生命的一部分.《四圣心源》有说:“阳气方升，未能化神，先化其魂. 阳气全升，则魂变而为神”. 是说魂是阳气化神的过渡性产物，是神
2022-05-04 17:23:17
600
原创 中医哲学基础(精气阴阳五行)
精气,阴阳,五行学说是我国古代 唯物论的世界观 和 辩证法的方法论, 是中医的哲学基础.世界观有 {唯物,唯心}; 方法论有 {辩证法,形而上}. 两个概念可以自由组合.前者讲怎么认识世界, 后者讲怎么解释与改造世界.我的疑问: 有资料说"世界观决定方法论", 那还怎么组合?精气学说todo阴阳学说todo五行学说五行中的每一行, 都有 {我生, 生我, 我克, 克我} 四个方面的联系, 即每一行都与其他四行有联系.相生相克木->火->土->金->水[-&g
2022-05-04 12:08:44
479
原创 中医 基本病机
病机为病理反应.邪正盛衰实证邪气强盛, 正气未衰, 二者抗争有明显的病理反应.多见于外感病的初期, 脉实有力.虚症正气已衰, 不能与邪气积极抗争, 难以出现剧烈的病理反应.多见于外感病后期, 慢性消耗性疾病的过程中. 脉虚无力.虚实错杂与虚实真假由于正邪斗争的复杂性和人体部位间的相互影响, 会有 虚中夹实, 真虚假实 等病机.阴阳失调正常情况下, 阴阳双方会相互制约, 达到动态平衡.阳虚阴虚此时不能制约阳气, 会有 阴虚阳亢 等病理表现, 是虚症.阴阳互损阴阳一方有虚损, 随
2022-05-03 14:31:57
335
原创 py flask web框架
文章目录flaskpy web 几大框架, Django, Flask, Tornado.完整的框包括 {页面模板, 登录验证, 表单处理, 文件上传, https支持} 等等.我的常用需求只是 web service, 所以 flask 更灵活, 轻量.flaskfrom flask import Flaskfrom flask import Flask, render_template, requestapp = Flask(__name__)@app.route('/')def
2022-02-28 15:14:45
398
原创 C++ 内存管理
c++内存分为代码、堆、栈、常量和全局//静态存储区。不同变量的存储位置：全局/静态存储区——全局变量，static变量；栈——局部变量、函数调用时的参数。栈的容量一般比较有限；堆——new运算符分配，需由delete释放；若分配失败，new返回NULL，记得安全性检查。常量存储区——这是一块比较特殊的存储区，里面存放的是常量。new/delete 与 malloc
2022-02-22 18:52:03
1008
原创 py memory profiler 内存分析
使用场景:py进程的内存占用随时间而膨胀, 导致每几个小时oom一次, 怎么定位?memory_profiler通过方法加 @profile 注解, 探测其执行前后, 整个 py解释器 的内存总占用变化.侵入性强, 发布程序时还要去掉该注解.pip install memory_profiler注解的两种用法没有 import 导入的注解 + python -m memory_profiler 启动参数from memory_profiler import profile 的注解
2022-02-21 16:40:42
491
原创 opencv-python 常用操作
安装pip install opencv-python安装后, D:\ProgrammingFiles\anaconda\Lib\site-packages\cv2\下有 cv2.pyd (68MB) 与 opencv_videoio_ffmpeg455_64.dll (20MB).实现都是 c++, 所以 api 的文档也是 IDE 从 help(module) 中作了友好的转义后, 放在 python_stub 下的.常用apicv2.imread(filename, flags=None)
2022-02-19 17:16:11
2024
原创 Arthas java应用诊断
文章目录耗时分析类的实例信息参考使用场景常规的查问题方法是 {加日志, 断点调试}, 都要中止当前进程且对源码有侵入, 不够理想.Arthas 利用JDK 的 能力, 相当于用于站在虚拟机的视角, 提供多方位的探查能力.耗时分析todo类的实例信息watch 执行方法所在类 方法 'target'例子: 类Son是Dad的子类, 字段名有重复, 想确切知道赋值是否符合预期,参考官方文档, Arthasarthas 表达式, 核心变量arthas 表达式, 命令列表..
2022-02-11 17:43:45
428
原创 py pip依赖下载及requirements.txt
有 pip 或 easy_install 可以用. 类似于 linux中的yum.在win系统中, 它们位于python/Script/ 目录下.什么是 wheel安装包, 已经是 platform-specific 的了.工作原理: wheel, .whl4.1 查看已安装pip list 列出来已安装的模块.help('module') #py自带的命令,查看已安装的模块. 它还包含了一大堆内置的模块.pip show xxx #查看库的版本与简介4.2 安装与卸载安装卸载时最好关闭
2022-02-06 13:10:29
2354
原创 c++ 三方库的构建与安装
cmakegnu 套件不含 cmake, 通常需要 apt-get 自行安装.cmake 用来跨平台, 灵活的生成 makefile.通常项目根目录(记为 target_dir)中有 CMakeLists.txt, cmake ${target_dir} 即可搜寻目录下的 CMakeLists.txt , 生成 makefile. 执行过程中会有各种中间文件产生, 为了不污染项目, 通常一串操作为mkdir buildcd buildcmake ..注意 cmake 后的参数只能为目录,
2022-02-03 22:25:23
2422
原创 py 程序部署的传参, 环境相关
控制台参数标准做法通过 sys.argv:List[str] 拿到参数.argparse 模块import sysimport argparsedef parse_args(): parser = argparse.ArgumentParser() parser.add_argument("--student_name", type=str, required=True, help="specify the student") parser.add_argument(
2021-12-20 11:25:35
386
原创 互联网接入基础知识
ip地址与子网掩码标识一个网络的接入设备.将ip地址划分为两层语义: 网络号与主机号.不可被分配的主机号有 全0和全1, 前者代表, 后者代表广播地址.私有网络网关当目的地址不在当前网络时, 就分发给网关.DNS域名到ip的翻译服务.路由器交换机...
2021-12-14 22:39:08
2153
win7防音量过大自干预程序_ vs2010完整解决方案.zip
2013-09-21
DirectSound开发手册
2013-02-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人