子非Yu@Itfuture-CSDN博客

原创 Yarn vs npm的大同小异&Yarn是什么？

目前看来 Yarn 要比 npm 更好用：默认就有锁定文件、更快速地安装依赖以及依赖的更新会自动同步到 package.json 文件中。从 npm 迁移到 Yarn 成本几乎为零，以上优点都让 Yarn 成为了目前 npm 最好的替代品。

2024-04-12 17:22:59 1340

原创关于openai和chatgpt、gpt-4、PyTorch、TensorFlow 两者和Transformers的关系

所以说，PyTorch和TensorFlow是深度学习框架，而Transformers是一个基于这两个框架之一的库，专注于提供预训练的Transformer模型和相关工具。近两年，随着人工智能的火爆，不论通过哪个渠道，相信我们都听说过openai、gpt等这类名词，那么它们到底是什么意思，请看下文。开发的深度学习框架，它提供了丰富的工具和API，使得构建和训练神经网络变得更加简单和高效。Transformers库为自然语言处理任务提供了方便的API和工具，使得使用和微调预训练模型变得更加简单和高效。

2024-04-12 10:42:06 731

原创【Docker】Docker资源(创建容器)CPU/内存/磁盘IO/GPU限制与分配教程

docker资源（创建容器）对CPU、内存、磁盘IO以及GPU的限制和自定义分配管理等方法总结......

2024-03-27 15:26:44 1227

原创【Anaconda】Linux下Anaconda安装和虚拟环境配置

注：.yaml文件移植过来的环境只是原来环境里用conda install命令安装的包，pip安装的库可能不会移植过来，需要重新安装。接下来提示安装位置，默认是/root/anaconda3，如果需要改位置，则输入路径即可！接下来是协议之类的阅读文章，按↓下键或者S键，直到出现yes/no，输入yes。：安装Miniconda，占用空间要比Anaconda3小很多，大概有3GB。conda导出已有的环境，保存在myenv.yaml文件中。查看已经存在的环境，前方带有*的为正在使用的虚拟环境。

2024-03-27 14:10:25 1166

原创【AI模型-机器学习工具部署】远程服务器配置Jupyter notebook或jupyter lab服务

随着AI人工智能的崛起，机器学习、深度学习、模型训练等技术也慢慢泛化，java开发有idea，web开发有vscode，那么AI开发神器肯定离不开jupyter lab（基础版jupyter notebook））,这里可以用vim或者用相关ftp工具下载下来修改再覆盖，或者vscode ssh远程连接直接修改.这里你输入的密码，也是后面登入你服务器jupyter的密码，需牢记！python3进入交互模式，见图输入以下内容，设置好密码过后。会自动生成一个Verify password复制保存下来！

2024-03-26 11:01:55 608

原创【Linux】Linux查看物理CPU个数、核数、逻辑CPU个数，以及内存情况

总核数 = 物理CPU个数 X 每颗物理CPU的核数总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数。

2024-03-26 10:15:59 553

原创 jupyter notebook或jupyterlab运行于/切换指定的conda虚拟环境或显示所有环境方法

Jupyter 在一个名为 kernel 的单独进程中运行用户的代码。kernel 可以是不同的 Python 安装在不同的 conda 环境或虚拟环境，甚至可以是不同语言（例如 Julia 或 R）的解释器。

2024-03-21 18:11:35 492

原创【K8S】docker和K8S(kubernetes)理解？docker是什么？K8S架构、Master节点 Node节点 K8S架构图

docker爆火的原因——轻！，K8S，就是基于容器的集群管理平台，Build、Ship and Run”（构建、运输(发送)、运行）、“Build Once, Run anywhere”（一次构建，多处运行）

2024-03-18 11:36:22 1198 1

原创 Linxu系统docker版本升级或安装

当要以非root用户可以直接运行docker时，需要执行 sudo usermod -aG docker runoob 命令，然后重新登陆，否则会报错。确定已经安装curl命令，没有安装，则运行。（推荐镜像导出，但后面得重新部署），以免升级后丢失或者无法使用。如有正在运行的容器，先停止。查看已经安装的docker。安装docker最新版本。关闭docker服务。

2024-03-14 10:07:22 931

原创【PostgreSQL】Postgresql数据库密码忘记的解决方法

（这里修改成功后会直接跳过输密码的过程）（注意，命令最后的分号不能省）

2024-03-12 11:58:03 1295

原创 docker启动失败：failed to create task for container:... not a directory: unknown: Are you trying to mount

docker启动失败： failed to create task for container: ...not a directory: unknown: Are you trying to mount a directory onto a file (or vice-versa)

2024-03-08 14:22:23 739 2

原创【MySQL】lower_case_table_names作用及使用

在使用dataease时，连接外部数据库，启动报错！后查看官方文档，特别要求改数据库配置文件：lower_case_table_names = 1，之后，果然启动使用正常。知识点： lower_case_table_names 是mysql设置大小写是否敏感的一个参数。在mysqld下添加或修改 lower_case_table_names = 1 之后重启数据库。根据自己需求，更改配置文件即可！更改数据库参数文件my.cnf。

2024-03-07 17:10:32 1320

原创 sql判断NULL值：IF()、IFNULL()、NULLIF()、ISNULL()函数的区别使用

如果expr1的值为true，则返回expr2的值，如果expr1的值为false，则返回expr3的值。，如果expr1的值为NULL，则返回expr2的值，如果expr1的值不为NULL，则返回expr1的值。，如果expr1=expr2成立，那么返回值为NULL，否则返回值为expr1的值。，如果expr的值为NULL，则返回1，如果expr1的值不为NULL，则返回0。关于MySQL中对于NULL值的判断以及替换等问题中，我们可以使用。

2024-02-29 11:32:19 949

原创开放Gemma而非“开源”，谷歌为何转变大模型竞争策略?

很明显，Gemma代表谷歌大模型策略的转变：兼顾开源和闭源，开源主打性能最强大的小规模模型，希望脚踢Meta和Mistral；关于大模型的开源和闭源，我认为如果想发展大模型还是得比模型规模，这方面开源模型相对闭源模型出于明显劣势，短期内难以追上GPT 4或GPT 4v，且这种类型的大模型，即使是开源也只能仰仗谷歌或者Meta这种财大气粗的大公司，主要是太消耗资源了，一般人玩不起，国内这方面阿里千问系列做得比较好，肯把比较大规模的模型开源出来，更提供了modelscope这样的平台促进技术交流，属实难得。

2024-02-22 18:12:21 1219

原创 cannot import name ‘xxxx‘ from partially initialized module ‘xxxx‘ (most likely due to a circula

查看导入包的依赖逻辑，排查问题，可能依赖先后顺序问题，也可能有重名问题，具体得根据依赖关系来排除！就我的问题来说是因为我的代码文件名为openai，重名，所以出错！

2024-02-22 14:08:46 595

原创【SQLite】快速使用sqlite实现数据库操作_python版

总的来说，SQLite适用于那些需要轻量级数据库解决方案的场景，比如移动应用、嵌入式设备或者当需要一个简单且易于部署的数据库时。由于其轻量和易于集成的特点，SQLite在开发者中非常受欢迎。，它遵守ACID的关系型数据库管理系统。

2024-02-01 11:25:03 669

原创 apt-get install 报错：E: Error, pkgProblemResolver::Resolve generated breaks, this may

mentohust:i386 : 依赖: libpcap0.8:i386 但是它将不会被安装或。wps-office : 依赖: libc6:i386 (>= 2.12) 但是它将不会被安装。依赖: libfreetype6:i386 (>= 2.4) 但是它将不会被安装。依赖: libglu1-mesa:i386 但是它将不会被安装。依赖: libxrender1:i386 但是它将不会被安装。依赖: libcups2:i386 但是它将不会被安装。依赖: libsm6:i386 但是它将不会被安装。

2024-01-19 14:31:46 919

原创 autodl运行ollama报错Failed to connect to bus: Host i&Error, pkgProblemResolver::Resolve generated breaks

发生故障，这可能是有软件包被要求保持现状的缘故。E: 无法更正依赖关系。如果显示没有"aptitude"这个命令，安装它。其实是未安装systemctl；再次安装，问题解决！

2024-01-19 14:28:33 776 2

原创【根据loss曲线看模型微调效果】如何使用loss曲线诊断机器学习模型性能

如下图所示，overffit时候training loss一直在不断地下降，而validation loss在某个点开始不再下降反而开始上升了，这就说明overfit，我们应该在这个拐点处停止训练。下图也是Underfit情况，这种情况的特点是在训练结束时候training loss还在继续下降，这说明还有学习空间，模型还没来得及学就结束了。然后我们就得到了一个Underfitting模型，如下图所示，在训练结束的时候training loss还在下降，这说明模型还未学习充分。

2024-01-18 17:52:51 2346

原创大模型基础：PT预训练，SFT有监督微调基础知识

记住进入transfomer前后数据的维度不会发生变化，把transfomer当作一个黑盒，也就是transformer(X)的维度还是（1，10，768），接下来就是基于它来进行预测了，因为要预测哪个词，词的可能情况就是词表的大小，所以做的就是一个分类任务，预测下一个token是词表中的哪一个（词表中的每一个词当作一个类别）。现在模型的输入的维度为(1,10)，第一维为batch_size，然后经过embedding层后变为(1,10,768)，这里假设embedding的维度为768。

2024-01-18 15:04:51 2431 2

原创【大模型评测】常见的大模型评测数据集

同时评测分为两部分，自动化评测的客观题部分和依赖于专家打分的主观题部分，这两部分结果构成了最终的分数，您可以通过构建示例中的脚本快速对一个已部署的大模型进行评测，或者向我们提交您需要评测的模型的主观题预测结果，进行我们人工评分的流水线操作。表述为带有二元选项的填空任务，目标是为需要常识推理的给定句子选择正确的选项。MMLU 是一个包含了 57 个子任务的英文评测数据集，涵盖了初等数学、美国历史、计算机科学、法律等，难度覆盖高中水平到专家水平，有效地衡量了人文、社科和理工等多个大类的综合知识能力。

2024-01-17 10:16:49 3696

原创【git】git更新远程分支到本地

【代码】【git】git更新远程分支到本地。

2024-01-17 09:59:25 830

原创 GitHub访问慢：分享两个镜像加速网站

GitHub网站，不知道是不是因为我的网络问题，最近一直断断续续，不稳定。非常难受。找到两个镜像网站，使用体验很不错，作以分享！

2024-01-12 09:45:07 11918 2

原创 Qwen-7B-Chat-lnt4微调报错：Found modules on cpu/disk. Using Exllama or Exllamav2 backend requir...解决方法

需要修改一下模型下的文件：config.json。

2024-01-10 16:04:56 1278 1

原创使用ModelScope运行或者微调模型&ModelScope国内一个“模型即服务”(MaaS)平台

针对不同任务、不同模型抽象了统一简洁的用户接口，3行代码完成推理，10行代码完成模型训练，方便用户使用ModelScope社区中多个领域的不同模型，开箱即用，便于AI入门和教学。构造以模型为中心的开发应用体验，支持模型训练、推理、导出部署，方便用户基于ModelScope Library构建自己的MLOps.针对模型推理、训练流程，进行了模块化的设计，并提供了丰富的功能模块实现，方便用户定制化开发来自定义自己的推理、训练等过程。

2024-01-05 15:15:34 1954

原创【Hugggingface.co】关于huggingface.co无法访问&大模型下载运行报错解决We couldn‘t connect to ‘https://huggingface.co‘ to.

如果你忘了打开tmux窗口也没关系，可以按ctrl-z暂停任务，再打开tmux，重新运行python model_download.py --repo_id 模型id 这行下载代码，可继续下载。如图所示，会给出相应的下载代码：python model_download.py --repo_id baichuan-inc/Baichuan2-7B-Chat。请添加–token hf_***参数，其中hf_***是 access token，请在huggingface官网这里获取。速度大约是2M/s.

2024-01-05 10:53:16 13940 11

原创 windows如何查看端口占用情况

在Linux中，我们都知道使用 lsof -i :8080，这种方式去查看端口被哪个进程占用，然后kill掉就行。我在执行一个测试类，它使用到8090端口做websocket连接。快捷键Ctrl+Alt+Delete，打开任务管理器，可查看PID对应的进程。其实，我的那个Java程序就是我的项目启动了，没有关闭就去执行测试类导致的。这个很明显是8090端口被占用导致的，那么到底是哪个进程在占用？这就得查看端口占用情况，打开cmd输入命令。查看到该PID对应的程序为java.exe。

2023-12-26 10:23:16 542

原创【Docker】升级docker或者docker到docker-ce完全保留镜像和容器，不影响原容器使用方法

CentOS自带的docker是早期的版本，支持的功能比较少，而且已经没有人维护了。最新的版本存在于docker团队维护的版本，社区版本是docker-ce，企业版本是docker-ee。由于默认CentOS自带的是早期的版本的docker，所以yum默认也是下旧的docker。我当时没太在意，就正常使用，装了几个容器，并有数据在里面。后来在拉取一个镜像时，报错：missing signature key，于是参考博文，需要升级docker。那么如何升级docker并且不能丢失我的容器和数据呢？

2023-12-20 14:42:30 2409 1

原创【Docker】except yum.Errors.RepoError, e:-yum-config-manager --add-repo报错

将第一行的python改为python2即可！

2023-12-20 14:28:36 669

原创【Windows系统C盘爆红】之扩展C盘大小详细步骤

而运行的时候，之所以需要保留一定的空间，是因为系统部分文件在运行软件的时候，是需要调动硬盘的空间来进行操作的。我们在安装软件的时候，如果不特别进行位置选择，那么一般都是默认保存在C盘中，而软件程序的数据文件缓存位置，也会默认为C盘。若正常则进行下一步，如果出现问题，则逆向执行第2步操作(更改新的D盘的盘符为其他，更改之前D盘的盘符为D)。当然有一些聪明的朋友会在安装软件的时候都会选择安装在别的盘，来保持C盘的空间，这是非常健康的操作！所以，保持一定的C盘空间，是很有必要的，也很重要的！

2023-12-19 11:44:01 493

原创【Git】解决fatal: unable to access..Failure when receiving data from the peer或者OpenSSL SSL_read: Connect

因为git在拉取或者提交项目时，中间会有git的http和https代理，但是我们本地环境本身就有SSL协议了，所以取消git的https代理即可，不行再取消http的代理。在项目文件夹的命令行窗口执行下面代码，然后再git commit 或git clone。取消git本身的https代理。

2023-12-17 00:05:42 10952

原创【idea】idea尾部自动删除空格，idea2023.1.2关闭自动去除行尾空格的功能

这个功能是由于git或者svn上的代码有许多空格的时候，会自动把空格去掉，就会导致出现许多更改的地方，会自动删空格。尾部刚打好空格准备写代码，自动就删掉空格，又得重打空格后继续编码，非常不爽。设置如下：取消下面勾选✔即可。

2023-12-15 17:50:37 1067

原创如何退回chrome旧版ui界面？关闭Chrome浏览器新 UI 界面

在 Chrome 浏览器的搜索栏中输入并访问。重启浏览器后即可使用 Chrome 的新外观。在 Chrome 浏览器的搜索栏中输入并访问。重启浏览器后即可关闭 Chrome 的新外观。”显示与新设计相关的所有标志，包括。”显示与新设计相关的所有标志，包括。（Mac端中还有 #（Mac端中还有 #

2023-12-13 17:38:06 3445 10

原创【git】ssh: connect to host github.com port 22: Connection refused fatal: Could not read from remote r

git 远程仓库两种协议：ssh，https。在解决问题之前，先要了解git远程仓库的两种协议连接。ssh协议连接github1.在git的命令行，输入然后就会在用户的.ssh下生成了两个SSH Key的秘钥对，id_rsa是私钥，不能泄露出去，id_rsa.pub是公钥。2.将公钥配置在github上设置里找到👇打开本地的id_rsa.pub(公钥)，将内容复制进去即可。3.github端配置完毕后，看本地的git 如何添加远程仓库：第一步,查看当前git的远程仓库版本：此时若什么都没有显示

2023-12-08 15:54:05 1110

原创 velocity-engine-core是什么？Velocity模板引擎的使用

除此以外，Velocity还提供了 Velocity-Tools工具包，他是Veloctiy下的一个子模块，参考gitee，Veloctiy-Tools主要包含2个部分：GenericTools和VelocityView ,前者提供了一些常用的工具类，比如DateTool, MathTool等等，后者主要是应用于web环境。像我使用，使用velocity就是用来生成代码，所以导入 velocity-engine-core 就足够了，也没有导入springboot集成的velocity starter。

2023-12-08 15:17:35 1834

原创 spring-boot-starter-validation是什么&Validation参数校验使用概要

Valid 是 JSR303 声明的，JSR是Java Specification Requests的缩写，其中 JSR303 是JAVA EE 6 中的一项子规范，叫做 Bean Validation，为 JavaBean 验证定义了相应的元数据模型和 API，需要注意的是，JSR 只是一项标准，它规定了一些校验注解的规范，但没有实现，二者主要作用在于都作为标准JSR-303规范，在检验Controller的入参是否符合规范时，使用@Validated或者@Valid在基本验证功能上没有太多区别。

2023-12-08 14:42:12 1313

原创天池SQL训练营(六)-综合练习题-10道经典题目

使用Coupon Usage Data for O2O中的数据集《ccf_online_stage1_train.csv》和《ccf_offline_stage1_train.csv》，试找出在2016年6月期间，线上线下累计被使用优惠券满减最多的前3名商家。使用Coupon Usage Data for O2O中的数据集《ccf_offline_stage1_test_revised.csv》，试分别找出在2016年7月期间，发放优惠券总金额最多和发放优惠券张数最多的商家。并找出优惠券弃用率最高的商家。

2023-12-07 10:10:03 1278 1

QQ聊天室/MFC/C++源代码，学习

关于0和1 是否直接使用