- 博客(64)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 华为 OpenEuler OS 上操作 Nvidia A100 做 LLama2 开发（2）
解决方法，直接在 ./lawyer-llama/model/sft_lora_model/adapter_config.json 中去掉对应的 key 即可。文件夹中的 data 路径下有一些 alpaca 格式的指令集（其中能直接用的只有 judical_examination_v2.json ）这里是 transformers 版本过低的问题，直接升级下 transformers。由于由于有了数据，下一步就是准备LoRA 调试的参数和配置。在设定的 LoRA 模型输出目录下，能看到输出的文件。
2023-11-27 17:59:25
619
原创 华为 OpenEuler OS 上操作 Nvidia A100 做 LLama2 开发（1）
(nouveau 是一个开源的图形驱动程序，用于支持 NVIDIA 显卡. 然而，nouveau 驱动程序可能会在某些情况下导致问题，例如在某些 NVIDIA 显卡上可能会出现冻结或崩溃的情况。由于我们需要安装的 stable diffusion 需要的 11.8 版本，和当前的12.2版本不兼容，所以这里我们需要重新安装。运行 download.sh 时需要上面第一步申请的URL 链接才可以，例如我这边的是下面的链接。如果使用的是 miniconda，则在新建环境的时候需要注明 python 版本。
2023-11-27 11:49:52
1151
1
原创 ubuntu 开机配置
修改数据路径 sudo vim /etc/postgresql/14/main/postgresql.conf。比如说我们这里得到的输出路径为 /var/lib/postgresql/14/main。当新建用户之后发现不能直接使用 conda 的命令，则可以使用以下命令。同步 postgresql 数据并备份原有数据。确认当前 postgres 的数据路径。停止 postgresql。重启 postgresql。确认没有问题后删除备份数据。
2023-11-12 05:37:45
58
原创 深度学习之 nn.embedding
embedding 是 NLP 学习中必须要了解的一个模块，主要是将有限的词、字转换为神经网络或者深度学习网络可以接受的向量，即字符-> 向量。Pytorch 的 nn.embedding 是一个非常有意思的函数，最近了解了一下，并做了一个例子说下使用方法。这一这里的0，1000 是一个左包含，右又不包含的区间，对应的的[0, 1000) 的区间，其实就是从 0-999。首先我们假设词库有1000个单词，每个单词用一个10维向量表示，则可以设定。这相当于做了一个接口，具体的输入输出案例我们这边做一个例子。
2023-06-08 22:43:21
213
原创 Centos 7 下完成 Postgresql 数据迁移到别的路径
这里的需求是之前将 postgresql 11 安装到了默认的磁盘下，但是由于数据的扩张，发现默认磁盘的容量到达了上线，同时发现还有一个 200G 的数据磁盘一直没有使用磁盘的挂在路径是在 /mnt/ 下，所以这里需要将数据库的 data 迁移到挂载路径下面。
2023-05-27 07:12:25
248
原创 Docker 全攻略
端口开放可自定义设置，但请避免设置正在使用的端口。Note: 注意这里的 -Xms84m -Xmx512m 配置不要配置过大，否则会出现内存或者空间不足的错误。作为一个数据库，配置密码是必须的，但是 elasticsearch 容器的配置稍微有点复杂。Docker 在一段时间之后会出现占用磁盘空间太大的问题，所以需要清理，输入以下两个命令。这里唯一需要指出的是由于当前使用的 docker 是 20.10.21 版本。但是当前的 docker compose 版本的文件格式应该为。
2023-04-17 10:51:05
173
翻译 centos 7 安装 Python 3.9
但是centos7 yum 能安装的最高版本的 python 是 3.6.8，所以需要自己安装，这里参考上面的链接的文章，最后能够成功安装。由于安装 jupyterlab 需要 3.7+ 以上的 python 版本，所以这里需要安装 python3.7。
2023-02-21 17:10:43
905
原创 4步将 venv 环境添加到 Jupyter Notebook 内核中 (Windows10)
4步将 venv 环境添加到 Jupyter Notebook 内核中 (Windows10)
2022-10-20 15:28:30
752
原创 CoreNLP 工具的使用
首先，进入到 CoreNLP 的下载页Overview - CoreNLP这里我们首先下载 CoreNLP 的英文版本，也就是基础版本https://nlp.stanford.edu/software/stanford-corenlp-latest.zip解压，放到文件夹中 PATH1 中然后，返回 CoreNLP 主页，然后下载中文工具包https://search.maven.org/remotecontent?filepath=edu/stanford/nlp/st
2022-03-18 12:10:37
1437
原创 MariaDB （Mysql）的新建用户|数据库|数据表
查看MariaDB 的状态systemctl status mariadb.service新建用户mysql -u root -p<输入秘密>create user 用户名@localhost identified by '密码';新建数据库并将权限赋值给用户CREATE DATABASE zhaopin;GRANT ALL ON zhaopin.* to 用户@'localhost' IDENTIFIED BY '数据库访问密码';使用数据库use
2021-12-18 13:21:24
1055
原创 Centos 在 Selenium 使用中的异常：chrome not reachable
在使用 Selenium 进行数据处理的过程中，发现了一些问题：selenium.common.exceptions.WebDriverException: Message: chrome not reachableWebDriverException: Message: unknown error: DevToolsActivePort file doesn't exist首先确认我们的 ChromeDriver 和已经安装的 Chromium的版本匹配没有问题chromiu..
2021-11-03 08:58:52
4106
原创 postgresql 远程服务器的数据表传输
整个问题的背景描述：在一台服务器A上，有数据库 Adb, 数据表 Adt, 数据库拥有者 Auser, 数据库密码 Aps在另一台服务器B上，有数据库 Bdb, 数据库拥有者 Buser, 我们想在 Bdb 中新建一个数据表Bdt, 同时 Bdt 中的数据来自 Adt.环境前提假设在 服务器B 上，已经安装了 postgresql 和postgres_fdw， 在服务器 A 上，已经安装了 postgresql ，同时允许外部数据库访问（如果不知道怎么做，可以翻看之前我的博客）数据迁..
2021-05-13 12:04:59
304
原创 postgresql 远程数据库访问
问题场景：在 windows 上已经安装了 Postgresql ， 需要使用 Windows 上面的 PgAdmin GUI 访问在 Linux 上面的 Postgresql 服务器。主要参考这篇文章https://www.netiq.com/documentation/identity-manager-47/setup_windows/data/connecting-to-a-remote-postgresql-database.html1. Linux Postgresql 数据源服.
2021-04-29 14:31:35
334
1
原创 postgresql 常用命令汇总 （20210427）
命令行\l ： 显示数据库\du ： 显示用户列表\conninfo ：显示现在的连接、数据库、用户名，或者用 【SELECT current_database();】\c 数据库名 ： 切换到某数据库\d 数据表名 ： 显示数据表的结构和数据类型创建新的用户CREATE USER 用户名WITH PASSWORD '密码';ALTER USER 用户名WITH SUPERUSER CREATEDB CR...
2021-04-28 12:42:30
418
原创 Centos 7 用户赋予 sudo 权限
sudo 权限是 “Super User DO” 的缩写。拥有该权限的用户可以切换到 root 权限，所以这是一个比较敏感的权限。而 linux 系统中的 Ubuntu 和 Centos 对用户 sudo 权限的管理也是不一样的，这里我们介绍下 Centos 下的 sudo 权限管理。wheel 用户组首先，在 Centos 系统中，sudo 权限是由 wheel 用户组，而不是 sudo 用户组来控制的，也就是说，wheel 用户组下的用户才拥有 sudo 的权限。所以，首先查看 whee
2021-04-02 13:41:46
616
原创 Elastic Search 学习（1）---- Centos 7 安装 Elastic Search
本文主要总结 Elasticsearch 学习过程中的一些所得，重点是 Elasticsearch 的功能使用
2021-03-15 10:52:18
456
原创 Pytorch 深度学习框架快速学习（1）---- 神经网络惯性因子 Neural Network Momentum
神经网络是当前机器学习中炙手可热的一个模型门类，其中的调参技巧也是层出不穷，从刚开始的BP，到SGD等。在使用 Pytorch 的过程中，我们会发现在配置 SGD optimizer的时候需要配置一个参数 momentum，那么这个参数是做什么的呢？optimizer = optim.SGD(model.fc.parameters(), lr=1e-2, momentum=0.9)这个必须要从SGD 的原理开始说起：图的最上方为每个iteration（每个batch为一个iterat.
2021-03-12 13:30:37
727
原创 Pytorch VS TensorFlow （2020年最新对比）
最近，深度学习Deep Learning 的热潮依旧，而且有着愈演愈烈的趋势，所以为了迎合这股潮流，学习一些主流的深度学习框架还是很必须的。现在的主流深度学习框架，主要是 Google 系的 TensorFlow 以及 Facebook 系的 Pytorch，其他还有 Keras，Caffe， 微软的 CNTK 等2020年结束，TF 和 Pytorch 两大框架基本上可以说是平分天下！形势有点像手机操作系统中的IOS 和 Android。同时，国内的DL框架还是局限在几个大厂里面，例如华为
2021-03-11 16:24:46
3771
4
翻译 Django 的 model 模型的一些操作技巧
Django 中的 model 扮演了什么样的一种角色呢？ 有点像我们在 SQL 中初始化一个数据表的格式时需要做的工作，即定义这个数据表的名字，各个字段，各个字段的类型，还有各个字段的一些限制，以及表与表之间的关联。这里我们主要是根据 Django 官网上给出的 models 的一些解释，对其中的一些需要注意的技巧进行讲解，可能会起到事半功倍的效果。1. 字段如果我们把每一个 model 看成一个表，那么 model 里面的每个定义的变量，相当于数据表的一个字段，那么我们就需要对字段的格式做一
2021-02-26 09:22:05
1421
原创 Azure 免费虚拟机 Centos8 安装 Nginx, PostgreSQL, Django
很多人不知道，除了 AWS， Azure也提供了一些免费的虚拟机，而且相对于 AWS 对中国人不友好的界面和翻译水平，个人认为 Azure 更加对中国人用户友好。更重要的是，按照最新的报告，Azure 已经是仅次于 AWS 的云服务提供商了，远远把剩下的第二梯队甩在后面，还是比较让人放心的。当然，最吸引人的是，Azure 的费用，按照 Azure 自己的比较，比AWS要便宜50%以上。1. 申请https://portal.azure.com/#blade/Microsoft_Azure_B
2021-02-18 21:01:29
322
原创 Django 的 竟态条件 (race condition) 和 信号 （signal）的综合处理问题
背景现有的项目需要拥有一个时间颗粒度的交易数据，同时也会基于此交易表生成一个以天为时间颗粒度的交易表和一个以周为颗粒度的交易表。所以，这就涉及到了一个数据更新过程中的一个数表联动问题，即更新了最基础的时间颗粒度的交易数据表之后，需要发信号给天颗粒度和周颗粒度的交易表，通知他们进行更新。在整个操作过程中，发现 竟态条件 场景出现，即多个线程同时给天颗粒度和周颗粒度的交易表发信号，造成 get_or_create 操作产生多个重复数据。查询了相关的资料之后，尝试了网络上的很多办法，发现了以下解决
2021-02-13 09:37:02
207
原创 在阿里云的域名上设置腾讯云的SSL证书的域名解析问题
由于阿里云和腾讯云都有为期一年的免费SSL单域名证书，所以就给了我们蹭两年免费SSL证书的机会。我这边阿里云的SSL证书马上到期了，然后去腾讯云又蹭了一个，腾讯云申请下来之后就是下面这个样子这时候，就应该考虑怎么样把腾讯云申请下来的证书在阿里云的域名上面进行正确解析了我们找到我们对应的阿里云的服务器上的 域名解析 部分，如下图所示，点击添加记录，然后按照上面的证书信息进行填写，注意这里的记录类型是TXT，而不是 IP4这一这里的主机记录名字如果有重复的也没有关系，不影响我们的使用
2021-02-11 13:54:28
1608
2
原创 windows 环境下为 django 项目 安装 GNU gettext 工具（项目国际化）
1. 环境介绍操作系统： Windows 10Django版本： 2.02. GNU gettext 安装https://download.gnome.org/binaries/win32/dependencies/选择下面的两个安装包gettext-runtime-X.zipgettext-tools-X.zip这里的 X 是工具版本，而且应该是大于0.15 的，我这里选择的是 0.17所以对应的链接是gettext-runtime-0.17.zip gett
2021-02-06 15:33:10
1194
转载 Django 国际化翻译中的 gettext 和 gettext_lazy
Django API 提供了几个有用的模块来帮助你翻译你的应用程序. 它们都在django.utils.translation中使用，大多数情况下， 我们会使用到ugettext()和ugettext_lazy().「u」前缀代表「unicode」, 因为大多数情况下，我们经常使用 Unicode, 所以使用ugettext()代替gettext(), 使用ugettext_lazy()代替gettext_lazy().顾名思义, lazy该函数是对翻译字符串的引用， 而不是实际翻译的文本. 因此在
2021-02-06 03:00:19
1599
原创 python 项目移植过程中，制作自己的 requirements.txt 以及对应的安装
在我们日常的python的项目的移植过程中，由于要重新安装python的很多package和一些包，所以会比较麻烦，所以这个时候就体现出了一个优秀的安装包管理器的优势的地方了。而pip就是这样一款优秀的python 包管理器在我们进行项目迁移之前，在原有的项目的目录中，进行下面的操作：pip freeze > requirements.txt这时候打开自己的 requirements.txt 文件，对其中的一些无效的安装包进行删除，然后准备好迁移，但是同时应该注意，有些安装包是要依
2021-02-05 09:58:48
117
原创 数据可视化: Echarts JS 数表显示插件的使用（1）---- Tootip 配置的小技巧
在数据可视化的过程中，前端的可视化模块是一个非常重要的部分。在 JAVASCRIPT 的前端数表插件有很多。例如 ChartJS，Flot，MorisJS，还有百度的 Echarts，其中 Echarts 的文档建设和国内案例的丰富性让我更倾向于 Echarts 作为数表前端展示的插件。今天介绍一下 Echarts 中的很重要的一个配值： Tooltip。所谓 ToolTip，即是鼠标在 Echarts 图标上面的 Item / Axis 等上面的时候，显示的浮动框以及浮动框内部的信息。
2020-12-21 00:23:36
507
原创 django 的学习总结
Django 是以 python 作为开发语言的网站模板框架，在和同类型的 Flask 进行对比时，主要的优点是部署快速，基本上的各个功能模块都已经具备，只需要对一些参数进行修改设置即可。Django 架构整个 Django 的架构可以分为URL解析，负责对前端的URL请求进行分析，然后分配给不同的应用，这里的应用就是一个application，更具体就是专门处理某项功能的一个模块，例如专门处理 Email 的应用等。 View处理，在收到网络请求之后，针对不同的请求，采用不同的函数/方程，对
2020-11-18 19:10:11
707
原创 增强学习心得（1）Q-Learning 和 Sarsa
增强学习是一种机器学习的方法，尤其是一种聪明的自适应的自学习算法。增强学习的基本原理是通过状态（state）和动作（action）的互动，进而实现状态可以随时间进行更新，随学习而更新，进而实现目标价值的最优化。而在增强学习的算法中，尤其以 Q-Learning 和 SARSA 算法尤为突出和典型。两种算法都是以 Q-Table 为核心，通过逐步的寻找最佳的行动路径，实现通过最快的行动完成价值的最大化。两种算法有很多相同点，但是又有不同。直接说不同点：Q-Learning 通过Eps.
2020-11-03 23:49:05
215
原创 Centos7 + Python3.7 + Django2/3 + Nginx1.6.1 + uwsgi2.0.18 配置
本文主要是针对 Django 项目的生产部署操作网络客户端 <-> 网站服务器（nginx） <-> the socket <-> uwsgi <-> Django这里，uwsgi 是与 Django 交互的一种 python 标准，而 nginx 和 uwsgi 之间的交互方式是以 socket 包的方式进行的前提：已经安装了 py...
2020-03-28 14:29:39
332
原创 Centos7 + Virtualenv20.0 + Django2/3 常用命令
数据备份和恢复#### 备份除了账户审核和内容类型之外的全部数据（如果备份这2部分数据，恢复时会出现错误）python manage.py dumpdata --exclude auth.permission --exclude contenttypes > db.json#### 修改 setting.py 里面关于数据库的部分，改为新的数据库和密码vim ./setting...
2020-03-09 13:23:39
176
原创 Centos7 + Python3.7 + Django2/3 + mysqlclient 配置和安装
谷明科技，专注于大数据人工智能的创新者前提：默认已经安装了 Python3.7， Django2/3 和 Mysql/MariaDB这里，主要是讲怎么安装mysqlclient （https://pypi.org/project/mysqlclient/）首先，是安装一些依赖包yum install mysql-develyum install python3-deve...
2020-03-04 17:09:02
608
原创 Centos7 环境中 MariaDB 重新设置 root 密码
谷明科技，专注于大数据人工智能的创新者第一步，确定你的 MariaDB 的版本mysql --version我这里的输出是mysql Ver 15.1 Distrib 5.5.64-MariaDB, for Linux (x86_64) using readline 5.1第二步，停止 MariaDB 服务器systemctl stop mariadb第三步...
2020-03-04 16:57:22
390
1
转载 Centos7 安装 LAMP - Linux Apache Mysql（MariaDB） Php
1. 新建 php 用户并添加到指定的用户组，这里我们新建一个 php 的新用户并且将其放在 www 用户组中mkdir /home/phpuseradd -d /home/php -g www phpchmod 750 /home/phpchown php:www/home/php2. 安装 apache 服务器并且开启服务su rootyum install...
2020-03-03 16:59:56
175
原创 Centos7 + Python2.7.5 + Django1.9.4 + postgreSQL9.6 + django-react-template 配置
此文主要是为了测试一款 django 的模板，名为 django-react-template，包括了前端和后端首先，安装环境如下系统： centos7python==2.7.5django==1.9.4postgreSQL9.6.17第一步，在 postgreSQL 新建数据库和用户名su - postgrespsql -U postgresCREATE D...
2020-02-26 19:52:24
175
sshd_config
2019-12-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人