- 博客(242)
- 资源 (12)
- 收藏
- 关注
原创 MacOS访问某局域网域名存在问题,但是ip可以正常访问的问题解决方案
公司服务器部署wiki,之前macos访问wiki服务都是通过ip:8090形式访问,后来给wiki服务配置了域名wiki:8090,后macos浏览器连接同样的网络却一直没办法正常域名访问wiki,但可以ip访问wiki,但是其他同事们都可以正常访问。但是不幸的是,过一会,又回到解放前的状态,又是ip可以访问,域名无法访问,多次重复上述操作,都是不断循环。可以看出,此时域名解析已经正确,然后测试wiki.**cn可以正常访问wiki服务。而且,本地查看域名解析,一直都是正确的Ip,但是就是访问不到服务。
2024-01-12 11:38:13 771
原创 MacOS VSCode 配置远程服务器ssh remote链接,并上传文件文件服务器
7. 注意,6中的操作都是在远程服务器的变动,不会对本地文件同步。此时,可以在5中本地项目的窗口,选中相应需要同步的文件夹或文件,右键,选择Download,把远程服务器更新后的文件下载到本地目录。右侧两个一个是在当前窗口打开远程链接,一个是在新窗口打开远程连接,选择一个即可,我倾向于选择一个新窗口。5. 此时,就可以在本地文件窗口内,右键 -> Upload Folder上传文件夹,或者上传文件。4. 当本地已经有个项目,需要同步传输到服务器,首先在VSCode打开该文件,并配置sftp。
2023-12-07 16:46:37 1456
原创 一次安装apex的血泪史
最后执行python setup.py install --cuda_ext --cpp_ext安装成功~export LD_LIBRARY_PATH= # 为了取消之前的变量。1. 服务器安装CUDA==12.2和PyTorch=11.8版本不一致。执行source ~/.bash_profile。如果顺利的话,就so easy~ 然鹅,吐血。然后 source ~/.bash_profile。后使用g++ -v确认版本为更新后的版本即正常。还是报错,错误内容完全一致。解决方案:升级g++版本。
2023-11-08 18:25:26 406
原创 Torch使用过程错误解决记录
1、错误信息:cannot import name 'notf' from 'tensorboard.compat'
2023-10-07 14:37:55 966
原创 Pycharm链接远程mysql报错
我的Mysql为5.7.43,此时Pycharm mysql驱动为8.0版本,不匹配,所以需要根据实际的版本选择对应的驱动;选择对应的版本,在大版本一直的情况下,可逐个尝试,此处我选择的是5.1.35;回到DataSource配置,重新测试链接,可以看到成功链接。点击下方Apply;
2023-08-25 16:01:55 1537
原创 cannot import name dataclass_transform
【代码】cannot import name dataclass_transform。
2023-08-24 18:14:34 438
原创 macbook 加载模型报错:failed to load model
在linux上加载是正常的,但是在macbook上就报错:failed to load model。环境:macbook m1 + conda + python3.9。原来的是0.1.78,更新为48之后,的确是可以正常加载了。一开始以为模型坏了,删除重新下载,仍然报错。
2023-08-21 17:52:59 616
原创 MacOS M2 使用lightgbm训练,报错:segmentation fault
如果执行wget时,终端很慢,或者别的链接问题,可直接复制链接到浏览器下载。然后,直接在下载路径执行后续操作。上述步骤执行完后,可重新进入上述路径确认版本,正常情况下应该已经更新到11.1.0版本。错误场景如标题所示,经查询验证有效方案为:降级libomp版本。之后重新执行lightgbm训练脚本,可正常跑。libomp版本为:16.0.6;
2023-08-15 15:29:30 181
原创 linux 升级node
2. ln -s /usr/local/bin/node /bin/node # 新建新node的软连接。1. rm -f /bin/node # 删除旧的链接。3. n stable # 下载最新的稳定的版本。再次执行node -v即为新版本。
2023-07-26 11:23:26 1364
原创 mac pro 13 m2,安装brew报错fatal: unable to access ‘https://github.com/Homebrew/brew/‘: Recv failure...
mac pro 13 m2,安装brew报错
2023-05-25 10:31:09 742
原创 tensorflow1.14.0代码适配tensorflow2.5.0遇到的坑
最后推理,代码应该是没问题,流程本地也都多次测试,也没问题,从影响面来看,不只是当前任务进程卡住,也影响到了有同样加载预训练模型的其他模块流程,那应该是共用的某些部分产生了影响。在测试环境运行时,上述代码在tf2.5.0环境下,是正常运行的。但是到线上环境,和其他相关服务部署到一起后,就不行。奇怪的是,在容器内部的python环境中,逐行执行上面加载预训练模型操作,是可以正常执行的。故针对当前代码,重新适配tf2,把session和graph相关的都直接删除。各种排查,无果,也没任何报错。
2022-10-28 18:33:05 747
原创 python & pandas 拆分csv文件
当进行模型训练时,可能需要手动把一份文件一分为二的情况,可使用上述方法;但是,需注意,此方法要求label中每个标签个数至少为2;
2022-08-19 10:45:01 767
原创 conda升级tensorflow-gpu=2.5.0及cudn,cudatoolkit版本
conda升级tensorflow-gpu=2.5.0及cudn,cudatoolkit版本
2022-07-20 17:15:50 2819
原创 Pycharm remote ssh pyenv error: pydev debugger: warning: trying to add breakpoint to file that does
本地pycharm使用的远程服务器上的conda python环境,在pycharm执行某个py文件,debug时,报错如下: 解决办法:打开配置界面如下图:注意,红框内,为空。修改为如下图: 也就是说,把本地项目路径和远程服务器上的项目文件夹路径对应好,即可。...
2022-06-29 15:59:15 450
原创 python import gensim error: ModuleNotFoundError: No module named ‘dataclasses‘
import gensim报错
2022-06-22 18:00:23 3958 2
原创 linux conda安装tensorflow虚拟环境步骤
conda create -n your_vir_name python==3.6.8 pipconda activate your_vir_nameconda install cudatoolkit=10.1.243conda install cudnn=7.6.0=cuda10.1_0pip install tensorflow-gpu==2.3.0 -i https://pypi.mirrors.ustc.edu.cn/simple/下面测试能否正常链接GPU:import t.
2022-05-19 14:24:35 614
转载 你可能不需要BERT-flow:一个线性变换媲美BERT-flow - 科学空间|Scientific Spaces - sujianlin
转载自:你可能不需要BERT-flow:一个线性变换媲美BERT-flow - 科学空间|Scientific SpacesBERT-flow来自论文《On the Sentence Embeddings from Pre-trained Language Models》,中了EMNLP 2020,主要是用flow模型校正了BERT出来的句向量的分布,从而使得计算出来的cos相似度更为合理一些。由于笔者定时刷Arixv的习惯,早在它放到Arxiv时笔者就看到了它,但并没有什么兴趣,想不到前段时间小火了一
2022-05-17 16:06:26 483
原创 Could not load dynamic library libcudart.so.10.1
环境:python 3.6.8 tensorflow-gpu2.3.0 CUDA 10.0.130 cudnn 7.6.0错误:不能正确加载GPU解决方案:conda install cudatoolkit=10.1升级cuda 10.0 -> 10.1升级完成后,经测试,可以正常加载GPU;
2022-04-21 17:27:28 3062
原创 curl指令与request获取参数对应
背景:很多时候,服务上线后需要在linux服务器上,直接去调试服务,测试服务是否正常等,这就需要使用到curl指令去请求,而python后端服务不同的获取参数方式,限制了curl请求的不同传参方式,不对应,就会导致获取不到正确的参数。此处做下对应记录。1. python后端代码如下:curl请求格式对应如下:curl --location --request POST 'http://ip:port/***' --form 'text=不好吃'--form 'tag=随便'有几个参.
2022-04-19 16:18:45 9130
原创 使用tensorflow-gpu-2.6.1作为基础镜像打包出现的坑
Dockerfile:FROM tensorflow/tensorflow:2.3.0-gpurequirements.txt如下:tensorflow-gpu>=2.1执行打包过程中,正常情况下,tf版本已经符合要求,不应该重新安装,但是却一直如下:启动tensorflow/tensorflow:2.3.0-gpu镜像,进入容器查看pip安装包:发现里面竟然没有tf-gpu。继续确认是否可检测GPU:综上所述,tf-2.6.2-gpu官方..
2022-03-03 18:11:48 884
原创 Linux服务器上,打包带有ssh服务的镜像,作为Pycharm的远程Python环境步骤
1. 打包基础镜像Dockerfile参考:FROM tensorflow/tensorflow:2.3.0-gpuCOPY .ssh /root/.ssh # 因为本人需要使用git安装自己公司的项目,所以需要自己电脑的ssh相关文件RUN chmod 600 /root/.ssh/id_rsa# 改成北京时间RUN rm -rf /etc/localtime && ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localti
2022-03-03 11:14:17 1169
原创 install ssh in docker image,Error:Couldn‘t create temporary file /tmp/apt.conf.CtZH9J
错误信息:Hit:1 http://archive.ubuntu.com/ubuntu bionic InReleaseGet:2 http://security.ubuntu.com/ubuntu bionic-security InRelease [88.7 kB]Err:1 http://archive.ubuntu.com/ubuntu bionic InRelease Couldn't create temporary file /tmp/apt.conf.CtZH9J for pa
2022-03-02 16:47:14 613
原创 MacOS + Pycharm + Docker + Dockerfile打包报错:GPG error: At least one invalid signature was encountered
配置如标题所示;报错截图如下:查阅各种资料,很多种说法,解决方案,有加RUN apt clean的,有说是DNS问题,修改docker配置的,但是我的都解决不了,然后,这次经历再次让我见识到了“重启大法”之功效。下面介绍下重启思路:1- 想着可能是网络问题,首先尝试重启电脑;重启后,无效;2- 那就可能是本机docker问题,重启docker;无效;3- emm...可能的确是配置存在问题,我升级下docker试试;升级,重启,无效;4- 盯着Pycharm看了半天,重启下P
2022-01-05 14:04:23 1092
查找最相似的英文句子 python
2018-08-23
寻找两个文件中相同的句子 python
2018-08-23
使用md5对文件去重 python
2018-08-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人