- 博客(578)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 在Win11上部署大模型推理加速工具vLLM
vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库，用于 LLM 推理和服务，可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法PagedAttention，有效地管理注意力键和值。在吞吐量方面，vLLM的性能比HuggingFace Transformers(HF)高出 24 倍，文本生成推理（TGI）高出3.5倍。
2024-04-08 10:50:46
448
原创 Python实现WebSocket通信
WebSocket是一种在单个TCP连接上进行全双工通信的协议,位于 OSI 模型的应用层。与传统的HTTP请求-响应模型不同，WebSocket的最大特点就是，服务器可以主动向客户端推送信息，客户端也可以主动向服务器发送信息，实现实时性和互动性。
2024-03-25 15:39:33
840
原创 使用Docker安装detectron2
Detectron2 官网安装教程是基于 linux 安装的，在 windows 上直接安装有很多问题，下面采用 docker 方式在 windows 上安装。Detectron2 是一个用于目标检测、分割和其他视觉识别任务的平台。安装Miniconda3。安装detectron2。拉取cuda116镜像。
2024-03-19 20:19:47
236
原创 部署高斯喷射项目gaussian-splatting
硬件要求支持 CUDA 的 GPU，具有 7.0+ 的计算能力24 GB VRAM软件要求Conda用于 PyTorch 扩展的 C++ 编译器（Visual Studio 2019）
2024-03-18 16:45:36
462
原创 UE5 android打包
Android SDK Command-line Tools，选择Android SDK Command-line Tools (latest)修改包名、数据打包到APK，并禁用验证OBB，继续下拉，找到红色的警告，点击立即配置，自动设置项目以写入必需平台文件。Android SDK Build-Tools 35-rc1，选择30相关内容。进入 Unreal Engine，在菜单中选择“编辑”->“项目设置”选择“平台”->“Android”->“打包项目”选择“平台”->“刷新平台状态”
2024-03-14 19:43:20
1055
原创 docker run带 --gpus all 参数报错：“Auto-detected mode as ‘legacy‘ nvidia-container-cli: mount error”
启动“docker run --gpus all ...”时报错：该镜像是在Ubuntu环境下创建的，而在WSL下使用nvidia-docker启动该镜像时会报错。1. 使用docker而不是nvidia-docker启动原始镜像下的容器（去掉--gpus all）2、在该容器中删除 /usr/lib/x86_64-linux-gnu/libnvidia-ml.so.1 和文件 /usr/lib/x86_64-linux-gnu/libcuda.so.13、新开一个终端，把此时的容器打包为镜像
2024-03-11 15:25:25
733
原创 Python调用XTTS实现声音克隆+文字转语言
XTTS 是一个语音生成模型，不需要过多的训练数据，仅使用一个 6 秒的音频文件即可将语音克隆为不同的语言。XTTS-v2 支持 17 种语言：英语 （en）、西班牙语 （es）、法语 （fr）、德语 （de）、意大利语 （it）、葡萄牙语 （pt）、 波兰语 （pl）、土耳其语 （tr）、俄语 （ru）、荷兰语 （nl）、捷克语 （cs）、阿拉伯语 （ar）、中文 （zh-cn）、日语 （ja）、匈牙利语 （hu）、韩语 （ko） 印地语（hi）
2024-03-11 11:49:01
664
原创 Python调用edge-tts实现在线文字转语音
edge-tts是一个 Python 模块，允许通过Python代码或命令的方式使用 Microsoft Edge 的在线文本转语音服务。
2024-03-06 20:20:13
2158
原创 解决“source ~/.bashrc 无效”的问题
dockerfile 在执行 RUN source ~/.bashrc 的时候会报错：dockerfile默认的shell是sh，无法使用source在 RUN source ~/.bashrc 前面添加以下指令，将shell改为bash
2024-02-28 14:22:34
878
原创 部署PhotoMaker通过堆叠 ID 嵌入自定义逼真的人物照片
PhotoMaker只需要一张人脸照片就可以生成不同风格的人物照片，可以快速出图，无需额外的LoRA培训。
2024-02-28 12:26:25
677
原创 在Win11下安装pytorch3d
一般cl.exe的地址是在Microsoft Visual Studio***\VC\bin\amd64\里面。以管理员身份打开“x64 Native Tools Command Prompt...”安装成功后，将cl.exe的路径添加到环境变量Path中。在conda环境下，进入pytorch3d目录执行编译。安装的时候一定要选择language C++。如果CUDA版本低于11.7，需要安装CUB。下载pytorch3d源码。
2024-02-22 11:29:38
571
1
原创 App ICP备案获取iOS和Android的公钥和证书指纹
依照《工业和信息化部关于开展移动互联网应用程序备案工作的通知》，向iOS和安卓平台提交App时需要先提交ICP备案信息。
2024-02-02 11:15:29
1397
原创 Git提交大文件报错“remote: Please remove the file from history and try again. ”
如在使用Git过程中不小心将较大的二进制文件加入仓库，那么仓库大小很快就会超过规定的配额，在Push的时候会报下面的错误：按照提示输入命令查看存储库中的大文件改写历史，去除大文件
2024-01-22 18:51:47
842
原创 cocoapods 常用命令
删除本地xxx spec库(可以是cocoapods的master库,删除之后,使用pod set up安装;把自己的xxx.podspec文件推送到cocoapods 的spec仓库。执行pod install 但不升级本地cocoapods spec库。执行pod update 但不升级本地cocoapods spec库。在你的工程目录下执行之后,工程目录之下会多一个podfile文件;在工程第一次使用或者中间有添加,删除,更新库的时候使用。更新所有pod 库到podfile指定的最新版本。
2024-01-22 14:51:40
813
原创 UE5 Windows打包时报错“SDK Not Found”解决方案
在Unreal Engine 5.0.3 Windows平台下打包时报错：“Windows的SDK未正常安装，而其是生成数据的必需项。请检查主工具栏中“启动“菜单SDK部分来更新SDK。
2024-01-21 15:17:36
1351
原创 Docker设置获取环境变量
在构建Docker镜像时，可以在Dockerfile中使用ENV指令来设置环境变量。可以在docker-compose.yml中设置环境变量。使用docker run命令在运行容器时设置环境变量。使用docker inspect命令查看。使用docker exec命令查看。指令用于设置环境变量，语法为。选项用于设置环境变量，语法为。添加完后执行下面命令生效。
2024-01-18 19:20:06
1034
原创 解决docker run报错：Error response from daemon: No command specified.
将docker镜像export/import之后，对新的镜像执行docker run时报错：查看容器的command：在docker run命令上增加sh -c command:方案2：改用save/load命令替代export/import
2024-01-10 17:03:50
1045
原创 Stable Diffusion WebUI制作光影文字效果
在huggingface上下载control_v1p_sd15_brightness模型。将模型放在stable-diffusion-webui\extensions\sd-webui-controlnet\models目录下。
2023-12-30 12:34:53
1056
原创 Stable Diffusion WebUI安装合成面部说话插件SadTalker
SadTalker可以根据一张图片、一段音频，合成面部说这段语音的视频。图片需要真人或者接近真人。
2023-12-29 23:30:44
1140
原创 使用Swift Package Manager (SPM)实现xcframework分发
Swift Package Manager (SPM) 是苹果官方提供的用于管理 Swift 项目的依赖关系和构建过程的工具。它是一个集成在 Swift 编程语言中的包管理器，用于解决在开发过程中管理和构建包依赖项的需求。
2023-12-21 18:32:59
973
原创 iOS将framework转为xcframework
先把framework拷贝到两个文件夹下边，这里只需要armv7、arm64、x86_64。把iphonesimulator中的除模拟器之外的指令集删除。把iphoneos中的模拟器指令集删除。使用xcodebuild 进行合成。
2023-12-20 10:35:30
1165
原创 iOS加密CoreML模型
Xcode将模型加密密钥文件保存在与原始模型文件相同的文件夹中，并使用其基名与.mlmodelkey扩展名。例如，名为Classifier.mlmodel模型的加密密钥是同一目录中的Classifier.mlmodelkey。通过双击模型的条目打开模型的编译器标志编辑器。必须在Xcode的Preferences的Accounts页面登录Apple ID，才能在Xcode中生成模型加密密钥。在Xcode中打开模型，单击Utilities选项卡，然后单击“Create Encryption Key”按钮。
2023-12-13 20:21:27
752
原创 使用BigDL-LLM优化大语言模型
BigDL-LLM是一个用于在英特尔XPU上使用INT4/FP4/INT8/FP8运行LLM（大型语言模型）的库，具有非常低的延迟（适用于任何PyTorch模型）。
2023-12-04 16:43:25
1122
原创 uni-app解决video组件全屏时页面横竖错乱问题
使用 video组件播放视频时，在苹果手机上全屏后页面横竖屏错乱，点击返回按钮退出全屏，页面变成横屏，在iOS16 以上都会出现这个问题。video 组件添加fullscreenchange监听事件，当退出全屏时手动设置竖屏。修改manifest.json配置文件。
2023-12-04 11:06:26
1508
3
原创 docker network容器网络通信
Docker 网络主要有以下两个作用：容器间的互联和通信以及端口映射。容器IP变动时候可以通过服务名直接网络通信而不受到影响。
2023-11-25 19:16:38
525
原创 ComfyUI搭建使用教程
ComfyUI 是一个基于节点流程式的stable diffusion AI 绘图工具WebUI， 通过将stable diffusion的流程拆分成节点，实现了更加精准的工作流定制和完善的可复现性。ComfyUI因为内部生成流程做了优化，生成图片时的速度相较于WebUI有10%~25%的提升（根据不同显卡提升幅度不同），生成大图片的时候不会爆显存，只是图片太大时，会因为切块运算的导致图片碎裂。
2023-11-23 20:24:49
9377
1
原创 部署LCM（Latent Consistency Models）实现快速出图
LCM（Latent Consistency Models）可以通过很少的迭代次数就可以生成高清晰度的图片，目前只可以使用一个模型Dreamshaper_v7，基于SD版本Dreamshaper微调而来的。
2023-11-15 19:23:33
2359
原创 Stable Diffusion WebUI使用AnimateDiff插件生成动画
AnimateDiff 可以针对各个模型生成的图片，一键生成对应的动图。
2023-11-15 15:56:04
4088
原创 Swift制作打包framework
Buliding Settings -> Architectures -> Build Active Architecture Only 设置为NO。Buliding Settings -> Linking -> Mach-O Type 设置为Static Library。Buliding Settings -> Linking -> Dead Code Stripping 设置为NO。运行脚本，生成的framework会在项目根目录的Products文件夹下。创建打包合并framework脚本。
2023-11-14 20:15:45
645
1
原创 部署百川大语言模型Baichuan2
Baichuan2是百川智能推出的新一代开源大语言模型，采用 2.6 万亿 Tokens 的高质量语料训练。在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳的效果。包含有 7B、13B 的 Base 和 Chat 版本，并提供了 Chat 版本的 4bits 量化。
2023-11-14 14:47:13
1814
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人