soulteary-CSDN博客

本篇文章聊聊，在 Android 手机上简单运行 AI 大模型的方法，来体验英文语言模型（Llama2 7B、Mistral 7B、RedPajama 3B、Google Gemma 2B、Microsoft PHI 2B）；中文语言模型（面壁 MiniCPM、多模态模型）；Stable Diffusion。

2024-02-29 14:54:09 5961 3

原创本地运行面壁智能的“贺岁模型”：MiniCPM 2B

简单聊聊可以在端侧运行的 Mini CPM 2B SFT / DPO 版本的模型。

2024-02-02 20:59:28 694

原创 Stable Diffusion XL Turbo 文生图和图生图实践

本篇文章聊聊，如何快速上手 Stable Diffusion XL Turbo 模型的文生图和图生图实战。

2024-01-13 00:17:12 1235

原创在 Nvidia Docker 容器编译构建显存优化加速组件 xFormers

本篇文章，聊聊如何在新版本 PyTorch 和 CUDA 容器环境中完成 xFormers 的编译构建。让你的模型应用能够跑的更快。

2024-01-12 17:26:54 612

原创哔哩哔哩浏览器 AI 助手：bilibili subtitle

分享一个好用不火的浏览器插件，能够让我们在浏览 B 站视频的时候体验更棒。

2024-01-10 15:33:43 1090

原创 Amazing OpenAI API：把非 OpenAI 模型都按 OpenAI API 调用

分享一个有趣的小工具，10MB 身材的小工具，能够将各种不同的模型 API 转换为开箱即用的 OpenAI API 格式。让许多依赖 OpenAI API 的软件能够借助开发者能够接触到的，非 OpenAI 的 API 私有部署和使用起来。

2024-01-09 23:49:47 1130

原创节省时间：AI 模型靠谱下载方案汇总

希望你下载模型愉快，早晨很快，中午很快，晚上也很快。

2024-01-09 10:08:38 1069

原创使用 Docker 和 Diffusers 快速上手 Stable Video Diffusion 图生视频大模型

本篇文章聊聊，如何快速上手 **Stable Video Diffusion (SVD)** 图生视频大模型。

2024-01-08 16:02:06 1282

原创修复 OpenCV 依赖错误的小工具：OpenCV Fixer

使用 Nvidia 官方 Docker 镜像折腾 Stable Video Diffusion 的时候，发现 OpenCV 社区有一个古怪的 issue 需要手动解决，所以顺手写了一个能够自动修复的小工具。以及，聊聊如何快速的发布一个 Python 软件包。

2024-01-07 21:45:11 1804 3

原创改善 GitHub Pages 阅读体验：Quick Docs

一个不到 10MB 的小工具，来提供本地、快速的文档访问，来改善开发过程中，阅读在线文档体验糟糕的问题。以及，介绍如何快速制作一个利于分发使用的，离线文档工具包。

2024-01-04 21:18:43 1229

原创你的网站或许不需要前端构建（二）

前一阵，有朋友问我，能否在不进行前端编译构建的情况下，用现代语法开发网站界面。

2024-01-04 12:08:08 1148

原创完善 Golang Gin 框架的静态中间件：Gin-Static

Gin 是 Golang 生态中目前最受用户欢迎和关注的 Web 框架，但是生态中的 `Static` 中间件使用起来却一直很不顺手。所以，我顺手改了它，然后把这个改良版开源了。

2024-01-03 20:26:43 1420 1

原创中文版大模型 Token 成本计算器

分享一个轻量的小工具，10MB 左右，能够帮助你直观的了解大模型 Token 的计算方法。希望能够帮助到想了解或者正在规划模型 API 使用成本的你。

2023-12-28 20:35:18 1403

原创 CPU 混合推理，非常见大模型量化方案：“二三五六” 位量化

本篇文章聊聊网上聊的比较少的具体量化操作，非常见整型位数的量化，来自让各种开源模型能够在 CPU 环境、CPU & GPU 环境混合推理的技术方案：llama.cpp 。接下来，有计划分享一些关于各种开源模型的实践内容。为了能让更多的同学能够玩起来，降低入门的硬件门槛还是很有必要的。模型量化技术就是这样一个“神奇、有效”的方案。

2023-12-12 00:50:21 1327

原创零一万物模型折腾笔记：官方 Yi-34B 模型基础使用

当争议和流量都消失后，或许现在是个合适的时间点，来抛开情绪、客观的聊聊这个 34B 模型本身，尤其是实践应用相关的一些细节。来近距离看看这个模型在各种实际使用场景中的真实表现和对硬件的性能要求。或许，这会对也想在本地私有化部署和运行模型的你有帮助，本篇是第一篇相关内容。

2023-12-10 09:41:20 4646

原创把 Windows 11 装进移动硬盘：Windows 11 To Go

本篇文章聊聊如何制作一个可以“说带走就带走”的 Windows 操作系统，将 Windows11 做成能够放在 U 盘或者移动硬盘里的 WinToGo “绿色软件”。

2023-12-06 00:06:01 2033

原创本地运行“李开复”的零一万物 34B 大模型

这篇文章，我们来聊聊如何本地运行最近争议颇多的，李开复带队的国产大模型：零一万物 34B。

2023-11-26 22:51:07 5558 1

原创使用 Redis 构建轻量的向量数据库应用：图片搜索引擎（二）

本篇文章我们来继续聊聊轻量的向量数据库方案：Redis，如何完成整个图片搜索引擎功能。

2023-11-16 11:07:19 3693

原创使用 Redis 构建轻量的向量数据库应用：图片搜索引擎（一）

本篇文章聊聊更轻量的向量数据库方案：Redis。以及基于 Redis 来快速实现一个高性能的本地图片搜索引擎，在本地环境中，使用最慢的稠密向量检索方式来在一张万图片中查找你想要的图片，总花费时间都不到十分之一秒。

2023-11-15 01:17:16 672

原创开源软件 FFmpeg 生成模型使用图片数据集

本篇文章聊聊，成就了无数视频软件公司、无数在线视频网站、无数 CDN 云服务厂商的开源软件 ffmpeg。分享下如何使用它将各种视频或电影文件，转换成上万张图片数据集、壁纸集合，来让下一篇文章中的模型程序“有米下锅”，这个方法特别适合宫崎骏、新海诚这类“壁纸合集”类电影。

2023-11-14 16:17:41 2550

原创 NAS 扩容简明指南：使用各种外设给 NAS 们扩容

说起来有趣，NAS 除了“不同设备共享存储”这个功能之外，最重要的功能就是为设备扩容，但是 NAS 自己的存储容量不够了，又该如何。这篇文章分享下我目前使用外设给 NAS 扩容的思路，如何以相对低的成本来获取更大的容量和更稳妥的数据存放体验，也聊聊入手了几个月的硬盘阵列盒，以及之前使用过的各种模式的好处和踩坑之处。

2023-11-11 12:36:08 389