- 博客(677)
- 收藏
- 关注
RSS订阅原创 AI实时在线图片工具：文本生成图像、去除背景、增强分辨率、人物风格化
https://nuxt-sam-webgpu.labz2.com/ （sam分割算法）https://getimg.ai/realtime（支持任务、卡通形象实时生成）
2024-04-23 10:51:33
149
原创 RLHF强化学习对其算法：PPO、DPO、ORPO
参考：最新的llama3是PPO、DPO两种方法使用人类反馈强化学习 (RLHF)，它利用人类偏好和指导来训练和改进机器学习模型：direct policy optimization (DPO)直接偏好优化ORPO（直接相当于合并了监督微调SFT+RLHF）是另一种新的LLM对齐方法，这种方法甚至不需要SFT模型。通过ORPO，LLM可以同时学习回答指令和满足人类偏好。
2024-04-19 14:00:39
543
原创 AI大模型语音实时对话聊天机器人实现：ollama、funasr；支持语音实时语音打断；回音消除噪声抑制
ASR:funasr支持语音实时语音打断：这是通过子进程的控制创建与杀掉，这里是通过有人再次说话就打断tts参考：1)ASR(实时语音转录，支持自动vad识别)Pipe2)ollama api接口decode3） tts。
2024-04-19 10:52:58
374
原创 apipost、postman等工具上传图片测试flask、fastapi的文件api接口
参考：https://blog.csdn.net/qq_15821487/article/details/119354129。选择from-data，下拉选择file上传文件发送即可。
2024-04-19 10:26:49
157
原创 linux /proc进程文件目录介绍
exe （执行该脚本的具体命令）— 指向启动当前进程的可执行文件（完整路径）的符号链接，通过/proc/N/exe可以启动当前进程的一个拷贝。参考：https://zhuanlan.zhihu.com/p/619966043。有时候想只查出来进程号，可以通过/proc/下查出该进程的运行及执行脚本情况信息。cwd（执行该脚本的目录） — 指向当前进程运行目录的一个符号链接。2）查看/proc进程目录具体进程。1）首先通过ps查出进程号。
2024-04-19 09:41:05
213
原创 multiprocessing Process子进程会把非main的代码重新再次执行
测试下来from funasr import AutoModel非常耗时，如果放在外面启动子进程都会再次执行会非常影响。把只需要执行一遍的逻辑或者python import耗时的包放到main函数里。
2024-04-18 19:32:52
154
原创 ragflow 大模型RAG知识库使用案例
支持丰富的文件类型，包括 Word 文档、PPT、excel 表格、txt 文件、图片、PDF、影印件、复印件、结构化数据, 网页等。注意：Docker >= 24.0.0 & Docker Compose >= v2.26.1。5、ip+端口（我这里8082）进入前端页面，需要注册账号才能进入，随便注册即可。1、如果启动时候端口冲突，可以自己进入yml进行修改端口。3、运行docker compose。这里也可以提前默认设置好相关模型。7、聊天（选择知识库与模型）6、进入后可以设置添加模型。
2024-04-18 15:03:38
513
1
原创 asyncio.create_task 异步非阻塞任务创建
希望实现循环里创建多个进程，在循环中即刻进入下一次循环，而不是等待worker函数执行完，使用asyncio.create_task来创建异步任务，并设置其立即启动。然后，可以在主函数中使用asyncio.gather来等待所有任务完成，但是在等待过程中主函数不会被阻塞。
2024-04-17 14:37:35
183
原创 AI预测小分子与蛋白的相关特征： MegaMolBART, MoFlow，ESM-1, ESM-2
安装上面esm包后，可以通过下面esm-extract命令行提取蛋白的特征向量。基于 SMILES 的小分子药物发现与化学信息学深度学习模型。两个都是META对蛋白质相关的transformer模型。用flow流方式分子生成。
2024-04-14 09:34:06
129
原创 ollama 模型对外api、openai api服务
参考：https://github.com/ollama/ollama/blob/main/docs/api.md。参考：https://www.53ai.com/news/qianyanjishu/737.html。
2024-04-13 20:01:32
143
原创 生物医药相关大模型：BioMedLM、Mixtral_BioMedical、Med-PaLM2、BioMistral、BioMedGPT
BioMedLM：Med-PaLM：BioMedGPT：主要就是将生物医药相关知识，文本、图像等多模态数据进行构建的行业大模型进行知识问答。
2024-04-13 12:20:08
710
原创 LLM生成模型在生物单细胞single cell的应用：scGPT
训练数据：scGPT全人模型是在3300万个正常人类细胞的scRNA-seq单细胞测向数据上进行预训练的。主要是把单细胞测序出来的基因表达量的拼接起来构建成的序列，这里不是用的基因的ATCG，是直接用的基因名称。输入文本序列就是单细胞测序出来的基因表达量的拼接。
2024-04-13 11:40:16
233
原创 LLM生成模型在生物基因DNA应用：HyenaDNA
不一样的就是𝖧𝗒𝖾𝗇𝖺𝖣𝖭𝖠 block ，主要是GPT的多重自注意力层引入了cnn。整体框架基本就是GPT模型架构。
2024-04-13 11:19:27
127
原创 transformer在生物基因DNA的应用：DNABERT、DNABERT-2
参考：https://www.youtube.com/watch?v=mk-Se29QPBA&t=1388shttps://github.com/jerryji1993/DNABERThttps://github.com/MAGICS-LAB/DNABERT_23k-mer切分下图：DNABERT-2主要是切次方法的改进向量特征提前：
2024-04-13 11:06:35
453
原创 docker-compose yaml指定具体容器网桥ip网段subnet；docker创建即指定subnet；docker取消自启动
docker-compose 启动yaml有时可能的容器网段与宿主机的ip冲突导致宿主机上不了网，这时候可以更改yaml指定subnet。宿主机内网一般是192**，这时候容器可以指定172*
2024-04-12 20:02:36
344
原创 Ollama、FastGPT大模型RAG知识库结合使用案例
参考：Ollama作为后端大模型加载运行FastGPT作为前端页面聊天集成RAG框架。
2024-04-12 19:47:01
723
原创 ollama与open-webui、lobe-chat简单使用案例
参考：ollama最为大模型后端服务open-webui前端聊天页面ollama直接下载客服端安装win cpu安装推理；open-webui使用docker安装。
2024-04-11 18:53:25
367
原创 T-GATE 无需要训练加速diffusion模型； PixArt-Alpha LCM再加速使用
lcm_pixart 模型这里用本地下载的，然后改用了cpu offload加载因为gpu资源不足。inference_step 4-10高点效果会好点，这步数比原来20来布确实有提升。参考：https://github.com/HaozheLiu-ST/T-GATE。
2024-04-10 14:19:10
53
原创 全自动实时语音对话chatbot实现代码示例
实现类似chatgpt、通义千问实时语音聊天功能：流程：录音（vad自动停止录音）+语音识别+llm回复+语音合成。
2024-04-08 07:20:12
88
1
原创 pdf、docx、markdown、txt提取文档内容，可以应用于rag文档解析
返回的是文档解析分段内容组成的列表，分段内容默认chunk_size: int = 250, chunk_overlap: int = 50，250字分段，50分段处保留后面一段的前50字拼接即窗口包含下下一段前面50个字划分。
2024-04-07 16:18:42
317
原创 pyaudio webrtcvad实现实时录制语音加VAD检测没人说话自动停止录制
vad检测没人说话超过2秒就自动停止录制并保存前面有人说话的音频文件。
2024-04-05 09:57:21
383
1
原创 Flask Response生成流式数据api；iter_lines，iter_content流式数据遍历区别
iter_lines()方法是按行读取服务器返回的数据流。它会在遇到换行符或指定的分隔符(delimiter=b"\0")时,将数据流分割成多个块。iter_content()方法会在每次读取到指定大小的数据块时就返回该数据块,而不需要等待换行符或特定分隔符。注意return与def generate():是同级的。
2024-04-01 17:38:48
396
原创 SRS OBS利用RTMP协议实现音视频推拉流；WebRTC 屏幕直播分享工具
参考：https://ossrs.net/lts/zh-cn/docs/v5/doc/getting-started运行起来后可以http://localhost:8080/ 看到服务基本信息：2） OBS 推流在设置里设置直播地址：然后回到首页点击开始直播3）点击http://localhost:8080/ 可以网页查看流视频。
2024-03-30 22:12:40
879
原创 EasyDarwin 、ffmpeg 音视频推流拉流；OBS视频推理软件、obs-rtspserver服务器；python读取rtsp流
参考：https://blog.csdn.net/N71FS1/article/details/130019563。
2024-03-30 11:05:24
653
原创 supervision CV视觉可视化辅助工具
参考：https://supervision.roboflow.com/latest/https://github.com/roboflow/supervision/tree/develop/examples版本：ultralytics-8.1.35supervision 0.16.0简单案例：跟踪案例https://github.com/roboflow/supervision/tree/develop/examples/heatmap_and_track运行结果：具体代码：
2024-03-28 17:04:27
280
原创 gradio ChatInterface快速创建大模型LLM对话聊天页面
参考：https://www.gradio.app/guides/creating-a-chatbot-fast。
2024-03-28 14:44:24
273
原创 FunASR 框架使用；api服务搭建
参考：安装版本：funasr 1.0.191、解耦modelscope版本限制（不再需要更新版本），所有模型不再需要指定model_revision，自动下载最新模型资源。2、根据模型自动安装该模型的三方依赖包，不再需要用户手动去安装了。
2024-03-26 16:32:16
271
原创 ASR-LLM-TTS 大模型对话实现案例；语音识别、大模型对话、声音生成
参考：https://blog.csdn.net/weixin_42357472/article/details/136305123（llm+tts）这里LLM用的是chatglm。
2024-03-25 17:42:13
634
原创 linux共享挂载文件到另外一台linux
NFS（Network File System）来共享文件系统并将其挂载到另一台 Linux 主机上。
2024-03-25 14:55:36
436
原创 flask before_request、before_first_request、after_request；AttributeError: ‘Flask‘ object has no attrib
解决方法：这是因为flask在版本2.3以后这个函数before_first_request已经取消，要么降级版本。flask before_request、after_request就是flask每次每一个请求都前后会额外自定义处理其他；before_first_request是这个整个flask程序运行前执行一次。这两个都是after_request导致，2）是因为没有return；3）是因为set_after(response)里没有传参；after_request使用必须传参和retrun返回。
2024-03-24 10:09:29
425
原创 分布式训练多机（节点）数据并行的数据划分DistributedSampler
参考：分布式训练数据看样子和模型一样，每个节点都要拷贝，注意路径也要一样；DistributedSampler是分配每个gpu上的数据索引值列表。
2024-03-24 09:49:11
41
原创 windows11 openssh服务开启；第三方ping不通局域网windows电脑；ssh连接内部ubuntu系统
参考：https://blog.csdn.net/2301_77554343/article/details/134328867。
2024-03-23 12:32:29
282
原创 docker: Error response from daemon: could not select device driver ““ with capabilities: [[gpu]]
报错：docker: Error response from daemon: could not select device driver “” with capabilities: [[gpu]].参考：https://blog.csdn.net/felton_cool/article/details/134327204。前面安装后可能会导致之前的/etc/docker/daemon.json 文件内容会丢失失效；因为前面更改过默认路径，所以/etc/docker/daemon.json 重新写上。
2024-03-21 19:53:21
167
diffusers-flask-streamlit AIGC文生图代码案例，前端后端代码
2024-03-01
unidic-mecab 字符文件unidic-3.1.0下载
2024-03-01
yolov9 自有数据训练代码参考
2024-03-01
中文语音唤醒模型sherpa-onnx-kws-zipformer-wenetspeech-3.3M-2024-01-01 (C
2024-03-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人