大鹏的专栏

关注人工智能，自然语言处理，算法，图像识别，大数据，语义网，知识图谱，编译原理，网络安全，软件架构，计算机语言的发展等等

原创文本生成任务的评价方法BLEU 和 ROUGE

BLEU 是 2002 年提出的，而 ROUGE 是 2003 年提出的。这两种指标虽然存在着一些问题，但是仍然是比较主流的评价指标。

2024-04-20 20:22:05 997

原创 gemma 大模型（gemma 2B,gemma 7B）微调及基本使用

Gemma是Google推出的一系列轻量级、最先进的开放模型，基于创建Gemini模型的相同研究和技术构建。提供了 2B 和 7B 两种不同规模的版本，每种都包含了预训练基础版本和经过指令优化的版本。所有版本均可在各类消费级硬件上运行，无需数据量化处理，拥有高达 8K tokens 的处理能力：它们是文本到文本的、仅解码器的大型语言模型，提供英语版本，具有开放的权重、预训练的变体和指令调优的变体。Gemma模型非常适合执行各种文本生成任务，包括问答、摘要和推理。

2024-03-28 21:41:31 2525

原创 Transformers 直观解释——不仅是如何工作，而且为什么工作得这么好

查询Q和键K之间的点积计算每对单词之间的相关性。然后将该相关性用作“因子”来计算所有值V的加权和。该加权和作为注意力分数输出。Transformer 学习嵌入等，从而使彼此相关的单词更加对齐。这是引入三个线性层并为查询、键和值创建三个版本的输入序列的原因之一。这为注意力模块提供了更多参数，它可以学习这些参数来调整词向量的创建。

2024-03-27 22:36:02 701

原创传统语音识别系统流程

语音识别传统方法主要分两个阶段：训练和识别，训练阶段主要是生成声学模型和语言模型给识别阶段用。

2024-01-19 18:18:34 963

原创 postgres 登录及常用命令

PostgreSQL默认会创建一个postgres的数据库用户作为数据库的管理员。将sqlScript.sql导入到名为database的数据库中。

2023-12-06 18:43:44 644

原创 Paraformer 语音识别原理

模Paraformerr的组成：Encoder(编码器)，Predictor(预测器)，Sampler（采样器），Decoder（解码器），loss function。

2023-11-30 17:23:54 985

原创 NLP中大语言模型LLM中的思维链 Chain-of-Thought(CoT) GoT

在过去几年的探索中，业界发现了一个现象，在增大模型参数量和训练数据的同时，在多数任务上，模型的表现会越来越好。因而，现有的大模型LLM，最大参数量已经超过了千亿。然而，增大模型参数规模，对于一些具有挑战的任务（例如算术、常识推理和符号推理）的效果，并没有太大提升。对于算术类推理任务，我们期望模型生成自然语言逻辑依据来指导并生成最终答案，但是获得逻辑依据是比较复杂昂贵的（标注成本层面）。

2023-11-24 22:19:47 1690

原创 word中使用latex多行公式,矩阵公式

word中使用latex多行公式，矩阵公式。

2023-09-27 14:11:33 1100

原创 python reportlab 生成多页pdf

【代码】python reportlab 生成多页pdf。

2023-09-26 09:57:26 549

原创 python reportlab生成pdf

添加页码，支持中文

2023-09-26 09:40:13 110

原创 python reportlab生成pdf

这里自定义了pagetemplate，使用BaseDocTemplate，但我感觉一般使用SimpleDocTemplate就可以。

2023-09-26 09:15:34 672

原创 redis配制redis-static-server

3.将“protected-mode yes”改成“protected-mode no”。1.打开redis的配置文件“redis.conf”。2.将“bind 127.0.0.1”注释掉。5.重启redis服务即可。4.添加以下一行代码。

2023-09-06 10:50:59 437

原创 update-alternatives 下安装cudnn

dpkg -l查找，若要查找对应的package，可以加通配符，如查找包含fox的package。注意，卸载时候是package_file.deb对应的package name。这种方式不适合在“update-alternatives”下安装。但是这里对libcudnn8不合适，不知道为什么。“update-alternatives”下安装。如果没有驱动，那么就需要手动安装显卡驱动了。若不知道package name，可以通过。查看是否安装NVIDIA显卡。程序会被解包到var目录下。

2023-07-24 16:29:22 206

原创 ubuntu重启：A stop job is running for Advanced key-value store

这个按理说应该可以但是不行，最后让我把redis卸载了，才可以了。

2023-07-20 17:09:19 335

原创 Ubuntu中使用update-alternatives实现多版本CUDA切换，卸载cuda 、cudnn

Ubuntu中使用update-alternatives实现多版本CUDA切换

2023-07-20 16:37:56 433

原创项目化思维

利用WBS（名词）制定计划，是行动，动词。D:Deliverables 可交付物。I:Influencer关键影响人。A:Acceptance 成功标准。最底层可交付物是工作包：是名词。最大的风险就是没有分险意识。P:Purpose目的。

2023-07-19 16:27:57 613

原创搭建Git本地服务器及其使用

GitHub就是一个免费托管开源代码的远程仓库。但是对于某些视源代码如生命的商业公司来说，既不想公开源代码，又舍不得给GitHub交保护费，那就只能自己搭建一台Git服务器作为私有仓库使用。搭建Git服务器需要准备一台运行Linux的机器，强烈推荐用Ubuntu或Debian，这样，通过几条简单的apt命令就可以完成安装。假设你已经有sudo权限的用户账号，下面，正式开始安装。

2023-07-05 15:43:07 6873

原创 CTCLoss如何使用-引用

CTC(Connectionist Temporal Classification)主要是处理不定长序列对齐问题，而CTCLoss主要是计算连续未分段的时间序列与目标序列之间的损失。CTCLoss对输入与目标可能对齐的概率求和，产生一个相对于每个输入节点可微分的损失值。假设输入到目标的对应关系是“多对一”的，那么这限制了目标序列的长度，因此目标序列的长度必须是小于或者等于输入长度。

2023-06-29 15:29:26 77

原创 Nextcloud实现协同办公 -V2

V1在这里：https://blog.csdn.net/philosophyatmath/article/details/130594037。V2没有继续使用onlyoffice而是使用nextcloud office。

2023-06-28 16:48:15 756

原创 vcpkg

./vcpkg install boost --triplet=x64-mingw-dynamicYou can simply use one of the mingw triplets. (x64|x86)-mingw-(dynamic|static), e.g. x64-mingw-dynamic.You need to tell vcpkg which triplet to use via the following variables:export VCPKG_DEFAULT_TRIPLET=x6

2023-06-25 14:47:24 200

原创 Nextcloud集成Onlyoffice实现协同办公。

利用nextcloud集成onlyoffice实现协同办公，文件管理。

2023-05-18 13:57:09 1908 1

原创 TypeError: Cannot read properties of undefined (reading ‘apply‘) vue-router

环境：“webpack”:“5.76.2”,“vue”: “^3.2.47”

2023-03-24 11:31:34 152

原创熵权法实现

一般来说，若某个指标的概率越大，不确定程度越小，信息熵越小，指标离散程度越大，提供的信息量越多，在综合评价中所能起到的作用也越大，其权重也就越大。相反，某个指标的指标的概率越小，不确定程度越小，信息熵越大，表明指标值得离散程度越小，提供的信息量也越少，在综合评价中所起到的作用也越小，其权重也就越小。而熵权法是统计学领域，与信息学领域对熵值的解释有所不同。简言之，在统计学领域中，当数据越分散时，熵值越小，可认为该数据包含信息越多，因此权重越大，这也是熵权法的解释；而在信息学领域中，数据越分散，计算熵值越小，数

2023-02-23 17:08:34 386

原创网站热门排序算法分析

网站热点排序算法

2023-02-02 11:11:06 229

原创 VS Code Python调试时,选择conda虚拟环境

选择VS Code 的菜单项 View-> Command Palette。VS Code Python调试时,选择conda虚拟环境，配置环境变量。1 VS Code 调试Python时,选择conda虚拟环境。2.输入Python:Select Interpreter。

2023-01-19 14:55:37 559

原创 pip install 时出现connection broken by ‘SSLError...解决办法

pip install 包名 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com。

2023-01-05 11:18:39 556

原创机器学习工具

通过完全托管的基础设施、工具和工作流程为任何用例构建、训练和部署机器学习 (ML) 模型。https://aws.amazon.com/cn/sagemaker/ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！我们希望在汇集行业领先的预训练模型，减少开发者的重复研发成本，提供更加绿色环保、开源开放的AI开发环境和模型服务，助力绿色“数字经济”事业的建设。 ModelScope平台将以开源的方式提供多类优质模型，开发者

2022-12-07 16:34:26 100

原创 Self -Attention、Multi-Head Attention、Cross-Attention

Self -Attention是一端的注意力机制。Cross-Attention是两端的注意力机制，然后合起来。

2022-11-24 10:31:23 28743 7

原创集成学习算法

bagging、boosting、stacking

2022-11-17 15:02:17 335

转载长短期记忆网络（LSTMs）介绍

长短期记忆网络（LSTMs）介绍1：传统RNN的缺点，LSTM结构解析，LSTM变体简介

2022-11-14 18:43:49 122

原创访问github的私有仓库

点击 New SSH key 按钮添加一个 SSH key。把你复制的 SSH key(公钥) 代码粘贴到 key 所对应的输入框中，记得 SSH key 代码的前后不要留有空格或者回车。上面的 Title 所对应的输入框你也可以输入一个该 SSH key 显示在 github 上的一个别名，也可以不输入，默认会使用你的邮件名称。从右上角的设置（ Settings ）进入，然后点击菜单栏的 “SSH and GPG keys” 进入页面。然后就可以正常的push了。

2022-11-10 17:53:15 1754

原创 golang 调用ffmpeg 命令

【代码】golang 调用ffmpeg 命令。

2022-11-10 14:45:33 303

原创 K-means 有一个著名的解释：牧师—村民模型

有四个牧师去郊区布道，一开始牧师们随意选了几个布道点，并且把这几个布道点的情况公告给了郊区所有的村民，于是每个村民到离自己家最近的布道点去听课。听课之后，大家觉得距离太远了，于是每个牧师统计了一下自己的课上所有的村民的地址，搬到了所有地址的中心地带，并且在海报上更新了自己的布道点的位置。牧师每一次移动不可能离所有人都更近，有的人发现A牧师移动以后自己还不如去B牧师处听课更近，于是每个村民又去了离自己最近的布道点……就这样，牧师每个礼拜更新自己的位置，村民根据自己的情况选择布道点，最终稳定了下来。

2022-11-10 11:13:07 520

原创 Could NOT find Boost (missing: uuid) 和 LNK2019 unresolved external symbol _Bcrypt*

代码】CouldNOTfindBoost(missinguuid)和LNK2019unresolvedexternalsymbol_Bcrypt*

2022-07-26 10:45:09 396

原创 grpc:--proto_path passed empty directory name. (Use “.“ for current directory.)

这将生成消息结构所需的 cpp 文件报错：解决：此命令将生成服务接口所需的 cpp 文件

2022-06-30 17:02:51 1252

原创 Linux 配置 history 命令显示操作时间、登录 IP、用户

在配置文件中(/etc/bashrc 或者 /etc/profile 或者~/.bash_profile 或者 ~/.bashrc)添加如下配置

2022-06-16 14:58:21 452

原创 cmake学习笔记

CMake是一种跨平台编译工具，比make更为高级，使用起来要方便得多。CMake主要是编写CMakeLists.txt文件，然后用cmake命令将CMakeLists.txt文件转化为make所需要的makefile文件，最后用make命令编译源码生成可执行程序或共享库（so(shared object)）。因此CMake的编译基本就两个步骤：cmake 指向CMakeLists.txt所在的目录，例如cmake … 表示CMakeLists.txt在当前目录的上一级目录。cmake后会生成很多编译的中

2022-06-07 16:52:48 469

原创 Windows下使用MinGW编译boost库

–prefix= 编译后安装路径，默认C:\Boost–build-type= 编译类型，可选minimal（最小）、complete（完整），默认minimal。–with- 加入此参数，代表只编译的库。–without- 加入此参数，代表忽略编译的库。toolset 编译器，win下默认msvc，用MinGW则选择gcc。./b2.exe install -j8 --prefix=D:\ThirdLibrary\boost_1_79_0_mingw --buil

2022-06-02 16:28:28 584

转载解决：OpenSSL SSL_connect: Connection was reset in connection to github.com:443

Failed to connect to github.com port 443: Timed outFailed to connect to 127.0.0.1 port 1080: Connection refusedgit config --global http.proxy http://127.0.0.1:1080git config --global https.proxy http://127.0.0.1:1080git config --global --unset http.pro

2022-05-31 17:35:43 2892

原创打开端口ubuntu 20

sudo iptables -I INPUT -p tcp --dport 8485 -j ACCEPTsudo iptables-savesudo apt-get install iptables-persistent -ysudo netfilter-persistent savesudo netfilter-persistent reloadiptables -L 查看iptables策略：iptables-save > /etc/network/iptables.up.rules

2022-05-11 15:12:49 969

HTK语音识别

HTK语音识别,包括在centos 7下编译通过的HTK-3.5.beta-2版本，并且改写makefile为cmake。还包括一个例子。地址；http://blog.csdn.net/philosophyatmath/article/details/64905670

2017-03-22

数理统计与数据分析第3版

《数理统计与数据分析（原书第3版）》内容丰富，几乎涵盖了所有经典和前沿的概率论与数理统计理论和方法，主要包括概率、随机变量、联合分布、期望、极限定理、抽样调查、参数估计、假设检验、数据汇总、两样本比较、方差分析、分类数据分析和线性最小二乘等。

2015-11-24

基于C#的ribbon组件

基于C#的ribbon组件，office 2007的菜单样式,在网上看到这个，分享一下。

2014-11-23

神经网络原理

神经网络是计算智能和机器学习研究的最活跃的分支之一。本书全面系统地介绍神经网络的基本概念、系统理论和实际应用

2014-08-03

基于jersey v2.10的webservice核心框架

在这个框架中包含base认证，日志，rest，eclipselink jpa等等。但是有个问题就是我在利用@PersistenceUnit注解是总是无法成功，也只能自己亲自完成这块代码。

2014-07-24

Eclipse Rich Client Platform 2nd Edition with Source Code.zip

Eclipse Rich Client Platform 2nd Edition with Source Code

2014-05-12

模式分析的核方法,english 2th edition

Pattern Analysis is the process of finding general relations in a set of data, and forms the core of many disciplines, from neural networks to so-called syntactical pattern recognition, from statistical pattern recognition to machine learning and data mining. Applications of pattern analysis range from bioinformatics to document retrieval. The kernel methodology described here provides a powerful and unified framework for all of these disciplines, motivating algorithms that can act on general types of data (e.g. strings, vectors, text, etc.) and look for general types of relations (e.g. rankings, classifications, regressions, clusters, etc.). This book fulfils two major roles. Firstly it provides practitioners with a large toolkit of algorithms, kernels and solutions ready to be implemented, many given as Matlab code suitable for many pattern analysis tasks in fields such as bioinformatics, text analysis, and image analysis. Secondly it furnishes students and researchers with an easy introduction to the rapidly expanding field of kernel-based pattern analysis, demonstrating with examples how to handcraft an algorithm or a kernel for a new specific application, while covering the required conceptual and mathematical tools necessary to do so. The book is in three parts. The first provides the conceptual foundations of the field, both by giving an extended introductory example and by covering the main theoretical underpinnings of the approach. The second part contains a number of kernel-based algorithms, from the simplest to sophisticated systems such as kernel partial least squares, canonical correlation analysis, support vector machines, principal components analysis, etc. The final part describes a number of kernel functions, from basic examples to advanced recursive kernels, kernels derived from generative models such as HMMs and string matching kernels based on dynamic programming, as well as special kernels designed to handle text documents. All those involved in pattern recognition, machine learning, neural networks and their applications, from computational biology to text analysis will welcome this account.

2010-12-10

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人