- 博客(74)
- 资源 (9)
- 收藏
- 关注
RSS订阅
原创 预训练语言模型综述（三）—— 预训练语言模型的实际使用
本系列文章是笔者以邱锡鹏老师《Pre-trained Models for Natural Language Processing: A Survey》为主要参考材料所做的关于“预训练（语言）模型综述”的记录，所涉及之素材也包括其他相关综述与未被纳入此综述的工作，分享出来与大家交流讨论。此篇记录预训练语言模型的使用方式与相关应用。...
2021-09-26 22:25:50
1365
原创 预训练语言模型综述（二）—— 预训练任务及训练策略
本系列文章是笔者以邱锡鹏老师《Pre-trained Models for Natural Language Processing: A Survey》为主要参考材料所做的关于“预训练（语言）模型综述”的记录，所涉及之素材也包括其他相关综述与未被纳入此综述的工作，分享出来与大家交流讨论。此篇记录预训练任务及训练技巧。预训练任务预训练任务可归类成监督学习、无监督学习和自监督学习三类任务。自监督学习略微特殊，它也有输入和输出标签，所以训练方法其实和监督学习一致，但是它的标签是自动生成而非人工标注的，最典型的
2021-08-28 19:13:47
2608
原创 预训练语言模型综述（一）—— 预训练语言模型及其历史
先引入一些概念：Features：语言有哪些基本特征：syntacticor semantic features of the languageuniversal language representations (through large corpus)特征的表示方法：Distributed Representation发展史：模型发展简史Non-neural network methodsNeural models (CNN, RNN, GNN, Attention Mechan
2021-07-15 01:52:31
3916
2
原创 卷积神经网络发展历程及经典论文
1980年日本学者福岛邦彦（Kunihiko Fukushima）提出的神经认知机模型（Neocognitron） Fukushima K, Miyake S. Neocognitron: A self-organizing neural network model for a mechanism of visual pattern recognition[M]//Competition an...
2019-05-01 23:28:51
17217
4
原创 卷积神经网络详解(一)——基础知识
1. 卷积神经网络的组成1981年诺贝尔医学奖得主，神经生物学家David Hubel 和Torsten Wiesel对人脑视觉系统的研究表明：人脑视觉系统首先通过眼睛来成像，图像通过瞳孔、晶状体最终在视网膜上成像。视网膜上布满了大量的光感受细胞，可以把光刺激转换为神经冲动，神经冲动通过视觉通路传递到大脑的初级视觉皮层（Primary Visual Cortex，V1），V1初步处理得到边缘、方...
2019-05-01 16:15:58
6777
7
原创 人工智能生成内容（AIGC）：概念、发展历史及其机遇、挑战与未来方向
人工智能生成内容（Artificial Intelligence Generated Content, AIGC）， AIGC 是指使用生成式 AI （Generative Artificial Intelligence, GAI） 技术生成的内容，而不是由人类创作者创作的内容。
2023-05-31 15:55:46
3678
原创 自变量/解释变量/因变量/响应变量/协变量等变量相关概念探析
概念探析一般科学实验主要涉及以下三种变量：自变量/独立变量（independent variable）：自变量是指在实验中由实验者操作的变量，它被认为不会受其他变量的影响（即独立性）。因变量（dependent variable）：因变量是指随着自变量的变化而变化的变量。控制变量（control/controlled variable / fixed variable）：控制变量是指实验中除自变量以外的影响实验变化和结果的潜在因素或条件，且在实验中一般需要控制其不变。也称无关变量（ extraneo
2022-05-25 19:02:33
42171
原创 图神经网络（GNN）简介
深度学习与图神经网络近年来，人工智能与深度学习在各个领域得到了长足的发展。从最先掀起这轮深度学习浪潮的计算机视觉（Computer Vision）领域，到亦备受关注的自然语言处理（Natural Language Processing）、数据挖掘（Data Mining）领域，再到各个专门领域，如生物信息（图1）、游戏博弈（图2）等，人工智能正日益展露锋芒。![图1 AlphaFold，用于蛋白质结构预测人工智能与深度学习取得如此进展的最大驱动力可以被总结为以下两点[1]：数据可用性的增强。随着
2022-01-01 18:46:23
2294
原创 人工智能学习清单
人工智能学习清单一份人工智能学习清单，帮助初学者了解本领域知识框架，以及查找优秀学习资源。部分资源分享在GitHub，欢迎star与贡献。Ⅰ. 基础知识1. 人工智能：了解人工智能的概念，及其涉及的具体领域。参考资料：[1] Russell, Stuart, and Peter Norvig. “Artificial intelligence: a modern approach.” (1995)，书籍2. 机器学习：全面了解机器学习术语、算法、评价指标、和流程，可按照监督学习、无监督学习、半
2021-11-01 15:06:12
2253
1
原创 Paho MQTT Python客户端常用API、安装与使用
安装PahoPaho 是Eclipse的开源 MQTT 客户端项目，提供多种语言的 MQTT 客户端实现，包括 C、C++、C#、Java、Python、JavaScript 等。在Python环境下，Paho由paho-mqtt模块支撑。用pip安装如下：pip install paho-mqtt...
2021-10-10 01:27:24
8787
2
原创 scikit-learn issues - classification metrics can‘t handle a mix of continuous-multioutput ...
1. classification metrics can’t handle a mix of continuous-multioutput and multi-label-indicator targets示例场景：cm = confusion_matrix(y_true, y_pred)f1_score(y_true, y_pred, average="macro")问题描述...
2021-09-26 17:10:07
6418
4
原创 scikit-learn算法与API速查表
出处：scikit-learn官方教程：scikit-learn algorithm cheat-sheet进链接可以点击不同算法深入了解。
2021-09-26 16:10:04
377
原创 实用生产力工具整理
Archive：https://github.com/forskamse/Wonderful-AppsAccess and Control：用于连接与控制的软件。远程协助Teamviewer 12 破解版VNC ServerRealVNC Server Enterprise 5.0.5 破解版（Windows）RealVNC Server 6.2.0 Linux ARM版...
2021-07-15 03:03:01
363
1
原创 基于TensorFlow 2.x的一些CNN模块/网络的实现
开源一些基于TensorFlow 2.x的CNN模块/网络的实现，可能不定时更新。仓库链接：TensorFlow-2-Implementations-of-CNN-Based-Networks目前的实现包括：Feature Extraction/Fusion BlocksAtrous Convolutional Block for 1D (data points / sequences) or 2D inputs (images / feature maps), suggested by An E
2021-03-08 15:22:01
430
原创 在远程服务器上部署JupyterLab 3.0
近期，JupyterLab刚刚升级到3.0版本，在安装与使用方面都有不小改进，加之之前部署在树莓派上时遇到偶尔需要跟服务器之间做些文件交换的情况，处理起来还是稍微麻烦了点，所以趁着这次JupyterLab的大更新，也在远程服务器上来部署下JupyterLab 3.0了。通过Anaconda安装Jupyter Lab先创建一个虚拟环境：conda create -n JupyterLab python=3.7创建完毕并激活环境后，安装JupyterLab：conda install -c cond
2021-01-07 16:52:43
1516
1
原创 算法时间复杂度及P、NP、NP-Complete、NP-Hard问题
算法的时间复杂度如果某个算法的复杂度可以表示为O(nk)O(nk)O(n^k)，即问题规模n出现在底数的位置，这种复杂度称为多项式时间复杂度；如果某个算法的复杂度表示为O(kn)O(kn)O(k^n)或O(n!)O(n!)O(n!)，这种复杂度称为指数型时间复杂度。相同问题规模下，指数型时间复杂度远远大于多项式时间复杂度。当我们在解决一个问题时，我们选择的算法通常都需要是多项式时间...
2020-07-04 22:24:25
9209
原创 使用VS Code的代码片(snippets)以及使用Settings Sync插件同步VS Code的配置
同步管理可以简单粗暴地使用OneDrive来同步，以管理员身份打开CMD，执行：mklink /d "C:\Users\your_user_name\OneDrive\snippets" "C:\Users\your_user_name\AppData\Roaming\Code\User\snippets"...
2020-05-18 12:16:41
976
原创 Python的开发环境与实用工具
Python的各种实用工具，大致可以分为包管理、环境管理、编辑相关（代码补全、snippet等）、调试工具（集成开发环境）、独一档的Jupyter。接下来就介绍下我常用的工具吧。1. PipPip一定是每位python开发者都经常使用的工具，它是强大的包管理工具。与conda相比，pip的pypi仓库提供的安装包的数量要多得多。之前也写过几篇关于pip的文章，在此做一下整理：(1) 树莓派上多版本python及pip安装使用管理指南：树莓派是我常用的设备，因此很早写了这么一篇文章，来介绍python
2020-05-12 21:01:35
648
3
原创 基于树莓派的蓝牙出勤追踪系统
写了一个基于树莓派的蓝牙出勤信息收集系统，用于记录和监督自己的工作时长情况。代码与安装指引：Github：树莓派蓝牙出勤信息收集系统该系统使用树莓派扫描附近的蓝牙或蓝牙低功耗设备，以无感方式收集出勤信息。信息将被存储在InfluxDB中，并通过Grafana的Dashboard使数据可视化。我使用APScheduler设置定时事件，往数据库中插入一个异常值，来触发Grafana的报警，向邮箱...
2020-02-15 15:17:52
1323
原创 NVIDIA GPU Compute Capability解释
GPU的Compute Capability（计算能力）决定了其通用规格和可用特性。具体来说，可以用以下两个表格来表示：参考资料https://developer.nvidia.com/cuda-faqhttps://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#compute-capabilities...
2019-08-09 17:46:01
5759
原创 python环境部署（二） —— conda环境迁移
前言在《python环境部署（一） —— pip依赖迁移》中，我介绍了纯粹使用pip安装python模块的情况下如何进行依赖的迁移。没有看过的读者建议先看一看。本文，我将继续介绍如何在使用conda的情况下进行环境的迁移。同样不可靠的方法conda与pip一样提供了导出依赖的方法：conda list -e > requirements.txt文件格式如下：<packa...
2019-08-09 14:46:57
8227
3
原创 python环境部署（一） —— pip依赖迁移
工程实际应用时，我们需要考虑如何在各种情况下顺利地将工程的运行环境部署起来。就Python工程来说，最主要的就是将程序运行所需的各种依赖模块安装起来。目前Python最常用的两种包管理工具，conda和pip都提供了导出依赖的方法：conda list -e > requirements.txt或pip freeze > requirements.txt文件格式如下：#...
2019-08-08 21:55:11
3466
原创 常见关系型数据库系统
目前常见的数据库系统有IBM的DB2、甲骨文的Oracle、微软的MSSQL和Access、Sybase的Sybase、MySQL AB公司的MySQL等。不同的数据库系统，有不同的特点，也有相对独立的应用领域和用户支持。本节为大家分享常见的数据库系统。1. Oracle数据库系统Oracle公司为了最大限度地抢占市场，针对不同规模和应用需求的用户推出了不同功能组合的版本，而且所支持的操作系统...
2019-08-02 11:03:58
6933
2
原创 在CentOS7上搭建mosquitto MQTT Broker
1. 安装mosquitto已经被加入到EPEL仓库中，添加EPEL源后可以直接通过yum安装。sudo yum -y install epel-releasesudo yum install mosquitto2. 启停控制控制mosquitto这个service即可。# 启动sudo systemctl start mosquitto# 停止sudo systemctl s...
2019-08-01 20:49:23
1882
转载 MQTT简介
原文地址：https://blog.csdn.net/daihuimaozideren/article/details/77165356本文大部分内容转载自以上链接，其他内容为博主的补充与修改。请支持原创，点击链接跳转阅读。（一）什么是MQTTMessage Queuing Telemetry Transport，消息队列遥测传输，是IBM于1998年设计和开发的一种即时通信协议。MQTT是...
2019-08-01 15:44:22
655
原创 ZigBee Z-Stack编程记录
核心板：CC2530IDE：IAR 10.20.1Q&A1. Debug相关（1）sprintf函数异常问题描述：仅有%d控制符有效，其他控制符，如%f、%u等皆不生效，而打印为f、u。解决方法：Options–>General Options–>Library options，选择printf formatter的不同规则。Large对应Full formatti...
2019-07-31 17:56:52
310
原创 树莓派上多版本python及pip安装使用管理指南
安装相关问题树莓派上安装了Python2.7及Python3.5（Raspbian Stretch 9.3），且默认使用Python2（即python是指向python2.7的），而且一般来说Python2和Python3也都是各自安装有pip模块的。如果发现并未安装，或自己误删了，可以使用以下方法安装：1. 安装Python# 安装python（指向python2）sudo apt-g...
2019-06-18 11:04:55
15178
4
转载 MySQL发展简史
原文地址：https://www.cnblogs.com/ivictor/p/9807284.html作者：iVictor对于MySQL的历史，相信很多人早已耳熟能详，这里就不要赘述。下面仅从产品特性的角度梳理其发展过程中的里程碑事件。1995年，MySQL 1.0发布，仅供内部使用。1996年，MySQL 3.11.1发布，直接跳过了MySQL 2.x版本。1999年，MySQL AB...
2019-04-30 20:27:22
3358
3
原创 PDF页面大小方向调整
合并多个PDF文件时，如果页面大小不同会影响美观。可以参考以下步骤处理：光标移动到文档左下角，可以看到文档的页面大小。看看有没有某些文件的页面过大，有的话先打印成想要的大小，避免后面处理困难。合并文档后，可以打开视图-工具-组织页面，可以在页面缩略图上调整页面方向。还需要微调大小的，可以按Ctrl+Shift+P设置页面框（或者从组织页面-更多-调整页面框进入）调整大小。...
2019-04-30 14:56:09
3913
1
原创 Keras常用分类损失函数
本文研究Keras自带的几个常用的Loss Functions。categorical_crossentropy VS. sparse_categorical_crossentropy先看categorical_crossentropy和sparse_categorical_crossentropy。categorical_crossentropysparse_categorical_...
2019-04-21 01:10:13
6716
原创 Windows下的SSH客户端神器MobaXterm
虽然很不喜欢在Windows下搞开发，但是有时候又难免要用到Office，只能切换到Windows。最早接触Linux时用的是putty配合WinSCP（玩树莓派），后来搞运维又用过SecureCRT、XShell、MobaXterm等工具，最终只保留了MobaXterm。MobaXterm的功能十分丰富，大致可以分为四点：Local Terminal集成了基本的Unix命令集，甚至还可以使...
2019-04-17 16:59:47
3202
2
原创 Python-MySQL抽取表中每个分组的前N个数据
在超大规模数据处理时，有时候需要按分组取出一部分数据，作为整体数据的参考。例如，有表table_1，按column_1可以划分为200组，现在我们希望从这200组中每组各取出10条记录作为代表。我们可以通过以下Python语句操作MySQL，来实现此功能：import mysql.connectorconn = mysql.connector.connect(host = '127.0.0...
2019-04-07 23:23:14
631
原创 Shell实用代码片（持续更新）
使用ps | grep输出时，不仅会输出符合查找串的进程，同时也会输出grep进程本身（因为查找串包含在grep调用中）。可以用grep -v [auguments]过滤grep本身：ps -ef | grep xxx |grep -v grep...
2019-03-19 15:15:38
100
原创 Pandas与Numpy输出控制
使用Pandas输出dataframe或者使用Numpy输出array的时候，如果行列过多的话，会产生折叠现象，在行上或者列上出现省略号，替代了真是信息。如果想避免省略号的出现，可以用以下输出控制命令：------------------------------------------------------------------------------------# Pandas---...
2019-03-19 11:40:24
850
原创 YOLO详解 - YOLO的Grid Cells机制 VS. Faster RCNN的Anchor Boxes机制
Grid Cells机制虽然YOLO中设置了两个Predictor（这里记为Predictor A和Predictor B），但是YOLO并没有让一个Grid Cell去预测多个Object，它的机制是通过计算Grid Cell与不同Object的IOU，让这个Grid Cell去负责IOU最大的哪个Object，也就是说两个Predictor都去预测这个Object。就以下图为例（请暂时忽略...
2019-02-09 21:58:47
2642
1
原创 轻松上手Manjaro之Manjaro简介
Manjaro是基于Arch的Linux发行版，因Arch完善的Wiki文档（通过Arch Wiki你甚至可以了解Linux的全貌，对使用其他发行版也有帮助）、强大的滚动更新（避免了繁琐的系统升级，同时更新版本的软件通常可以带来更高的安全性）、自由的用户社区（社区十分自由活跃，由用户自发编译和维护AUR也十分强大）而具有极强的可玩性，同时Manjaro的易用性和耐用性也使其真正适合充当桌面版Lin...
2018-12-29 21:57:09
3257
原创 轻松上手Manjaro之Manjaro系统配置
包管理工具配置pacman是Manjaro的包管理工具。系统安装完以后最重要的事情应该是配置好pacman。其配置文件位于：/etc/pacman.conf。pacman.conf中包含[options]单元和其他[section_name]单元，[options]单元包含最基本的配置，如颜色、Hooks等；其他的单元每一个都组成一个软件仓库，包含两个基本选项：[repo-name]Sig...
2018-12-20 02:12:20
12561
原创 轻松上手Manjaro之Manjaro服务设置
OpenSSHsudo pacman -S opensshsudo systemctl enable sshdsudo systemctl start sshd
2018-12-20 01:02:41
5269
原创 轻松上手Manjaro之Manjaro下使用Wine
1. 安装配置Winesudo pacman -S wine wine_gecko wine_mono其中wine_gecko和wine-mono分别用于运行依赖于Internet Explorer和.NET的程序。在64位平台上Wine默认启动64位环境。需要32位环境的，使用WINEARCH配置：# 重命名~/.wine目录mv ~/.wine ~/.wine64# 使用WINE...
2018-12-20 00:59:56
22972
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人