高自强的博客-CSDN博客

原创 muduo源码剖析——以三个切片浅析muduo库代码设计的严谨性、高效性与灵活性

muduo网络设计的一些理解和体会。

2022-06-01 17:21:34 687 1

原创 Linux服务器编程——浅谈同步IO与异步IO的区别

0 前言Linux网络编程中经常出现同步IO和异步IO这对概念。遗憾是的，在这之前我从没找到一个关于这两个概念的清晰定义和理解。今找到一点这方面的材料，特分享之。在解释二者区别之前，先提出一个前置知识，也即同步IO和异步IO的场景：在网络数据传输中，Linux内核进程将TCP/UDP等传输层协议传输来的数据首先存放在内核的内核空间(内核缓冲区)。用户应用进程根据需要或事件驱动，向内核空间发起IO请求，内核进程需要在内核空间(内核缓冲区)中完成数据IO的一系列准备工作(如果此时内核缓冲区中没有数据，内核

2022-05-19 22:37:47 1407

原创 Mysql数据库学习——C++实现Mysql数据库连接池

0 数据库连接池材料清单Mysql数据库连接池包含以下关键组成部分：数据库连接队列数据库最大连接数当前已用连接数当前可用连接数并发安全控制参数数据库连接队列的**互斥锁**数据库连接队列的**同步信号量**1 两处优化单例函数get_instance–用于保证连接池对象全局唯一connectionRAII类–维护和管理连接池对象的生命周期2 实现代码主要包含sql_connection_pool.h、sql_connection_pool.cpp以及locker

2022-05-04 17:27:01 1980 1

转载【转】深入理解操作系统——对Linux 虚拟内存和物理内存的理解

转载声明对Linux 虚拟内存和物理内存的理解，参见：https://blog.csdn.net/csbmww/article/details/124020707

2022-04-27 11:19:14 174

原创 muduo源码剖析——Singleton单例模式之懒汉模式与DCL双重检查

0 懒汉与饿汉对于Singleton单例模式我们并不陌生，但我们常用的多是饿汉模式：Singleton实例的声明和实例化在instance()函数中同时完成。而懒汉模式要求，Singleton实例的声明和实例化分开：先声明Singleton实例对象，然后调用时才在instance()中完成实例化。具体见下面代码。1 饿汉模式没有事先声明Log单例对象，Log实例同时完成声明和实例化。class Log{public: //C++11以后,使用局部变量懒汉不用加锁 st

2022-04-25 09:52:26 334

原创 muduo源码剖析——ThreadPool线程池的实现

1 线程池原理muduo源码中线程池的实现是基于生产者/消费者模式的，其中缓冲区（即下图中的任务队列）为“环形缓冲区”。其实现原理如下：2 代码实现2.1 类图2.2 代码ThreadPool.h// Use of this source code is governed by a BSD-style license// that can be found in the License file.//// Author: Shuo Chen (chenshuo at chenshuo

2022-04-05 21:58:27 827

原创 muduo源码剖析——基于生产者/消费者模式原理实现无界缓冲区和有界缓冲区

0 生产者/消费者模式两种实现原理我们熟知的生产者/消费者模式都是“有界的”，这里的有界是指缓冲区空间是有限的，缓冲区有填满的时刻。而无界限缓冲区是指缓冲区空间理论上是没有无限大的，没有上上限。因此，第一种缓冲区有限的生产者/消费者模式在进行产品的存取之前，需要借助条件信号量对缓冲空间“为空”、“为满”进行判断。第二种缓冲区无限的生产者/消费者只需要判断缓冲空间是否为空即可。下面以队列作为缓冲区存储结构为例对两种实现原理简述。无界缓冲区// 生产者lock(mutex) queue.p

2022-04-03 09:55:19 1019

原创 muduo源码分析——线程同步中门栓类的设计与实现

0 门栓类最近在看muduo源码时，遇到门栓类这个概念，在此做一下剖析和整理。门栓类，顾名思义，其作用类似于一个门控开关，用于控制和协调主线程与各子线程之间的启动顺序。门栓类主要有以下两种作用方式：用于所有子线程等待主线程发起“起跑”–>主线程发起“起跑”命令后，子线程才可以执行；–>主线程要通知所有的子线程；用于主线程等待子线程初始化完毕才可以工作一个门栓类的实现是建立在互斥信号量和条件信号量的基础上的。1 互斥信号量实现class CAPABILITY("mu

2022-03-30 22:36:44 151

原创 muduo源码剖析——基于RAII思想设计mutex锁的管理类实现mutex锁的动态创建和销毁

0 前言对于mutex锁的使用，mutex的加锁和解锁操作是需要配对使用的。考虑下面这种情况： MutexLock mutexLock;// MutexLock参见后面"1 mutex锁实现类" void f() { mutexLock.lock(); ... if (条件) { return; } mutexLock.unlock(); }该种情况，由于程序提前退出，导致mutexLock未能解锁，从而出现问题。因

2022-03-27 22:30:38 1252

原创 muduo源码剖析——使用pthread_atfork避免多进程多线程并用中出现的死锁问题

0 前言一般情况下，要么只是用多线程并发，要么只使用多进程并发。如果同时使用多进程、多线程，且结合锁的使用，可能会出现死锁。1 多线程多进程并用中出现死锁的场景1.1 代码示例观察下面代码：#include <stdio.h>#include <time.h>#include <pthread.h>#include <unistd.h>pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;

2022-03-26 22:44:06 764

原创 leetcode刷题——T494目标和

1 思路分析这个问题至少有两种解法，分别为回溯法和动态规划法。本题使用动态规划法求解的关键在于问题的转换，如何将问题转换为动态规划问题。1.1 问题转换记数组的元素和为sum，添加-号的元素之和为neg，则其余添加+的元素之和为sum−neg，+元素之和减去-好元素之和即为所有元素±元素后的总结果，即：(sum − neg) − neg = sum − 2⋅neg = target即：neg = (sum - target) / 2该问题便可以转换为：在数组nums中选取若干元素，使得这

2022-03-16 11:45:05 394

原创 leetcode刷题——T647回文子串

0 前言今天开一个新的专题，做leetcode刷题的讲解，其目的是对每个题目进行精打细磨，以加深理解，触类旁通。后期会按照题型进行归类整理。1 思路解析本题考虑使用dp动态规划来解。1.1 dp数组二维数组dp[i][j]表示区间[i,j]范围内的子串是否为回文串，是则为true，否则为false。1.2 dp状态转移方程s[i] == s[j]时：若i == j，例"a"、"b"则必然为回文子串，此时dp[i][j]为true；若i与j相邻，例如"aa"、"bb"也是回文子串，此时d

2022-03-12 16:01:08 824

原创 OS系列——操作系统镜像加载BIOS固件工作原理详解

0 前言装过n多系统，制作过n多个启动优盘，所有教程上都讲重装系统前的第一步就是设置BIOS/UEFI为“U盘启动”，但一直不知道何为BIOS/UEFI。最近在学习南大蒋炎岩老师/教授的《操作系统：设计与实践》，终于弄明白了BIOS/UEFI是啥、BIOS/UEFI的工作原理以及操作系统镜像的加载过程这几问题。特将学习笔记整理如下。1 Firm固件/BIOS首先，BIOS和UEFI是两种常用的Firm固件，其中BIOS较为古老，UEFI较为新。思考一个问题：计算机是如何将操作系统镜像源码加载到硬件中

2021-11-10 12:07:36 4028

原创 C++STL系列——深入理解vector容器作用原理

本文源码以GNU2.9编译器为例展开说明，同时参考一下GNU4.9的部分源码。1 vector内存结构和源码1.1 vector内存结构和GNU2.9源码结构1.2 GNU4.9源码结构1.2.1 GNU4.9源码结构1.2.2 GNU4.9源码2 vector内存二次分配原理以push_back()函数为例分析vector内存的二次分配原理。2.1 vector内存分配的整体流程2.2 当空闲空间不够时的二次分配流程注意：vector的两倍增长前后，不仅要大量调用拷贝构造函数

2021-11-09 16:44:39 1426 1

原创 C++STL系列——深入理解list容器作用原理

1 list主要源码和数据结构本文list源码以GNU2.9编译器为例展开说明。2 iterator迭代器list的迭代器本质上是一个class，单纯从list这种数据结构本身来看，list的遍历不能通过next指针++的方式对list元素进行遍历–list的存储空间为链表，其内存空间不是连续的，因此不能使用next指针++的方式推动指针指向下一个元素–封装list迭代器iterator，使变成一个智能的“指针”，可以通过iterator++就可以实现指向下一个元素（list的iterator迭代

2021-11-08 16:05:52 458

原创 C++STL系列——对于allocator分配器中pool allocator分配器的理解

1 pool allocator的优点先说pool allocator相对于其他allocator的优势。如下图所示，当前的主流/默认分配器是基于malloc进行内存分配的，容器中每一个元素在使用malloc进行内存分配时存在一个问题，就是实际需要的内存和额外分配的内存cookie（这些额外内存用于记录实际需要的内粗的大小等信息，在free()时使用）之间的比例太小，即有用的内存太小，额外内存太大。这显然会造成极大的浪费。而pool allocator的思想是，对于相同大小的元素/同一类型的元素放到一

2021-11-02 11:49:51 582

原创 C++系列——关于类中添加virtual虚函数只声明不定义报错的一点理解

1 问题情景经过测试发现，C++类中对普通函数和virtual函数只定义不声明在程序链接时会发生不同的情况。1.1 类中普通函数只声明不定义如下图所示，类中普通函数只声明不定义。程序编译、连接都没有任何问题。1.2 类中virtual函数只声明不定义如下图所示，类中virtual函数只声明不定义。此时程序编译不会出错，但是在程序链接时报错：virtual_test.cpp:(.text._ZN4BaseC2Ei[_ZN4BaseC5Ei]+0xe)：对‘vtable for Base’未

2021-10-23 22:03:18 2507

原创 Linux服务器编程--升序链表定时器和时间轮定时器的比较

参看下表

2021-10-21 15:53:51 155

原创中标麒麟NeoKylin系统使用--使用UFEI安装中标麒麟系统过程中/dev/disk/by-label/NeoKylin does not exit问题的解决

1 问题背景在使用UEFI安装中标麒麟系统时，出现warning:/dev/disk/by-label/NeoKylin does not exit如下图所示（图来源网络）：2 原因分析系统在DXE(Driver Execution Enviroment)驱动加载过程中需要查找系统的启动项/启动文件，也就是waining中的:/dev/disk/by-label/NeoKylin显然，根据报错我们可知，问题就出在该启动文件的路径上–找不到对应的启动文件。3 解决方法3.1 确定/查看

2021-08-27 15:00:29 1591

原创论文阅读——Weakly Supervised Fine-grained Image Classification via Guassian Mixture Model Oriented DisLea

00 文章基本信息文章来源：CVPR2020作者信息：01 摘要以往方法存在的不足：一句话：inaccurate discriminative region localization.分析：the operation of stacking local receptive filed–>Convolutional Neural Network causes the discriminative region diffusion in high-level feature maps–

2021-07-30 09:44:56 606

原创 C++系列——关于指针数组和内存管理的一点思考

（时间紧张，先记一些关键点，回头完善）1 问题核心–指针数组的访问方式指针数组的访问是从数组的第一个元素的地址开始访问，按照每个元素的大小，依次往下。2 指针数组做形参、指针数组返回等系列问题本质：指针数组作为形参时，传入的指针这个指针数组的那个指向首地址的指针，也就是说：函数形参里那个变量其实是一个指针而已，并不是整个数组。同理，指针作为返回值的时候，返回的只是指针（以及这个数组的长度和数组类型（即每个元素的大小–指针每次移动的长度））！！！3 C++变量创建、删除与内存管理3.1 指针数组

2021-07-23 09:08:15 135

原创项目实战系列——ubuntu18.04下Nginx安装与配置以及踩坑实录

0 前言最近一个项目需要搭建集群，用到负载均衡服务器，因此尝试一下Nginx，一些安装、配置与踩坑实录如下。1 环境配置1.1 我的环境配置ubuntu18.04无jdk、无jre、无tomcat、无nginx1.2 安装jre因为tomcat是基于jre环境的，因此需要安装jre这个java运行环境。网上部分材料说要安装jdk，在这里其实是不需要jdk的。（jdk是java开发套件，像我这种不进行java开发，只需要一个java程序运行环境的，只需要配置jre就可以了）因为想到以后对j

2021-07-21 20:35:37 642

原创项目实战系列——使用python实现AHP层次分析法

0 前言最近在做一个集群的项目，涉及到负载均衡问题，其中节点的综合负载评价部分采用经典的层次分析法，项目需要用C++复现。鉴于Python成熟、方便的矩阵操作，先用Python简单复现一下该算法。1 理论基础关于AHP层次分析法的材料很多，可以自行查阅，推荐参考文献《高可用集群系统关键技术的研究与实现》第4.2和4.3节关于层次分析法的理论介绍和实例说明。概括来说，AHP层次分析法主要分为三大步骤：求判断矩阵的特征值和特征向量；证明判断矩阵的一致性；将判断矩阵的特征向量归一化，得到各指标权重

2021-07-21 19:38:40 1799 1

原创机器学习系列——关于torch.nn.DataParallel的测试

0 前言前几天把服务器上训练好的模型转移到Jeston开发板上跑测试,加载模型时报错：no module named "model"后来经过一番折腾，终于搞明白原因。是因为在服务器上跑训练时使用了torch.nn.DataParallel进行加速，所以保存后的模型在Jeston开发板上进行torch.load()时报错。今天有时间了解了一下torch.nn.DataParallel这个模型，并进行简单测试。1 torch.nn.DataParallel参考https://zhuanlan.zh

2021-06-03 22:10:21 1448

转载【转】机器学习系列——深度学习框架Caffe的C++源码解析

参考链接：https://zhuanlan.zhihu.com/p/24343706

2021-04-30 17:32:33 235 1

转载【转】POI推荐系列——近似熵理论相关知识与代码实现

0 转载声明本博文转载自https://blog.csdn.net/Cratial/article/details/79707169。1 个人补充补充一种近似熵的实现方式：import numpy as npclass BaseApEn(object): """ 近似熵基础类 """ def __init__(self, m, r): """ 初始化 :param U:一个矩阵列表，for example:

2021-03-31 16:59:04 363

原创论文阅读——An Interactive MultiTask Learning Framework for NextPOIRecommendation with Uncertain Check-ins

00 文章基本信息01 摘要以前方法存在的问题：以前的方法都是对certain的historicalcheck-ins进行学习，得到用户的访问模式，但是对于uncertain的用户historicalcheck-ins（比如模糊和不完整，具体原因为inaccuracy of indoor GPS devices and personal privacy）就不奏效了。our contributions：提出一套framework：interactive multi-task learnin

2021-03-08 17:27:05 848 1

原创论文阅读——Discovering Subsequence Patterns for Next POI Recommendation

00 文章基本信息01 摘要以往方法存在的不足：当前主流方法在学习用户的check-in序列中的POI-level POI级（如何理解POI-level:比如一个学生一年到头都在学校里不出校门，他的所有的POIs无非就是教室、宿舍、食堂、图书馆，这样的单个POI连起来很难判断出用户的行为模式（有点不太好解释））序列时忽略了那些代表用户的社会经济活动和用户偏好一致性的子序列模式（下面介绍什么是子序列模式）。但是由于很难定义那些complex but meaningful的子序列的granularity粒

2021-03-06 19:34:54 868

空空如也

空空如也