- 博客(150)
- 资源 (15)
- 收藏
- 关注
RSS订阅原创 Oracle Database 20c与DATA SAFE
它能够从用户账户、权限与角色、鉴权控制、FGA控制、审计、加密与数据库配置等方面，全面评估当前数据库系统的安全性，下面我们就一步一步操作，看看当前的DB20c数据库的安全情况，需要注意的是，这里提到的安全评估不是产品本身的安全性，而是用户在使用数据库时是否做了很好的安全配置，比如大家经常使用sys用户作为业务用户登录，这应该不是数据库软件本身的问题，而是使用的问题。评估的过程会很快，一般在不到一分钟的时间就可以完成，通过观察发现，Data Safe已经找到了我们不合理的配置，并将这个风险评级设定为高风险。
2024-04-11 08:25:47
1308
原创 AnalyticDB向量化引擎
向量化按批读取和处理的行为在本批次中让需要处理的数据和指令都驻留在CPU的L1/L2 Cache中，在缓存命中情况下性能为从内存读取的10-30倍。4）在按批处理模型下，代码实现能更好地以向量化方式实现，一方面有利于CPU进行数据预取，另一方面尽可能减少程序的条件跳转，从CPU获得更好的指令流水线执行，同时也有利于编译器生成SIMD指令提高执行效率。这里重点关注他的向量化引擎。3）内存的分配和回收，也从每条记录的分配回收，到每批记录的分配和回收，整体减少内存分配回收次数和碎片管理的开销。
2024-04-11 08:24:47
206
原创 openGauss 表模式定义
其中CREATE TABLE指定了SQL的语义是要创建一个保存仓库信息的基本表，warehouse是要创建的基本表的名称，warehouse基本表中有9个列（属性），每个列都有自己固有的数据类型，数据类型中可以根据列的要求来指定其对应的长度、精度等信息，例如w_id是仓库的编号信息，通过SAMALLINT类型来表示编号，而w_name是VARCHAR类型，其最大长度是10。在基本表创建之后，还可以通过ALTER TABLE语句来修改基本表的模式，可以增加新的列、删除已有的列、修改列的类型等。
2024-04-11 08:23:50
409
原创 openGauss SQL解析
语法分析：根据SQL语言的标准定义语法规则，使用词法分析中产生的词去匹配语法规则，如果一个SQL语句能够匹配一个语法规则，则生成对应的抽象语法树（Abstract Syntax Tree，AST）。在有效性检查的同时，语义分析的过程还是有效性语义绑定（Bind）的过程，通过语义分析的检查，抽象语法树就转换成一个逻辑执行计划，逻辑执行计划可以通过关系代数表达式的形式来表现，如图7-3所示。检查与解析属性的使用：在SELECT句中或者WHERE子句中出现的各个属性必须是FROM子句中某个关系或视图的属性。
2024-04-11 08:22:17
284
原创 openGauss列存储引擎的总体架构
如图9-25所示，假设以6万行作为一个单位，则一个12万行、3列宽的表，则被划分为8个CU，每个CU对应一个列上的6万个列数据。当然，大部分时候，CU在经过压缩后，因为数据特征与压缩率的不同，文件大小会完全不同，例如图9-26所示.列存引擎的存储基本单位是CU（Compression Unit，压缩单元），即表中一列的一部分数据组成的压缩数据块。每个CU对应一个CU Desc的记录，在CU desc里记录了整个CU的事务时间戳信息、CU的大小、存储位置、magic校验码、min/max等信息。
2024-04-11 08:21:46
241
原创 鲲鹏和昇腾有什么区别？
华为作为鲲鹏计算产业的成员，聚焦于发展Kunpeng处理器的核心能力，通过战略性、长周期的研发投入，吸纳全球计算产业的优秀人才和先进技术，构筑Kunpeng处理器的业界领先地位，为产业提供绿色节能、安全可靠、极致性能的算力底座。鲲鹏计算满足高性能、低功耗、低延时的绿色计算要求，有巨大的市场空间，同时又有中国电子技术标准化研究院、Arm中国、华为等行业翘楚支持，发展鲲鹏计算产业已经具备了技术和商业基础。华为是鲲鹏计算产业的主要成员，致力推动鲲鹏生态发展，并在市场上优先支持合作伙伴基于鲲鹏处理器的计算产品。
2024-04-11 08:21:00
876
原创 openGauss 向量化引擎
传统的行执行引擎大多采用一次一元组的执行模式，这样在执行过程中CPU大部分时间并没有用来处理数据，更多的是在遍历执行树，就会导致CPU的有效利用率较低。同样会使用节点表示，继承于行执行节点，执行流程采用递归方式。主要包含的节点有：CStoreScan（顺序扫描），CStoreIndexScan（索引扫描），CStoreIndexHeapScan（利用Bitmap获取元组），VecMaterial（物化），VecSort（排序），VecHashJoin（向量化哈希连接）等，下面将逐一介绍这些执行算子。
2024-04-11 08:20:29
124
原创 列式向量化
列式存储我是理解的HTAP，就是要实现行列混存（无论是垂直方向的Oracle还是 水平方向的PG、MySQL、TiDB和OB）。最后我们讨论分析（全是我们自己想想的），应该是ab同时拿，且2X6和3X7等等一起。可能是有的，遇到复杂的情况，比如ab是两个复杂的矩阵，那么就有用武之地了。数据库市场前后几十年而历久弥新，而云行业的发展给这个古老又全新的行业带来不一样的冲击。数据库是基础的，它一直默默耕耘于各行各业，是当今软件工业的基石，其向上承接各种变化的需求而不断改进、向下则依据硬件的演进而演进。
2024-04-11 08:19:51
203
原创 python函数
a可以为任意类型，可以为number，也可以为String，可以为List、Tuple、set、Dictionary都可以。在某些情况下，函数的参数的个数是不固定的。情况2：如果指定了函数的参数，在调用函数的时候，没有传入相对应的值，则会出错。方式1：位置参数，以正确的顺序传入函数，调用时的数量必须和声明时一样。情况1：函数定义的参数的个数必须和调用函数传入的值个数保持一致。情况3：在没有传入函数值的情况下，可以对函数参数设置默认值。sum(b=1,a=2)，调用后a=2，b=1。return 返回值。
2024-04-10 09:59:20
240
原创 关于OpenCV for Python入门-DNN模块实现人脸检测
下面用到的SSD人脸检测器的骨干网络是REsNet-10，当前它提供了两个训练好的模型：基于深度学习框架caffe训练的模型（原始Caffe实现的16位浮点型版本）和基于TensorFlow训练的模型（TensorFlow实现的8位量化版本）。关于caffe训练的模型和基于TensorFlow训练的模型，在git上是无法打开了，笔者也是费了不少周章才获取到了，为了增加大家的一点热情和好奇心，还是自行百度下载吧。1927年在比利时布鲁塞尔召开的第五次索尔维会议，共29个人，但是是彩色照片，一个也未识别出来。
2024-04-03 15:37:20
305
原创 关于OpenCV for Python入门-dlib实现人脸检测
Dlib包含用于处理网络，线程，图形用户界面，数据结构，线性代数，机器学习，图像处理，数据挖掘，XML 和文本解析，数值优化，贝叶斯网络以及许多其他任务的软件组件。因此，首先也是最重要的是一组独立的软件组件。使用训练好的模型shape_predictor_68_face_landmarks.dat，在检测出人脸的同时，检测出人脸上的68个关键点，再看一下刘德华。# 使用训练好的模型shape_predictor_68_face_landmarks.dat，在检测出人脸的同时，检测出人脸上的68个关键点。
2024-04-03 15:36:36
696
原创 DGA域名检测
在互联网中，攻击者通过传播僵尸程序感染大量主机，这些被感染的主机通过一个信道被攻击者操控，进而形成僵尸网络。在这个过程中，攻击者常常会使用域名将恶意程序连接至C&C服务器，从而达到操控受害者机器的目的。其中攻击者通常采用DGA（域名生成算法），通过输入种子随机生成大量的恶意域名，以此逃避域名黑名单检测的技术手段。僵尸网络的攻击者一般采用fast-flux和domain-flux两种DNS技术以隐藏其真实的C&C服务器，而僵尸网络通过域名生成算法与C&C服务器建立连接。
2024-04-03 15:35:23
754
原创 使用Azure人脸API对图片进行人脸识别
通过简单的一个wpf的应用我们演示了如果使用Azure人脸API进行图片中的人脸检测，真的非常方便，识别代码只有1行而已。如果不用C# sdk还可以使用更加通用的rest api来调用，这样可以适配任何开发语言。Azure人脸API除了能对图片中的人脸进行检测，还可以对多个人脸进行比对，检测是否是同一个人，这样就可以实现人脸考勤等功能了，这个下次再说吧。
2024-04-03 15:34:41
662
原创 Oracle 递归函数
假设我的输入日期是01012016 ，函数应该递归执行直到31122016 （每月最后一天，即总共12次）我应该从这个光标将数据插入到一个文件中。这个文件应该为作为输入传入的日期单独生成。但你的问题不一定意味着递归，在我看来，你只是想在循环中处理一些东西。使用此i_date ，它应该执行类似于将数据从表读取到游标的操作。你能给我一个在plsql中递归函数的例子吗。递归函数只是一个调用自己的函数。它将i_date作为输入变量。
2024-04-03 15:33:05
161
原创 递归函数解析
使用递归函数需要注意递归深度溢出，在Python中，通常情况下，这个深度是1000层，超过将抛出异常。在计算机中，函数递归调用是通过栈（stack）这种数据结构实现的，每当进入一个递归时，栈就会加一层，每当函数返回一层，栈就会减一层。由于栈的大小不是无限的，所以递归调用的次数过多，会导致栈溢出。初始化算法，递归程序通常需要一个开始时使用的种子值，可以向函数传递参数，或者提供一个入口函数，这个函数是非递归的，但可以为递归计算设置种子值；当n小于0的时候，直接给出和值为0，当n大于0时，结果是n加上。
2024-04-03 15:32:10
128
原创 关于递归的一些想法
学习递归有以下几个重要原因：1. 简化问题求解：通过将大问题分解为与之相似但规模较小的子问题，可以更简洁地解决复杂问题。2. 具有简洁性和直观性：递归的代码结构通常相对简单，易于理解。3. 解决特定问题：某些问题，如树的遍历、回溯等，递归是一种自然且有效的解决方式。4. 算法设计：在一些算法中，递归可以提供清晰的思路和实现方式。5. 培养编程思维：帮助程序员更好地理解问题的本质和解决问题的方法。6. 代码可读性：递归代码通常具有较高的可读性，因为它清晰地展示了问题的分解过程。
2024-03-29 20:43:42
167
原创 从聚类分析看AI
聚类分析是在数据中发现数据对象之间的关系，将数据进行分组，组内的相似性越大，组间的差别越大，则聚类效果越好。主要介绍的是K-Means和bisecting K-means算法以及凝聚层次聚类算法。K均值算法：优点：容易理解，聚类效果不错，算法复杂度低。缺点：K值需要人为设定，不同K值得到的结果不一样；为了克服K-Means算法收敛于局部最小值的问题，提出了一种二分K-均值。凝聚层次聚类算法又叫自下而上算法。层次聚类算法的实现。
2024-03-27 15:50:03
126
原创 聚类分析以及k-means的优缺点
于是根据一批样本的多个观测值指标，具体找出可以度量样本之间相似的统计量，以这些统计量作为划分类型的依据，把一些相似程度较大的样本聚合为一类，把另外一些彼此之间相似程度较大的样本又聚为一类，关系密切的聚合完毕，把不同类型的一一划分起来形成小到大的分类系统。（1）基本思想：确定了距离和相似系数后就要进行分类，有多种分类方法，最常用是样品自成一类，然后把每次具有最小距离的两类进行合并，合并后继续计算类与类之间的距离，这个过程是一直持续到把所有样本归为一类，并把这个过程作成一张聚类图，由聚类图进行方便的分类。
2024-03-27 15:48:43
770
原创 Postgis实现聚类分析
- 该函数是窗口函数，主要是用K-means(K均值聚类)算法进行聚类，算法原理比较简单，容易实现，主要适用于点样本数据，如果是多边形则用多边形的中心点计算，只有一个参数K簇，就是事先明确了要把这一堆样本数据聚成K个类，然后去计算一个目标函数达到最优解，因此K值对结果影响比较大，不太好选取，而且该算法而且适合凸的数据集，这也算法容易收敛；都是根据要素的自身属性，可能是空间的或者非空间的，利用数学方法按照某种相似性或差异性的指标，定量的确定各个要素之间的亲疏关系，然后按照这种亲疏关系的程度对要素进行聚类。
2024-03-27 15:47:10
513
原创 树与图的直径
求树的直径一般用两次bfs解决，当然也可以用两次dfs，这里以bfs为例进行说明。先在树上任选一点A作为起点进行bfs，记录最后被访问的点B，那么B离A的距离最远，再以B为起点进行第二次bfs，即可得到直径。由于图可能不连通，且可能有环，不能使用类似树的方法求解，考虑用更为一般的做法，根据直径定义，先通过floyd算法求出任意两点间的最短距离，再取最大值即可，注意图不连通的情况。
2024-03-25 15:46:43
140
原创 快速幂算法
可能会比较大，直接计算显然无法满足效率要求，可以借鉴快速幂的思想减少计算次数。在非对称密钥算法RSA中是一个很基本的问题，由于。根据以上递推式，很容易写出解决该问题的递归算法。设a,b,c都是正整数，计算a的b次方对c取模。可见，无论奇偶，计算规模都可以缩至原来的一半，
2024-03-25 15:45:39
198
原创 Python虚拟环境搭建
virtualenvwrapper 是对 virtualenv 的功能扩展，可以管理全部的虚拟环境，用单个命令方便切换不同的虚拟环境。
2024-03-25 15:44:46
382
原创 Python 虚拟环境的迁移使用
在使用过程中，发现有些包无法正常导入，查看sys.path的值，发现venv/lib64/路径不存在，通过在venv/lib/python3.6/site-packages路径下创建**.pth文件，并写入venv/lib64/的完整路径解决。原因是当前环境下的celery可执行文件，首行指定的python执行路径仍是源机器的地址，需要将其修改为目录机器下python地址。同理，/venv/bin下的其他工具也需要做相应修改，比如常用的pip、supervisord、supervisorctl等等。
2024-03-25 15:44:08
324
原创 npm、webpack讲解
淘宝镜像是一个提供国内高速下载的镜像资源，并且每10分钟，就和官方同步一次数据。平时下载包的时候可以使用淘宝镜像，但是想要发布包就必须是使用官方的源。
2024-03-25 15:42:29
291
原创 MySQL的redo日志
InnoDB以页为单位管理存储空间，而真正访问页面之前，需要把在磁盘上的页缓存到内存中的Buffer Pool之后才可以访问，但是对于一个已经提交的事务，假如我们只在内存的Buffer Pool中修改了页面，假设在事务提交后突然发生了某个故障，导致内存中的数据丢失，这个提交的事务对数据库中的修改也丢失了，这是不能忍受的，也就不满足数据库持久性的要求。
2024-03-25 15:40:54
692
原创 使用Python和OpenPlayground轻松探索大语言模型
大语言模型或LLM是一个能够理解、解释和生成人类文本的模型。通过使用OpenPlayground，可以有一个简单的UI来探索和实验多个LLM。
2024-03-25 15:39:37
397
原创 什么是数据结构？什么是算法？
生活中关于“结构”我们经常见到，如：一棵大树可分为树干、枝丫和树根，河流、马路的结构同理也可这样划分；数据：客观事物的符号表示，是所有能输入到计算机中并能被计算机程序处理的符号的总称。3、多媒体程序处理的图形、图像、声音及动画等通过特殊编码定义后的数据。打比赛，比如最近华为公司的2019华为软件精英挑战赛，面对这样的大型比赛，数据结构和算法是参赛选手的重量级武器。接着是算法，算法定义：一个有穷的指令集，这些指令为解决某一特定任务规定了一个运算序列.算法的描述方式可以是自然语言、流程图、程序设计语言、伪码。
2024-03-25 15:38:29
171
原创 什么是机器学习
机器学习是挃是一门多领域交叉学科。专门研究计算机或其它软硬件设备怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。应用机器学习技术到产品中，给用户带来“机器具备人类般高智能”的震撼性体验。人力成本又越来越高，机器学习能降低企业成本，提高投入产出比。第二次机器革命——以具备人类智能为核心价值的机器占主导地位（第一次机器革命——动力系统革命），对国家软实力具有重要作用。机器学习是人工智能研究的核心内容。
2024-03-25 15:37:00
545
原创 金融时间序列预测方法合集：CNN、LSTM、随机森林、ARMA预测股票价格（适用于时序问题）、相似度计算、各类评判指标绘图
open 开盘价；close 收盘价；high 最高价low 最低价；volume 交易量；label 涨/跌。
2024-03-25 15:34:56
834
原创 数学建模竞赛准备之python环境篇
最近正在准备国赛，之前试过在电脑上安装 tensorflow，但一直都不成功。然后看了一眼 pip 管理工具下一堆包，乱得一批，所以干脆直接打算捡一些比较重点的包装上，比较鸡肋的就不要了。因为我这里用的是 Mac 系统的，和 windows 的语句可能不一定相同，但如果是用 Linux 应该没问题（因为 Mac 系统终端里的命令大多数和 Linux 一样）numpy数据分析类，相当于 免费版的Matlab 矩阵功能以及其它一些少量的小算法。pandas数据分析类，非常完美的表格操作，非常适合洗数据。
2024-03-25 15:34:02
333
原创 基于表情识别的课堂效果检测与评价系统的设计与实现
基于表情识别的课堂效果检测与评价系统的设计与实现文设计并实现了一个通过人工智能技术自动检测听者人脸表情变化，并根据表情变化分析听课状态的课堂评价系统关键词：表情识别；深度学习；课堂评价；卷积神经网络
2024-03-25 15:32:06
1376
原创 时间序列分析|一些简单的概念
日常生活和工作中经常会遇到跟时间有关的现象，需要对其进行分析和研究，比如早晨上课前半小时食堂吃早餐剩余人数的变化情况，某小区一年内房源成交套数的变化情况以及太阳黑子数十年内的变化情况等都属于时间序列的范畴，前面三个例子代表了两类典型的时间序列形成机制，一类是因人类社会活动而产生的时间序列，一类是因自然界某种力量产生的时间序列，两者都遵循各自内自然逻辑，做时间序列分析有一个默认的公理——
2024-03-24 18:43:34
689
原创 使用LSTMs和Prophet进行时间序列预测你的电子邮箱负载（附代码）
然后，模型输出的是重要邮件的数量，而不是实际收到的电子邮件数量。在这里，我们将尝试一些与每个用户更相关的东西，即你将收到的电子邮件的数量。这里的目标是如何为不同的算法准备数据，并提供定性的概述，而不是精细化。从数据中我们可以看到一个明显的规律，即分发遵循一个典型模式，从星期一至星期五早9-晚5的时间表，其中上午10点收到的邮件最多。最后别忘了，我们的基线模型的表现就很不错，所以你不一定总是需要复杂的机器学习算法来搭建你的预测模型。这类问题的一个关键挑战是，如果只有零星的偶发事件，那么内在趋势是不可预测的。
2024-03-24 18:42:51
581
原创 基于RNN/LSTM/GRU的情感预测实战
我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。print(tf.reduce_min(y_train),tf.reduce_max(y_train),#min-0差评Neg,max-1好评Pos。print(tf.reduce_min(y_train),tf.reduce_max(y_train),#min-0差评Neg,max-1好评Pos。print(tf.reduce_min(y_train),tf.reduce_max(y_train),#min-0差评Neg,max-1好评Pos。
2024-03-24 18:41:41
672
1
原创 Python--NumPy库
np.loadtxt(frame, dtype=np.float, delimiter = None, unpack = False) : frame是文件、字符串等，可以是.gz .bz2的压缩文件；np.savetxt(frame, array, fmt=’% .18e’, delimiter = None): frame是文件、字符串等，可以是.gz .bz2的压缩文件；np.log(a) np.log10(a) np.log2(a) : 计算各元素的自然对数、10、2为底的对数。
2024-03-24 18:39:53
751
原创 泊松回归统计模型
计数数据不能连续取值，或只能得到0，1，2，3等自然数的数据。广义线性模型（GLM）是线性模型的扩展，通过联结函数建立响应变量的数学期望值与线性组合的预测变量之间的关系。其特点是不强行改变数据的自然度量，数据可以具有非线性和非恒定方差结构。极大似然估计不能通过解析表达式获得解析解，由其对数似然函数为凸函数的特性，可通过Newton–Raphson或其他基于梯度下降的方法进行计算。其中表示形式为计数数据的响应变量，表示由一组相互独立的解释变量变量组成的向量，表示待估参数，可根据极大似然估计法进行估计。
2024-03-22 08:14:05
662
原创 机器学习统计学习方法感知机实现
感知机是一种二分类模型，其输入为实例的特征，输出为实力的类别，旨在求出将训练数据进行线性划分的分离超平面。其最早在1957年由Rosenblant提出，是神经网络与支持向量机的基础。定义 2.1（感知机）：假设输入空间（特征空间）为，输出空间为。输入表示实例的特征向量，对应于输入空间(特征空间)的点；输出表示实例的类别。由输入空间到输出空间的如下函数：称为感知机。其中w和b为感知机模型参数，叫做权值(weight)或权值向量(weight vector)，叫作偏置(bias)，表示w和x的内积。
2024-03-22 08:12:45
252
原创 基于Tensorflow库的RNN模型预测实战
Tensorflow是使用较为广泛的一个深度学习框架，通常运用在图像识别、图片分类等领域，它是一个采用数据流图，用于数值计算的开源软件库。从命名来理解的话：Tensor（张量）意味着N维数组，Flow（流）意味着基于数据流图的计算。在TensorFlow中，数据不是以整数、浮点数或者字符串形式存在的，而是被封装在一个叫做Tensor的对象中。Tensor是张量的意思，张量包含了0到任意维度的量，其中，0维叫做常数，一维叫做向量，二维叫做矩阵，多维度的直接叫做张量。
2024-03-22 08:11:03
1183
python百度paddle表格文字识别生成excel
2022-05-19
基于python的yolov5-deepsort车流量统计车流统计轨迹显示源码
2022-05-09
基于python的yolov5-deepsort人流量统计人浏览统计轨迹显示源码
2022-05-09
python红绿灯检测opencv识别红绿灯信号灯检测
2022-05-08
paddle chinese_ocr_db_crnn_server模型，已下载好直接使用
2022-04-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人