- 博客(358)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Redis常见风险分析
概念：Redis缓存层由于某种原因宕机后，所有的请求会涌向存储层，短时间内的高并发请求可能会导致存储层挂机，称之为“Redis雪崩”。概念：在Redis获取某一key时, 由于key不存在, 而必须向DB发起一次请求的行为, 称为“Redis击穿”。
2023-11-03 15:09:19
336
原创 redis数据库简介
通过C字符串的特性，我们知道对于一个包含了N个字符的C字符串来说，其底层实现总是N+1个字符长的数组（额外一个空字符结尾）那么如果这个时候需要对字符串进行修改，程序就需要提前对这个C字符串数组进行一次内存重分配（可能是扩展或者释放） 而内存重分配就意味着是一个耗时的操作。Redis巧妙的使用了SDS避免了C字符串的缺陷。Redis中利用SDS字符串的len属性可以直接获取到所保存的字符串的长度，直接将获取字符串长度所需的复杂度从C字符串的O(N)降低到了O(1)。
2023-11-03 15:06:37
254
原创 同源策略简介
更可怕的是，Cookie 往往用来保存用户的登录状态，如果用户没有退出登录，其他网站就可以冒充用户，为所欲为。同源策略/SOP（Same origin policy）是一种约定，由 Netscape 公司 1995 年引入浏览器，它是浏览器最核心也最基本的安全功能，现在所有支持 JavaScript 的浏览器都会使用这个策略。（1）在这个策略下，web浏览器允许第一个页面的脚本访问第二个页面里的数据，但是也只有在两个页面有相同的源时。（2）同源策略是为了安全，确保一个应用中的资源只能被本应用的资源访问.
2023-09-13 13:53:00
232
原创 数据泄露溯源（数据泄露应急思路）
梳理泄露数据在日志中的特征，如最早最晚出现时间、有无异常数据流量等，人工分析确认数据泄露路径的可能性。检查系统和应用程序的访问日志，以确定谁访问了哪些数据以及何时访问的。2.根据泄露数据的字段在不同的路径上检索日志（数据库审计日志，web日志，流量日志、全流量监控等），3.根据数据泄露路径可能性，排查数据访问主体及数据访问行为，确认是否存在数据获取后的泄露可能性。数据泄露溯源是一项重要的安全工作，旨在确定数据泄露的原因和来源。1.梳理与泄露数据相关系统的数据流量架构图，明确数据对外提供的路径；
2023-08-30 09:34:37
524
原创 对于数据安全 的一些理解
2. 数据保护工程是从物理机房、IaaS基础设施安全建设，到提供PaaS、SaaS的自动化数据保护能力，到严格的细粒度数据安全权限、系统和制度，到满足全球合规和资质为保障，一个需要精细设计的体系化工作。4.数据安全，是为了推动数据可以被高效流动而核心打造的是一套信任机制。3. 数据的价值是流动时产生的，不能被使用和分析的数据，没有意义。1. 数据安全是个工程化问题，并不是单点的技术。ps ：忘了从哪里看的了，感觉挺对的。
2023-08-02 15:04:59
259
原创 【转】金融行业JR/T0197-2020《金融数据安全 数据安全分级指南》解读
数据分级是进行数据安全保护的基础，也是数据参与生产要素分配的重要一环，《金融数据安全 数据安全分级指南》(JR/T 0197—2020)为金融机构开展数据分级工作提供了指导和借鉴，附录A给出了金融业机构典型数据定级规则做参考，各个金融机构可以参考使用，并结合自身特点最终确定数据安全级别的划分清单。（2）经营管理数据指金融业机构在履行职能与经营管理过程中采集、产生的数据，如营销服务数据、运营数据、风险管理数据、技术管理数据（如程序代码、系统以及网络等）、统计分析数据、综合管理数据等。
2023-08-02 14:54:48
3042
原创 DH算法、DHE算法、ECDHE算法演进
ECDHE 算法解决了 RSA 算法不具备前向安全的性质 和 DH 算法效率低下的问题。ECDHE 算法具有前向安全。所以被广泛使用。
2023-08-01 13:56:51
977
原创 【转】ECC加密算法简介
ECC也是使用了正向运算很简单，但是反向运算很难的单向函数，但是和RSA的原理不同，RSA使用的时模函数作为单向函数，而ECC是建立在基于椭圆曲线的离散对数问题上的密码体制，给定椭圆曲线上的一个点G，并选取一个整数k，求解K=kG很容易(注意根据kG求解出来的K也是椭圆曲线上的一个点)；反过来，在椭圆曲线上给定两个点K和G，若使K=kG，求整数k是一个难题。ECC就是建立在此数学难题之上,这一数学难题称为椭圆曲线离散对数问题。
2023-08-01 11:00:03
683
原创 SSL原理详解
第一阶段服务器会提供经CA机构认证颁发的服务器证书，如果认证该服务器证书的CA机构，存在于浏览器的受信任CA机构列表中，并且服务器证书中的信息与当前正在访问的网站（域名等）一致，那么浏览器就认为服务端是可信的，并从服务器证书中取得服务器公钥，用于后续流程。1> SSL握手协议：SSL握手协议被封装在SSL记录协议中，该协议允许服务器与客户端在应用程序传输和接收数据之前互相认证、协商加密算法和密钥。SSL协议分为两层，下层为SSL记录协议，上层为SSL握手协议、SSL密码变化协议和SSL警告协议。
2023-08-01 10:35:17
920
原创 数据标准定义
数据标准是一组约定和规范，用于定义数据的结构、格式、内容和表示方式，以确保数据在不同系统、平台和组织之间能够有效地交换、共享和理解。数据标准的目的是消除数据不一致性、混乱和误解，提高数据质量和一致性，从而促进数据的可靠性、可用性和可持续性。通过采用统一的数据标准，可以降低数据集成的复杂性和成本，减少数据错误和冲突，增强数据的可信度和可用性，从而提高数据的管理和应用效率。数据命名标准：规定数据对象、字段和属性的命名规则，确保名称的一致性和可读性。数据处理标准：规范数据采集、存储、处理和清理的方法和流程。
2023-07-25 09:54:40
1028
原创 【转】数据要素简介
因此，“数据要素”一词是面向数字经济，在讨论生产力和生产关系的语境中对“数据”的指代，是对数据促进生产价值的强调，即数据要素指的是根据特定生产需求汇聚、整理、加工而成的计算机数据及其衍生形态，投入于生产的原始数据集、标准化数据集、各类数据产品及以数据为基础产生的系统、信息和知识均可纳入数据要素讨论的范畴。如何评价数据要素市场化的情况呢，《中国数据要素市场发展报告》中给出，数据要素市场化指标主要由“数据要素供给”、“数据要素流通”、以及“数据要素价值”这三个一级指标构成。各个指标的具体测量见表。
2023-07-25 09:09:06
790
原创 kafka权限控制功能
Kafka Topic 权限控制可以通过使用 Apache Kafka 的内置安全特性来实现。这主要涉及到两个方面：认证（Authentication）和授权（Authorization）。
2023-07-24 18:25:37
1571
原创 【转】2万字揭秘阿里巴巴数据治理平台建设经验
包含数据建模、数据集成、数据开发、数据运维、数据资产、数据治理、数据质量、数据安全、数据分析、数据服务等数据处理全链路流程，以一站式的大数据开发治理平台能力，满足数据治理中关于规范、稳定、质量、管理、安全、分析、服务等各个方面的诉求，我们在后面的各类实践场景中还会为大家详细讲解。在这个时候遇到的数据治理问题主要集中在集群上，例如任务长时间等待，计算、存储、调度等各种资源不足，数据无法产出，或者产出脏数据，集群挂了，运维无法定位问题，问题处理时间长，补数据止血难度大，人肉运维无自动化等等。
2023-07-24 15:57:13
109
原创 加密数据库模糊查询
（解决模糊查询）数据库敏感字段加密存储及基于加密索引表的读取快速解密方案（私密salt生成算法）三才 **** abc1Q。3. 数据库加密能力对模糊查询的支持。王三才 **** abc1Q。王二才 **** abc1Q。1. 静态加密结果查询。2. 动态加密结果查询。
2023-07-24 15:52:11
145
原创 【转】数据治理简介
银行应该以数据为根本，以业务为导向，通过对大数据的集中、整合、挖掘和共享，实现对多样化、海量数据的快速处理及价值挖掘，利用大数据技术支持产品快速创新，提升以客户为中心的精准营销和差异化客户服务能力，增强风险防控实时性、前瞻性和系统性，推动业务管理向信息化、精细化转型，全面支持信息化银行的建设。每个数据治理的领域都可作为一个独立方向进行研究治理，目前总结的数据治理领域包括但不限于以下内容：数据标准、元数据、数据模型、数据分布、数据存储、数据交换、数据生命周期管理、数据质量、数据安全以及数据共享服务。
2023-07-24 15:48:40
145
原创 【转】数据安全治理体系建设思路和方法
随着横向网络安全法、等保2.0的合规性要求及纵向垂直行业安全要求的需要，对数据存储、使用、运营提出了明确要求，如何更好的对数据进行有效防护，保障数据全生命周期的安全性，如何以事前发现、事中阻止、事后审计、持续加固的方式，提供更好的服务是每个从事安全的行业人员应该深度思考的问题。数据全生命周期安全包括数据采集安全、数据传输安全、存储安全、数据备份与恢复、使用安全、数据处理环境安全、数据内部共享安全、数据外部共享安全、数据销毁安全在内的9个能力项，通过对数据全流转过程进行规范和约束以有效降低数据安全风险。
2023-07-24 15:44:58
1178
原创 DAMA简介
在管理数据资产过程中行使权力和管控措施，包括计划、监控和实施。并未直接定义，从责任、战略、采购、绩效、一致性、人员行为方面提出指导原则。指银行业金融机构通过建立组织架构，明确董事会、监事会、高级管理层及内设部门等职责要求，制定和实施系统化的制度、流程和方法，确保数据统一管理、高效运行，并在经营管理中充分发挥价值的动态过程。一种技术支持的学科，其中业务和IT协同工作，以确保企业共享的主数据资产的一致性、准确性、管理性、语义一致性和问责制。
2023-07-24 11:29:01
89
原创 数据脱敏：保障数据安全的脱敏方案
随机化技术作为⼀种去标识化技术类别，指通过随机化修改属性的值，使得随机化处理后的值区别于原来的真实值。泛化技术是指⼀种降低数据集中所选属性粒度的去标识化技术，对数据进⾏更概括、抽象的描述。所谓的数据脱敏，是指在不影响数据分析结果的准确性前提下，对原始数据中的敏感字段进行处理，从而降低数据敏感度和减少个人隐私风险的技术措施。该技术⼴泛使⽤在数据使⽤⽅数量多且相互独⽴的情况，⽐如开放平台场景的openid，同样⼀个⽤户，不同开发者获取的openid不同。常见的数据脱敏技术主要包括以下几类。
2023-07-24 11:27:31
148
原创 DSMM数据安全能力成熟度模型简介
3、衡量组织的数据安全能力成熟度水平，帮助行业、企业和组织发现数据安全能力短板。具体包括：数据生存周期安全过程（数据采集安全、数据传输安全、数据存储安全、数据处理安全、数据交换安全、数据销毁安全）和通用安全过程。该标准是阿里巴巴联合中国电子技术标准化研究院、国家信息安全工程技术研究中心、中国信息安全测评中心等业内权威机构、学术单位、企业多方，经标准预研、标准编制、试点应用、提升完善，最终完成。共分为5级，具体包括：1级是非正式执行级，2级是计划跟踪级，3级是充分定义级，4级是量化控制级，5级是持续优化级。
2023-07-24 11:25:29
494
原创 DCMM简介
数据管理能力成熟度评估模型》（以下简称DCMM）是我国在数据管理领域首个正式发布的国家标准，旨在帮助企业利用先进的数据管理理念和方法，建立和评价自身数据管理能力，持续完善数据管理组织、程序和制度，充分发挥数据在促进企业向信息化、数字化、智能化发展方面的价值。DCMM数据管理能力成熟度评估模型定义了数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准和数据生存周期八个核心能力域及28个能力项，并以组织、制度、流程和技术作为八个核心域评价维度。
2023-07-24 11:18:58
270
原创 近年来数据安全法律法规最全汇编
从法律层级上来看，这些法规包含2部行政法规、27部部门规章和1个司法解释。全国信息安全标准化技术委员会颁布的文件共有19部，目前均处于未生效状态，内容涵盖了网络可信评估、移动应用网络安全评价、金融信息保护、大数据安全管理、公民网络电子身份标识、数据交易服务、数据出境安全评估、网络安全等级保护定级、信息安全风险评估、个人信息安全影响评估、恶意事件预防和处理、关键信息基础设施网络安全保护、网络安全设计和实现、漏洞分类分级、信息安全管理体系审核、政务信息共享、个人信息安全等领域中的信息安全技术要求。
2023-07-24 11:12:42
294
原创 密态计算和隐私计算
安全多方计算作为隐私计算的核心技术，其主要功能简述为：在无可信第三方的前提下，多个计算节点在分布式计算环境中，各自输入数据，共同完成某个功能函数的计算，并不泄漏各个参与方的输入，并且所有参与方可以共享功能函数的输出函数值。安全多方计算过程示意图如下上述过程中，各个参与方是将各自数据加密后再进行计算的，其中参与方在将数据分布式加密后再输入到功能函数的计算模块，充分保证明文的安全性。安全多方计算本质上为功能函数的设计与计算结果的输出。
2023-07-20 16:01:54
272
原创 什么是同态加密？
同态加密与一般加密方案的关注点不同，一般的加密方案关注的是数据存储安全，即我要给其他人发送信息或者存储信息，我需要对数据进行加密之后再发送和存储，这里我们只需要保证在数据传送和存储的过程中不被其他人窃听到即可，在这个过程中用户时不能对加密的结果做任何操作的，否则可能会导致解密失败。同态加密（Homomorphic Encryption）是指将原始数据经过同态加密后，对得到的密文进行特定的运算，然后将计算结果再进行同态解密后得到的明文等价于原始明文数据直接进行相同计算所得到的数据结果。同态加密的关注点则是。
2023-07-20 15:59:48
103
原创 SM1、SM2、SM3和SM4简介
最后给椭圆曲线上密钥对的生成以及公钥的验证，用户的密钥对为（s，sP），其中s为用户的私钥，sP为用户的公钥，由于离散对数问题从sP难以得到s，并针对素域和二元扩域给出了密钥对生成细节和验证方式。然后介绍了编程语言中的数据转换，包括整数和字节串，字节串和比特串，域元素和比特串，域元素和整数，点和字节串之间的数据转换规则。此算法对输入长度小于2的64次方的比特消息，经过填充和迭代压缩，生成长度为256比特的杂凑值，其中使用了异或，模，模加，移位，与，或，非运算，由填充，迭代过程，消息扩展和压缩函数所构成。
2023-07-20 15:57:45
6538
原创 【转】雪花算法
对于 MySQL 而言，一个表中的主键 id 一般使用自增的方式，但是如果进行水平分表之后，多个表中会生成重复的 id 值。那么如何保证水平分表后的多张表中的 id 是全局唯一性的呢？如果还是借助数据库主键自增的形式，那么可以让不同表初始化一个不同的初始值，然后按指定的步长进行自增。例如有3张拆分表，初始主键值为1，2，3，自增步长为3。当然也有人使用 UUID 来作为主键，但是 UUID 生成的是一个无序的字符串，对于 MySQL 推荐使用增长的数值类型值作为主键来说不适合。
2023-06-27 14:48:07
127
原创 高性能哈希算法MurmurHash
对于一致性哈希，当需要从环中删掉一个服务器时，其他的服务器不会被其干扰，删除后的结果就是，删除点的下一个服务器所处理的范围除了原来的部分之外，还增加了删除的那台服务器所需要处理的部分。如果这三个服务器按照如图2的样子进行排列，那么在0~1之间的哈希值都会交给1进行处理,1~ 2之间的哈希值都会交给2进行处理,2~0之间的哈希值都会交给0进行处理，这样导致的结果就是0的负载是太大，当0服务器撑不住崩溃后，会陆续使得1和2的负载增大导致整个服务器集群崩溃这种分布就称为哈希偏斜;，且在哈希的过程中需要经历多次。
2023-06-27 14:44:30
200
原创 ChatGPT应用场景
1.智能客服: ChatGPT 可以用作自动化客服系统，为客户提供 24/7 在线帮助2.聊天机器人: ChatGPT 可以制作聊天机器人，提供人性化的交互体验。3.文本生成:ChatGPT 可以生成高质量的文本，应用于各种领域，如新闻报道、广告文案等4.问答系统: ChatGPT 可以用作问答系统，自动回答用户的查询问题。9.语言模型: ChatGPT 可以用作其他 NLP 模型的预训练模型，提高效果10.文本分类: ChatGPT 可以用作文本分类系统，对文本进行分类。
2023-02-10 10:59:48
6086
2
原创 【转】Generative Pretrained Transformer
在做下游任务的时候，利用第一步预训练好的参数初始化 GPT 的网络结构，这样通过预训练学到的语言学知识就被引入到你手头的任务里来了，这是个非常好的事情。文章中使用的是多层Transformer的decoder的语言模型。用V表示词汇表大小，L表示最长的句子长度，dim 表示 Embedding 维度，则 Wp 是一个 L×dim 的矩阵，We 是一个V×dim 的矩阵。特征抽取器不是用的 RNN，而是用的 Transformer，上面提到过它的特征抽取能力要强于 RNN，这个选择很明显是很明智的；
2023-02-10 10:56:46
3630
原创 [转]深度学习 Transformer架构解析
在接下来的架构分析中, 我们将假设使用Transformer模型架构处理从一种语言文本到另一种语言文本的翻译工作, 因此很多命名方式遵循NLP中的规则. 比如: Embeddding层将称作文本嵌入层, Embedding层产生的张量称为词嵌入张量, 它的最后一维将称作词向量等.基于seq2seq架构的transformer模型可以完成NLP领域研究的典型任务, 如机器翻译, 文本生成等. 同时又可以构建预训练语言模型，用于不同任务的迁移学习.在分析预测更长的文本时, 捕捉间隔较长的语义关联效果更好.
2023-02-10 10:54:12
757
原创 【转】数据分类分级产品工具
本文只是介绍了目前数据分类分级这个技术工具的技术原理和它背后的业务逻辑关系，数据分类分级是一项宏大的工程，如果厂商在一个行业有一个成功案例，则这种经验可以帮助他们迅速扩张市场规模，专业的数据分类分级人才也非常稀缺，关于如何落地实践是一个较大的考验，方案原理大家都知道，你的产品如何，你落地怎么样，你后续运营做的如何，我想这些实际的效果才是客户所关心的点，也是优秀数据分类分级解决方案的护城河。从客户数据的专有属性出发，综合国家、行业定义的数据分级分类方法，以及数据开发和共享需求，制定适合客户数据的分类标准；
2023-02-07 13:59:24
1960
原创 【转】数据的分类分级简介
数据分类很好理解，无非就是把相同属性或特征的数据归集在一起，形成不同的类别，方便人们通过类别来对数据进行的查询、识别、管理、保护和使用。数据分类更多是从业务角度或数据管理的角度出发的，例如：行业维度、业务领域维度、数据来源维度、共享维度、数据开放维度等，根据这些维度，将具有相同属性或特征的数据按照一定的原则和方法进行归类。数据分类是数据资产管理的第一步，不论是对数据资产进行编目、标准化，还是数据的确权、管理，亦或是提供数据资产服务，有效的数据分类都是首要任务。任何时候，数据的定级都离不开数据的分类。
2023-02-07 13:47:47
2460
1
原创 量子密钥分发技术原理
• 海森堡测不准原理：该原理指出一旦通过测量可以获得某个量子系统的部分状态信息，那么该量子系统状态就必然会发生扰动，除非事先已知该量子系统的可能状态是彼此正交的。这使得在QKD过程中，仅当接收方采用与发送方相同的基（包含正交的两个基矢）进行制备和测量时，双方可以获取正确的信息；为整体的性质，无法单独描述各个粒子的性质，只能描述整体系统的性质，这种现象称为量子纠缠。• 量子不可克隆定理：该定理是指无法以一个量子比特为基础精确地复制出它的完美副本，对量子态进行复制的过程必然会破坏其原有的量子比特信息。
2022-11-30 15:08:56
666
原创 【转】隐写术基础
隐写术是一门关于信息隐藏的技巧与科学，所谓信息隐藏指的是不让第三者知晓信息的传递。从这个要求不难看出，隐写系统比密码系统的安全需要层级更高，密码是保护数据的机密性，而隐写系统需要保护数据的隐蔽性，通俗上讲就是保护通信行为不被检测。目前隐写分析系统正从传统的机器学习方法往深度学习技术发展，即便如此，一个可投入应用的隐写分析系统少之又少，此领域有待发掘。更专业一点就是，嵌入失真是不可感知的。隐写算法的鲁棒性和安全性也是相对独立的，若增强算法的鲁棒性，即增强嵌入强度也会引入大量的噪声，继而降低算法的安全性。
2022-11-30 15:01:52
652
原创 【转】浅谈威胁狩猎（Threat Hunting）
现在，要执行搜索，我们需要做出假设，在生成假设后，我们可以根据使用的任何平台搜索攻击。这是威胁搜索的过程，在网络中主动搜索威胁。1、在Word或excel文件中运行用于哈希转储的mimikatz命令打开PowerShell要检查此假设，首先查找数据，如果我们有合适的数据来查找此假设，然后查找创建powershell.exe的winword.exe/Execl. Exe进程和包含(mimikatz)的命令行。从威胁搜索的定义开始，以主动和被动的方式在网络中搜索高级威胁以避免安全解决方案的过程。
2022-11-29 14:05:41
1439
原创 【转】TPC-C 、TPC-H和TPC-DS区别
TPC-DS是决策支持的基本测试，提供了决策支持系统的通用见面方式，包括数据查询和数据维护。基准测试的结果衡量了单用户模式下的响应时间，多用户模式下的查询吞吐量，特定操作系统和硬件的数据维护性能，在受限复杂的环境下数据处理系统、支持多用户决策。这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用，测试用的数据和值是有倾斜的，与真实数据一致。与TPC-A等以前的OLTP基准测试相比，TPC-C更复杂，因为它具有多种事务类型，更复杂的数据库和整体执行结构。官方提供的有测试包。
2022-11-29 09:40:36
617
原创 【转】TPC-C 、TPC-H和TPC-DS区别
TPC-C:TPC Benchmark C于1992年7月获得批准，是一个在线事务处理（OLTP）基准。 与TPC-A等以前的OLTP基准测试相比，TPC-C更复杂，因为它具有多种事务类型，更复杂的数据库和整体执行结构。 TPC-C涉及五个不同类型和复杂性的并发事务的混合，这些事务可以在线执行或排队等待延迟执行。 该数据库由九种类型的表组成，具有广泛的记录和人口规模。 TPC-C以每分钟事务数（tpmC）衡量。 虽然基准描述了批发供应商的活动，但TPC-C并不限于任何特定业务领域的活动，而是代表必须管理，销
2022-11-29 09:39:00
226
原创 【转】数据库索引详细介绍
索引相当于一本书的目录，通过目录我们可以迅速定位书中要找的内容。MySQL中的索引也是一样，它是一种帮助MySQL高效获取数据的数据结构（树）索引怎么实现的？为什么用B+树？索引是数据库中一个用于排序的数据结构，用来快速查询数据库中的数据。Mysql数据库使用B+树来实现索引的。B+树的特点就是叶子节点包含了所有的关键字信息和data数据，非叶子节点只包含子节点的最大或者最小关键字，用来实现索引。好处：既能实现快速查找，相比于B树又节约了内存空间。
2022-11-24 10:35:46
225
lstm实例：基于lstm的DGA域名检测（python代码实例）
2023-07-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人