- 博客(46)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 C语言函数调用栈(一)
程序的执行过程可看作连续的函数调用。当一个函数执行完毕时，程序要回到调用指令的下一条指令(紧接call指令)处继续执行。函数调用过程通常使用堆栈实现，每个用户态进程对应一个调用栈结构(call stack)。编译器使用堆栈传递函数参数、保存返回地址、临时保存寄存器原有值(即函数调用的上下文)以备恢复以及存储本地局部变量。不同处理器和编译器的堆栈布局、函数调用方法都可能不同，但堆栈的基本概念是一样的。
2024-03-15 09:26:31
51
原创 光缆知识总结
光分路器按工艺可分为：熔融拉锥式光分路器( FBT-Fused Biconical Taper)和平面光波导功率光分路器( PLC-Planar Lightwave Circuits)。基于光学集成技术，利用半导体工艺制作光波导分支器件，分路的功能在芯片上完成，可以在一只芯片上实现多达 1x32 以上分路，然后在芯片两端分别耦合封装输入端和输出端多通道光纤阵列。插入损耗，是指光纤中的光信号通过活动连接的器件之后，其输出光功率相对输入光功率的比率的分贝数。按分光比可分为：等比分光和不等比分光。
2023-03-16 20:15:26
380
转载 Flink 从0到1学习—— 分享四本 Flink 国外的书和二十多篇 Paper 论文
前言之前也分享了不少自己的文章，但是对于 Flink 来说，还是有不少新入门的朋友，这里给大家分享点 Flink 相关的资料（国外数据 pdf 和流处理相关的 Paper），期望可以帮你更好的理解 Flink。书籍1、《Introduction to Apache Flink book》这本书比较薄，简单介绍了 Flink，也有中文版，读完可以对 Flink 有个大概的了解。2、《Learning Apache Flink》这本书还是讲的比较多的 API 使用，不仅有 Jav
2022-04-12 21:59:15
2487
转载 Streaming System读后感
之前就提到过，最近在看《Streaming Systems》这本书。趁着过年期间再加几个周末，终于看完了。自从《Hadoop Application Architectures》之后，很少这样细致的看一本英文大部头了。我对流处理并不很熟悉，随便写写感想，可能有错误，也并不全是流处理相关的。关于本书本书并不是针对某个系统去讲解原理或使用，也并不是针对的讲某种技术，而是从比较抽象的角度去阐述“流处理系统应该是什么样子的”、“应该具备哪些能力”，可以作为系统设计时的参考。如果一定要类比的话，有点类
2022-04-12 21:48:33
261
转载 详解Flink作业提交流程
一、提交流程Flink 作业在开发完毕之后，需要提交到 Flink 集群执行。ClientFronted 是入口，触发用户开发的 Flink 应用 Jar 文件中的 main 方法，然后交给 PipelineExecutor（流水线执行器，在 FlinkClient 升成 JobGraph 之后，将作业提交给集群的重要环节。）#execue 方法，最终会选择一个触发一个具体的 PiplineExecutor 执行。提交模式又可分为： Detached：Flink Client 创建完集
2022-03-27 11:05:42
4955
转载 Streaming 102: The world beyond batch
ByTyler AkidauJanuary 20, 2016Editor's note: This is the second post in a two-part series about the evolution of data processing, with a focus on streaming systems, unbounded data sets, and the future of big data.See part one. Also,check out "Stream...
2021-12-18 17:14:16
788
转载 Streaming 101: The world beyond batch
ByTyler AkidauAugust 5, 2015Editor's note: This is the first post in a two-part series about the evolution of data processing, with a focus on streaming systems, unbounded data sets, and the future of big data.See part two. Also,check out "Streami...
2021-12-18 17:08:39
690
转载 Beam学习笔记
编程指导https://beam.apache.org/documentation/programming-guide/ 创建驱动程序，定义pipeline，包括输入、转换、输出，以及执行参数（主要包括runner，决定pipeline运行的后端） 创建pipeline，设置参数 创建初始的PCollection 对PCollection应用PTransform：可以对PCollection中每个元素进行修改、过滤、分组、分析等操作，输出新的PCollection；PTransform
2021-12-16 14:01:49
398
转载 Cookie 和 Session
我在做面试官的时候，曾经问过很多朋友这个问题： Cookie 和 Session 有什么区别呢？大部分的面试者应该都可以说上一两句，比如：什么是 Cookie？什么是 Session？两者的区别等。但如果再往深入探讨的话，就慢慢有一些朋友不太了解了，谈起原理时就很少有朋友全部回答准确。今天和大家一起深入聊聊有关 Cookie 和 Session 的话题 。第一层楼什么是 Cookie 和 Session ?初级程序员高频面试题。什么是 CookieHTTP Cookie（也叫 Web C
2021-10-18 11:40:18
84
转载 浏览器工作原理
前言在我们面试过程中，面试官经常会问到这么一个问题，那就是从在浏览器地址栏中输入URL到页面显示，浏览器到底发生了什么？这个问题看起来是老生常谈，但是这个问题回答的好坏，确实可以很好的反映出面试者知识的广度和深度。本文从浏览器角度来告诉你，URL后输入后按回车，浏览器内部究竟发生了什么，读完本文后，你将了解到：浏览器内有哪些进程，这些进程都有些什么作用 浏览器地址输入URL后，内部的进程、线程都做了哪些事 我们与浏览器交互时，内部进程是怎么处理这些交互事件的原文地址欢迎star浏览器.
2021-10-16 12:05:39
110
转载 JDBC与数据库连接池
JDBC简介JDBC 是Java应用程序用来连接关系型数据库的标准API，为多种关系型数据库提供一个统一的访问接口。Sun公司一共定义4种 JDBC 驱动类型，一般使用第4种，该类型的Driver完全由Java代码实现，通过使用socket与数据库进行通信。JDBC-ODBC Bridge driver (bridge driver)，JDBC-ODBC桥驱动程序； Native-API/partly Java driver (native driver)，JDBC本地API； All Ja
2021-09-03 15:08:25
1304
转载 常见登录鉴权方案
编者注：今天我们分享的是卢士杰同学整理的网站常用鉴权方案的实现原理与实现以及他们的适用场景，帮助大家在业务中做合适的选择。背景说起鉴权大家应该都很熟悉，不过作为前端开发来讲，鉴权的流程大头都在后端小哥那边，本文的目的就是为了让大家了解一下常见的鉴权的方式和原理。认知：HTTP 是一个无状态协议，所以客户端每次发出请求时，下一次请求无法得知上一次请求所包含的状态数据。一、HTTP Auth Authentication简介HTTP 提供一个用于权限控制和认证的通用框架。最常用的HTTP
2021-07-22 21:42:02
1954
转载 MapReduce: Simplified Data Processing on Large Clusters论文翻译（MapReduce-OSDI04）
作者Jeffrey Dean and Sanjay [email protected], [email protected], Inc摘要MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于key/value pair的数据集合，输出中间的基于key/value pair的数据集合；然后再创建一个Reduce函数用来合并所有的具有相同中间key值的中间value值。现实世界中有很多满足上述处理模
2021-07-20 22:19:23
494
转载 大规模数据处理的演变
AI 前线导读：本文重点讨论了大数据系统发展的历史轨迹，行文轻松活泼，内容通俗易懂，是一篇茶余饭后用来作为大数据谈资的不严肃说明文。本文翻译自《Streaming System》最后一章《The Evolution of Large-Scale Data Processing》，在探讨流式系统方面本书是市面上难得一见的深度书籍，非常值得学习。更多干货内容请关注微信公众号“AI 前线”（ID：ai-front）大规模数据处理的演化历程大数据如果从 Google 对外发布 MapReduce 论文算.
2021-07-20 18:17:19
450
转载 数据库的ACID特性
15.1ACID 特性事务具有4个基本特征:分别是:原子性(Atomicity)，一致性(Consistency)，隔离性(isolation)，持久性(Duration)、简称(ACID)隔离级别ACID这4个特征中，最难理解的是隔离性，在标准SQL规范中，定义了4个事务隔离级别，不同的隔离级别对事务的处理不同。4个隔离级别分别是:读未提交(READ_UNCOMMITTED)，读已提交(READ_COMMITTED)，可重复读(REPEATABLE_READ)，顺序读(SERIALIZABL.
2021-05-12 21:58:13
449
转载 流式计算系统
流式计算系统系列：总纲流式计算系统方兴未艾。为了反映现实世界事件驱动的特性，为了对接消息队列事件驱动的设计，为了获得更好的时延，越来越多的业务采用流式计算系统来处理它们的数据。在批流统一的理论指导下，可想而知，未来的计算是属于流式计算的天下。从 2018 年年中参与 Flink 社区的开发，到在阿里巴巴 BLINK 团队和鹅厂数据中心的 FLINK 团队基于 Flink 支持了诸多流式计算作业的运行，这段时间的经历使我深深地体会到了自己作为本领域新人的局限性。虽然在我优秀的导师施晓罡博士...
2021-03-05 17:43:26
910
原创 scratch游戏
1、https://www.scratch-cn.cn/2、https://www.jianshu.com/p/2b40eae72b82
2021-03-04 19:44:28
597
1
转载 MDA核心之MOF原理和实现
MOF原理和实现陈健翔2004-10-15关键字：MDA MOF AOP众所周知MOF是MDA的核心，下面我们来快速浏览一下什么是MOF。1、序曲一个应用系统可以被分为典型的3层结构。在《UML模式与应用》[1]一书中分别称为UI层、领域层、数据层。UI层和领域层的接口通过应用程序和应用框架来连接；领域层和数据层的接口通过持久化框架来连接。该书中关于持久化框架的实现是使用模板方法模式来实现的，基类定义了持久化基本接口，由每个子类来实现各自的持久化方法。子类的域（field）和关系..
2021-01-15 20:37:09
1488
原创 effective sql 读书笔记
示例：https://github.com/TexanInParis/Effective-SQL第一章数据模型设计第一条确保所有表都有主键1、主键具有以下特征：唯一性、值非空、不可变、尽可能简单2、强制引用完整性：子表中具有非空外键的所有记录都必须在父表中找到相匹配的记录3、不建议使用复合主键，效率太低。复合主键比再添加一列作为主键要好。第二条避免存储冗余数据第三条消除重复数据组1、列昂贵，行便宜2、删除重复的数据组，可以使用唯一索引来防止出现意外的重复数据3...
2020-12-15 16:46:08
149
转载 电信运营商IT系统建设概况
.IT基础架构随着运营商业务的不bai断发展和3G业务的不断临近，以及从全面服务客户的角度出发，充分实现应用系统共享的需求越发明显，面向服务的架构（SOA）已成为使企业实现IT与业务紧密结合，提高业务流程灵活性，从而真正帮助企业快速响应外部变化，是企业发展、创新的重要IT工具。（1）应用集成阶段各运营商都在进行企业应用集成平台的建设，应用集成技术分为三个阶段：第一阶段的应用集成技术是在中间件基础之上，发展丰富的连接与转换技术及全面的元数据（META DATA）管理与应用能力，解决信息共享与信息交换
2020-12-07 11:39:38
2043
转载 一文了解Gauss数据库：开发历程、OLTP&OLAP特点、行式&列式存储，及与Oracle和AWS对比
摘要：华为在IT的底层架构，逐步搭建起自己的基础架构，建立华为生态。我们这次详解华为数据库，并对目前主流的数据库进行对比。只有对比，才能发现不同。数据库的重要性&华为推出新一代Gauss数据库数据库是计算机行业的基础核心软件，所有应用软件的运行和数据处理都要与其进行数据交互。数据库的开发难度，不仅体现在与其他基础器件的适配，更在于如何实现对数据高效、稳定、持续的管理。Oracle、微软的数据库之所以能长久不衰，一方面在于其强大的技术开发和产品升级迭代能力，另一方面在于其对数据库的Kno..
2020-11-28 12:05:12
6845
转载 大数据与AI相关的技术历程
掐指一算，从 OneAPM 离职也快一个月了，在 OneAPM 工作的种种，仿佛还像是在昨天。细数两年的工作经历，我很庆幸在恰当的时间点和这么一群有激情有活力的人共事。那么，是时候总结一下我在 OneAPM 做的牛（cai）逼（ji）事情了。大家好，今天由我来分享一下，我在上家公司做的 Ai 和 告警 相关的一些内容。首先，我先简单介绍一下，今天我要分享的两个项目： Ai 是 OneAPM 服务器端应用性能监控分析程序，它主要是能收集Java、CSharp、Python等偏后端语言的系统的一些
2020-11-02 18:00:12
767
1
转载 数据仓库、数据湖、流批一体
摘要数据仓库，数据湖，包括Flink社区提的流批一体，它们到底能解决什么问题？今天将由阿里云研究员从解决业务问题出发，将问题抽丝剥茧，从技术维度娓娓道来：为什么你需要数据湖或者数据仓库解决方案？它的核心难点与核心问题在哪？如果想稳定落地，系统设计该怎么做？业务背景1.1 典型实时业务场景首先我们来看一个典型的实时业务场景，这个场景也是绝大部分实时计算用户的业务场景，整个链路也是一个典型的流计算架构：把用户的行为数据或者数据库同步的Binlog，写入至kafka，再通过Fli...
2020-10-27 13:52:49
191
转载 2018年ETL工具比较
提取，转换和加载（ETL）工具使组织能够跨不同的数据系统使其数据可访问，有意义且可用。通常，公司在了解尝试编码和构建内部解决方案的成本和复杂性时，首先意识到对ETL工具的需求。在选择合适的ETL工具时，您有几种选择。您可以尝试组装开源ETL工具以提供解决方案。这种方法适用于某些情况，但公司经常发现自己需要更多 - 更多功能/特性，更多灵活性和更多支持。下一个选择是与现任提供商合作：一种能够很好地处理当今流行数据源和流的解决方案。现有供应商提供大型或知名品牌的稳定性和舒适性。第三类ETL工具是现代
2020-09-29 15:45:39
614
转载 Apache Nifi性能测试计划
1.概述1.1 目的本测试计划为Apache Nifi的性能测试计划，目的在于测试在应用Nifi做为数据接入工具时系统的数据完整性、异常状态下的数据恢复机制以及在不同负载状态下数据的响应时间。1.2 背景考虑到大数据管理平台有数据接入量大、数据源多样化、对数据的完整性和容错率要求高、延迟率低等特点，因此计划对Nifi的数据完整性、异常状态下的容错性以及服务器在高负载情况下的性能做一个全面的测试评估，以便于了解nifi的优点和缺陷，从而优化整个大数据管理平台架构。1.3 范围本次测试主要是基于现有
2020-09-13 11:26:17
736
转载 Apache nifi开发指南
1. Apache Nifi 概念1.1. NiFi简介Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统，用于自动化管理系统间的数据流。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑，支持从多种数据源动态拉取数据。NiFi原来是NSA的一个项目，目前已经代码开源，是Apache基金会的顶级项目之一。NiFi是基于Java的，使用Maven支持包的构建管理。 NiFi基于Web方式工作，后台在服务器上进行调度。用户可以为数据处理定义为一个流程，然后进.
2020-09-12 23:28:36
1796
1
转载 背压(Backpressure)机制
首先，从大的方面说，这篇文档的名字，虽然叫“Backpressure”（背压），但却是在讲述一个更大的话题，“Flow Control”（流控）。Backpressure只是解决Flow Control的其中一个方案。就像小学做的那道数学题：一个水池，有一个进水管和一个出水管。如果进水管水流更大，过一段时间水池就会满（溢出）。这就是没有Flow Control导致的结果。而解决Flow Control有几种思路呢？（1）Backpressure，就是消费者需要多少，生产者就生产多少。这有点类似于TCP
2020-09-12 19:51:11
868
转载 Kettle源码分析
Kettle 4.2源码分析第一讲--Kettle 简介1. PDI结构简介图 1‑1 PDI核心组件 Spoon是构建ETL Jobs和Transformations的工具。Spoon可以以拖拽的方式图形化设计，能够通过spoon调用专用的数据集成引擎或者集群。Data Integration Server是一个专用的ETL Server，它的主要功能有： 功能 描述 执行 通过Pentaho Data In.
2020-08-07 20:00:20
4849
转载 大数据分类探究
译者：李毅 中国惠普大学资深培训专家** 摘要 **在本文中，我们提出了一个大数据的六维度分类方法。这个分类方法的主要目的是帮助决策制定者在计算、存储架构、数据分析技术、安全与隐私框架等多种选择中确定正确的方向。这其中需要分析的数据是分类的核心。简介大数据指的是与我们每一个人以及周边事物有关而且被政府和企业所收集的大量数字信息。这些数据不仅仅是由传统的信息交换软件通过台式机、移动电话等设备产生，也来自于各种环境中所嵌入的无数类型各异的传感器；它即来源于城市街道（摄像头、麦克风）或喷气引擎（温度传
2020-08-03 16:21:31
1379
转载 Spark源码解析：RDD
Spark源码解析：RDD0x00 前言本篇是Spark源码解析的第一篇，主要通过源码分析Spark设计中最重要的一个概念——RDD。本文会主要讲解RDD的主要概念和源码中的设计，并通过一个例子详细地讲解RDD是如何生成的和转换的。文章结构先回顾一下RDD的一些特征以及几个基本概念 RDD源码分析，整体的源码设计 举一个例子，通过这个例子来一步步地追踪源码。0x01 概念什么是RDDRDD（Resilient Distributed Dataset）：弹性分布式数.
2020-05-22 00:23:04
266
转载 Docker入门实战
I. Docker简介Docker是一种新兴的虚拟化技术，能够一定程度上的代替传统虚拟机。不过，Docker 跟传统的虚拟化方式相比具有众多的优势。我也将Docker类比于Python虚拟环境，可以有效的配置各个版本的开发环境，比如深度学习与Java环境。其他的Docker简介也不需要过多介绍，可以参考很流行的《Docker — 从入门到实践》。关于博客，文末列出了最近在掘金上看到的一...
2019-01-20 21:04:35
148
转载 Docker全面介绍
Docker简介Docker是一种遵从Apache2.0协议开源的Linux容器管理解决方案，它通过进程和进程通信技术对操作系统的文件资源和网络的进行隔离，实现了包含文件资源、系统资源(shell环境等)以及网络资源的容器创建和管理。每一个容器都有一个唯一的进程，当该进程结束的时候，容器也会完全的停止。其他信息 Go语言编写 适用于Linux平台（仅适用） Docker 官网：htt...
2019-01-19 15:40:35
299
1
转载 业务架构
要注意业务架构是一个完整的概念，是有多个架构文档，形式化的图形建模共同完成的。只要是企业内涉及到业务的方方面面，人，事，物，时间，环境等都可以在业务架构描述中找到详细的内容或者其父内容。业务架构不等同于流程架构，流程架构是业务架构的一个部分；业务架构不等同于业务建模，业务建模仅仅是形成业务架构的一种方法；采用形式化的方法清晰的描述清楚企业业务即业务架构要完成的事情。业务架构的形式可以以价值链或...
2019-01-19 11:39:27
4760
转载 联邦企业架构之FEA实施指南
下载LOFTER我的照片书 |通过前面的论述，我们可以了解到在接管了FEA的开发之后，OMB先后制定了诸如参考模型、联邦过渡框架以及企业架构评估框架等标准用于为FEA的开发提供帮助。但是FEA的开发并不是最终的目的，美国联邦政府创建的FEA的初衷是为了提高政府整体的信息资源的利用率和效能，并改善政府针对信息技术的投资水平，因而如何开发和应用FEA并...
2019-01-19 11:38:18
1254
转载 联邦企业架构之FEA及参考模型
在CIO委员会提出了FEAF与联邦企业架构实施指南后，美国白宫的管理与预算办公室（OMB）接下了管理和协调联邦企业架构建设的责任，并于2002年成立了专门从事联邦企业架构开发的企业架构项目管理办公室（FEA-PMO）。与FEAF不一样，FEA（Federal Enterprise Architecture，即联邦企业架构）并不是一种理论化的企业架构开发方法论，而是联邦政府所要建立的企业架构本身，以...
2019-01-19 11:37:11
4286
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人