关耳山石-CSDN博客

原创初识Flink（1）-- 关于Flink的架构

PS：我是半吊子Storm从业者，Storm是我司流计算平台很早就在使用的技术，一直没有深入了解，当时Flink已经出具规模，但是鉴于一个Storm还没搞好，再弄个Flink进来会搞不定，大家还是坚持在Storm上很久。坚持了一年下来，对Storm的印象是：Storm可用，一台机器跑不了几个任务，ACT机制搞了半天也没搞起来，应该不容易。结实Flink是阿里在2018年底发布的《不仅仅是...

2019-02-18 13:57:06 493

原创传统行业的IT如何转向DEVOPS，运维如何转向SRE

题记：在菊厂这几年，亲历了传统行业的IT部门如何在数字化转型的滚滚洪流中，被裹挟着四处寻找光明。从15年至今，参加了各式各样的培训，最早是CI/CD，后来推DEVOPS，推DDD（领域驱动设计），推SRE，如今老板都发文要提高代码质量和工程能力了，我猜离全面转向软件企业不远了。虽然前些年读了软件工程，但是最近学习GOOGLE的SRE，才深刻体会到一点：软件是工程，真的和建筑、桥梁、甚...

2019-01-13 02:22:33 849

为了处理监控数据，我们需要一个时间序列数据库，OpenTSDB是前驱，但是是基于Hbase实现的，后来有了一个基于Cassandra的实现，就是KairosDB，模型上设计很有意思，依赖Cassandra的Column Family实现的大宽表来存储时间序列的数据（最多20亿列哦），细节找个时间再讲。反正我们就是选取了KairosDB，既可以借鉴Cassandra的能力，又可以不用自己实现时间序列模型，何乐不为。

2017-05-14 23:48:41 2334

原创 Cassandra 3.10 安装手记

Cassandra，NoSQL的一种，从数据库排名上，看得出来，NoSQL系列，排名第三（Redis虽然是KV，但是没有人用它当数据库，都是做缓存）MongoDB是文档型的，Cassandra和Hbase都属于KV型，且实现机制类似，都是基于LSM树设计，受Google Bigtable启发，不过Hbase属于Hadoop体系，过于重载，因此Cassandra首当其冲，是NoSQL里比较牛逼的

2017-05-14 22:58:27 2084

原创 Cassandra3.x的cqlsh无法打开的解决办法

安装Cassandra与Python后，执行cqlsh，提示因为python的_ssl包不存在的问题：ImportError: No module named _ssl

2017-05-14 18:48:13 2498

原创强势回归 - 从SAP HANA到半吊子架构师的心路历程

刚好凑着要写论文，研究了不少监控相关的系统架构，包括NoSQL、时间序列数据库、Go语言、流处理等等，值得总结一下，因此重新找到博客，开始更新。

2017-05-14 18:14:33 2588

转载 SAP HANA Architecture

Written by Saurav Mitra.Source Link: http://www.dwbiconcepts.com/database/28-hana/105-sap-hana-architecture.html In this article we will discuss about the architecture overview of the In-Memor

2012-10-24 09:53:01 9333

原创 SAP HANA小记

好久不更新俺的博客啦，一方面是在BW方面有些停滞，另一方面是在忙着搞HANA后面会有更多的关于HANA的博客发出来，感兴趣的童鞋们可以一起探讨～说说自己对HANA的理解，HANA全称是SAP High-Performance Analytic Appliance，重点在Appliance上，这不是一个单独的硬件或者软件，而是一个联合体。另外，HANA的强势在庞大的内存和列存

2012-10-23 15:47:05 8445

原创写在前面的...

大概两年前，我写下第一篇博文，时至今日，自己因此得到很多很多，包括朋友的鼓励，自己的提升，最重要的是体会到坚持的乐趣。但是由于工作原因（涉及公司的保密机制），很长一段时间来，没有办法再向从前一样，可以随意的把所见所感贴上来，也没办法及时回复大家的留言，抱歉。我依然会很乐意留意大家的信息，如果对BI/BW感兴趣，或者对BI的新趋势很关注，可以加入QQ群：65283153（已满）

2012-06-25 11:52:18 6472 6

原创我的2011——周年纪

今天距我开博的日期，有将近一年半的时间，博客的确是一个会让我们有所期待的东西，学习、积累、沉淀、再学习。2011年，经历了血雨腥风的SAP市场开始主推云存储和内存运算，HANA在不久的将来会是主流，毕竟精力都在这上面，而BW又何去何从。这一个月时间，我也当了一次背包客，背起行囊，走上了南征路，途径长三角，止步于海南的天涯海角。我想旅途的意义，只可意会，走出了平日的模式，走向

2011-12-14 22:50:51 9944 4

原创 Basic type XXXX unknown

今儿客串了下Basis，做个总结。在测试机抽取Hierarchy的数据，提示IDOC类型XXXX位置。然后后在WE02里发现，的确，类型XXXX果然报了个红灯。这里记录下创建Basic Type的步骤： WE30-->创建Basic typeWE82-->创建Basic type与Message type的对应关系WE57-->创建FM、Id

2011-10-20 09:26:16 5959

原创 Running a R/3 Job in BW Process Chain（整理SDN）

使用ABAP异步调度其他系统的JOB，也许会有用吧。原理类似于在BW端调度R3端的EVENT，然后该EVENT会返回一个成功或者失败的状态给BW的PROCESS CHAIN。下文中有详细的过程，源自SDN。 You can create a job in R

2011-10-14 16:32:39 7721

原创 BW性能监控利器——ST13总结

题记：BW的小工具，ST13，近来每每使用，都颇有感慨，故总结如下，以备后用 1、Process Chain：ST13--->BW-TOOLS-->Process Chain Analysis如果你做过优化，或者想要优化数据加载流程，这是首选。这里只要Proc

2011-09-30 10:54:10 12158

转载如何提高激活DSO数据的性能

在激活DSO数据的过程中，有可能会遇到一些系统性能瓶颈，以下是一些提高激活速度的实用技巧：- 如果处理后台作业的系统表过大，整个后台作业本身性能就会降低，DSO数据激活是通过后台作业进行的，势必也会降低处理速度。所以，作为第一步，请相关的basis技术人员检查一下后台作业

2011-09-15 20:56:54 9054

原创关于Process Type：Decision Between Multiple Alternatives

当我们发现每月的1号-5号要跑处理链A6号和10号要跑处理链B 你会怎么做？之前的处理是把A、B复制出来N份儿，按照Monthly调度？可是呢，这样监控起来就有难度，总会被疏忽，不是自己害自己，就是害负责监控的难兄难弟可如果换做De

2011-08-31 21:03:31 5507

原创 Query RESULT != LISTCUBE

不知道大家有没有遇到过这种事情，Query的结果不等于LISTCUBE里的汇总。或者有的时候，干脆LISTCUBE就是空的。这种情况，首先要怀疑的就是，主数据的SID是否有问题。这种时候，就应该启用RSRV了。RSRV-->All Combined T

2011-08-29 16:38:35 6442

原创悲催的ODS Changelog Table

最近犯了个错误，对ChangeLog印象深刻，总结如下：1、ODS生成的数据源（8开头的那种），其PSA就是ODS的ChangeLog table，所以不需要建信息包也会自动加载。2、如果删除这个数据源里的请求，ODS中，那条请求的ChangeLog就会随之删除

2011-08-11 20:03:14 7770 2

原创 rc=20 > Connect to SAP gateway failed

这种错误，我是在一台用户的电脑上碰到的，解决方案很简单：把Computer Name换成英文...汗了许久。

2011-08-11 19:54:50 12610 7

原创 DTP加载/ODS激活时持续黄灯的解决办法

我比较幸运，两个问题都一起碰到了，还好下面两个方案帮到了我，拿出来和大家分享：先说Activate的时候持续黄灯：Activation of M Records from DataStore Object Terminated Q: I am trying to activat

2011-07-29 14:42:47 10088

原创 How to Delete Process Chain Logs in SAP BW?

This article explains how to delete process chain logs in BW 3.X environments. Process chain logs are stored in RSPCLOGCHAIN and RSPCPROCESS

2011-07-08 11:25:04 6629 4

原创 SAP BW Precalculation Service之我见

所谓预计算，不过是找台服务器，给按照你输入的条件刷workbook或者Query，然后把结果发给你。本来的思路就是用一台服务器，来解放人工的生产力。作为BW套件中的工具之一，存在必然有他的价值。因为大家都喜欢把workbook做的很强大，动不动就50+的Qu

2011-07-06 14:40:34 5792 2

原创静下心来，无欲则刚——源自内心的骄傲

近来自己在修心上付出不少精力，只可惜自己慧根太浅，从张德芬老师的《遇见未知的自己》到净空法师的《了凡四训》，都只是肤浅的领教，而不能悟其本真，未及领悟之果也。可是让我有感触的居然是一本看起来很闹的书《明朝那些事儿》，看来以我的凡夫程度，能看懂的只有这种现代版叙

2011-07-03 20:33:05 5984 6

原创细数BW开发时的注意点（总结）

在项目实施或者二次开发过程中的一些小设置，很可能会给日后运维制造很大麻烦，而这些并非都只适用于各种事后诸葛，其中的一些其实是我们可以规避的。这个title没有别的意思，就是想说明这种事情很悲剧，为了运维兄弟少加班，多多体谅下是有必要的。 1、自建数据源一定要把选择条件放宽松，不然一条单子出了错，就要跑N多数据。如果有Delta机制的话，一定要注意设置Safe Limit。2、InfoObject如

2011-06-26 21:51:00 8510

原创 BW ODS Advanced Modeling：Key & No Transformation

ODS是平面表，所以Key的设置很重要，不能多，多了数据容易重复，特别是用于计数的时候。也不能少，少了数据就各种覆盖，特别是用于配置表的时候。 No Transformation经常用于ODS由N个数据源提供数据的情况，每个数据源提供几个字段。其他的字段一定要设成No Transformation，不然该字段会被覆盖成空。 PS：这篇文档是写给自己的，眼高手低的事情太多了，很多

2011-06-10 10:13:00 4817 2

原创 Safety Interval Upper/Lower Limit of a Delta Selection（2）

PS：之前有篇Blog提起过，但是真要很好的应用起来，还是有点难度，所以又专门的针对这些小功能进行一次探讨。问题背景：目前遇到了一个小case，是关于一个有Delta机制的自建数据源总是抽不上来数据。问题原因： BW的这种Delta机制原理是，系统中记录一个timestamp，比如20110531，这是上次抽取的日期。于20110601执行Delta信息包，会抽取ERSDA为20110601-20110601期间的数据。刚刚好，

2011-06-02 09:42:00 5628 4

原创 Process Chain、Info Package、DTP批量收集及批量删除方法总结

1、统计P系统的PCTable：RSPCCHAINTRSPCCHAINATTR FM：RSPC_CHAIN_DELETE_REMOTE 2、统计P系统中PC包含的VariantTable：RSPCVARIANTATTRRSPCVARIANTRSPCVARIANTTRSPCTRIGGERFM：RSPC_TRIGGER_DELETERSPC_VARIANT_DELETE 3、InfopackageTable：RSLDPIO

2011-05-26 16:57:00 5613

转载 Facebook的内部晋升

文/黄易山 Facebook前工程总监黄易山（Yishan Wong）撰写了一系列文章，很好地总结了Facebook卓越研发文化中的宝贵经验。本刊将继续连载这一系列，本文是第三篇。建设一家健康长久的公司，"从公司内部提拔管理者"是一条广为人知的建议。这条建议也同样适用于规模较小、发展迅速的创业公司。内部晋升的困难对于超速发展的创业公司来说，秉持内部晋升的方针既非常有必要，同时又非常困难，具体有以下几个原因。由于公司的超速发展和组织的壮大，因此对于新鲜血

2011-05-20 14:35:00 2107

转载 SAP-ABAP CLEAR/REFRESH/FREE 用法

REFRESH . 该语句将内表重置为填充它以前的状态。这意味着表格将不包含任何行。如果使用没有表格工作区域的内表，可以使用 CLEAR 语句代替 REFRESH 语句 1、Deletes all table lines. 2、Storage space is not released. 3、Paging is released. 4、Header line r

2011-05-06 10:57:00 7257

原创 BW: Start of the after-import method RS_DTPA_AFTER_IMPORT for object type(s) DTPA (激活模式)

原因：P系统已经存在一个Delta的DTP，又传上来一个，结果传输报错注意：传输DTP的时候一定要警惕P系统与D系统的Delta DTP不一致，不然会报错的。如果出现了P系统已经存在Delta DTP，但ID与开发机不同，解决办法如下： 1、干掉P系统的Delta DTP，前提是相关的数据加载请求也要干掉 2、干掉D系统的Delta DTP，然后将P系统的DTP回传至D系统

2011-05-03 13:54:00 2481 1

原创 BW：总结InfoCube的优势分析及维度选择技巧

一直以来，infocube都是一个很纠结的东西。作为一个SAP设计出来的雪花型架构存储模型，有他独特的优势，包括检索的效率，包括aggregate，包括compress，包括BWA，包括partition等等。先说效率，之所以cube比ods速度快，和它采用的SID机制分不开的。众所周知integer是比char检索速度要快很多的。再就是cube的index，cube里的所有characteristics都是key，都有索引，不然IO的效率就大大降低了。

2011-04-28 10:03:00 6097

原创 BW: Delete Master Data时的注意事项

Company Code，一个简单的infoobject，我们发现里面有垃圾数据，想要做这个操作，点下去，后果是什么呢？首先会询问你是否和SID一起删除。 When deleting master data, you can select whether entries in theSID-table for the characteristic should be kept or deleted. Effects I

2011-04-19 13:26:00 3359 5

原创 BW: 在Infoset中使用Read Master Data

Read Master Data之前我有过一篇blog，是说使用这种方式来规避slowly changing dimension 最近又在调整一些模型。就使用了Read Master Data，而使用的场合也是比较有讲究的。 大家都知道infoset里面挂的ODS是不能使用导航的（cube可以），但是Read Master Data就帮到了我们。只需要在ODS里增加一个字段，转换中再做一下调整，就完事OK。 这种的前提是，该

2011-04-18 13:43:00 2099

转载如何优化ABAP性能

1、使用where语句不推荐Select * from zflight.Check : zflight-airln = 'LF' and zflight-fligh = 'BW222'.Endselect.推荐Select * from zflight where airln = 'LF' and fligh = '222'.Endselect. 2、使用聚合函数不推荐Maxnu = 0.Select * from zflight where ai

2011-04-05 10:19:00 1747

转载 SAP BI/BW 初中高级问题及答案（高級）

Quiz: SAP BI/BW -- advanced level1. Select the correct statements about the steps executed by a change run.a. The steps activate the new master data and hierarchy data changes.b. All aggregates are realigned and recalculated.c. Aggregates conta

2011-04-05 10:14:00 2255

转载 SAP BI/BW 初中高级问题及答案（初級）

Quiz: SAP BI/BW -- beginner level1. The following transactions are relevant to the data sources in an SAP BW source system. a. RSA3b. RSA4c. RSA5d. RSA6 2. True or False? A reference characteristic will use the SID table and master data ta

2011-04-05 10:13:00 2364

转载 SAP BI/BW 初中高级问题及答案（中級）

Quiz: SAP BI/BW -- intermediate level1. Identify the statement(s) that is/are true. A change run...a. Activates the new Master data and Hierarchy datab. Aggregates are realigned and recalculatedc. Always reads data from the InfoCube to realign aggr

2011-04-05 10:07:00 2301

转载 BW: Query 跨系统 Copy

朋友推荐的，于是就转到这里来啦~~~还不错，对于生产机和开发机Query不一致的情况很有效，特别是开发机被改的面目全非的说。。。 两个 function，非常重要： RSZ_X_COMPONENT_GET RSZ_X_COMPONENT_SET *&---------------------------------------------------------------------* *& Report YUPG_QUERY_C

2011-03-24 14:32:00 2627

原创 BW: Prd System没有权限使用SM37查看Job的Tips

其实呢，一般情况下，PRD System是不让使用SM37 但是很多时候，不关注SM37反而会有很多问题不好察觉和分析不过偶然间我发现了这样一个小技巧~ 随便找个模型点右键管理，到查看请求的页面中，点击这个按钮。~~ 这样类似的方式有很多，目的都是一致的·~~~ ：）

2011-03-07 10:52:00 2590

原创 BW: BDC教程——批量删除Role的Profile

特殊需求，没办法，6k的Role需要删除原有的Profile，于是乎，想起了BDC，现学现卖吧 TCODE：SHDB 选择New Recording 下面在Recording中填上Name，Transaction code里面写PFCG，其他的不动，点击Start recording。之后按照业务流程操作一遍修改Role，选择Authorizations，点击删除这里就得到了

2011-03-02 22:02:00 3665 4

原创 BW: Hints for number range buffering

The number range object of a dimension table should be buffered if a) the DIM table increases by a large number of data records for each requestb) the size of the DIM table levels out but at the beginning you expected or observed a significant increas

2011-02-28 10:25:00 1761

JA100 SAP ERP

空空如也