- 博客(44)
- 收藏
- 关注
RSS订阅原创 使用Dask装载和处理远远超过可用内存资源的市场或行情数据
可以将超过计算资源池可用内存的大型数据集“装载”进内存，然后像Pandas、Numpy等数据处理工具一样，对数据进行处理。它屏蔽了数据的分批装载和计算过程，让开发者更专注于数据本身的逻辑。，即可在本地使用，用法可参考上面的链接。
2022-10-06 10:27:09
362
1
原创 C++调用Go语言的CloudEvents SDK实现FaaS框架Knative Eventing中的证券行情服务
大多数证券行情服务的SDK都是C++版本的最成熟，本文示例了使用证券行情的Linux C++ SDK调用封装了的的C++动态库，实现向Knative Eventing平台提供行情事件。代码为Demo性质，最终交付为容器镜像形式。以此方式，使用任何开发语言都可以直接消费实时证券行情数据，对于量化研究场景，可直接使用Python获取行情，并实现计算任务。但行情经过FaaS引擎传递一定会消耗时间，所以此方式不适合对行情时效有极限要求的场景。
2022-10-03 17:57:21
882
原创 元宇宙应用开发实例——以太坊里的智能合约和Decentraland里的3D前端交互组件
从核心技术上来看，其实`元宇宙`、`Web3.0`和这个`全真互联`都是一回事儿，都是前端和后端两方面技术发展的产物：- 随着前端交互技术（既包括`软件渲染技术`，也包括`硬件交互设备`）的发展，互联网从只能在PC上看PGC的Web1.0，发展到还可以在手机上看UGC的Web2.0。到了今天，发展出了又能在各种智能穿戴设备上，用不同的人类感官，去交互三维内容的Web3.0，也就是元宇宙。- 内容的种类和规模的增加，必然要求后端计算、存储、网络的处理能力的增强。
2022-09-30 12:41:10
2751
原创 基于量子计算的无收益标的资产欧式看涨期权定价和delta风险分析
本文的目标是验证量子计算可应用于金融衍生品的定价和风险分析，场景选择为最简单的无收益标的资产欧式看涨期权的定价和delta风险参数的计算，场景可以用数值方法和经典蒙特卡洛算法求解，以做相互对照。
2022-09-24 20:58:09
1571
原创 IMBroker —— 基于FaaS的跨平台群消息工具
IMBroker是用于在飞书、企业微信、钉钉、微信及其他企业内部即时通讯工具之间的消息传递。它基于FaaS平台Knative实现，将消息的收和发设计为函数实现，使用FaaS的事件驱动机制进行解耦和通讯，实现对底层资源使用的最大弹性。当前代码仅为概念验证使用，无数据存储机制。当前部署仅能用于实践FaaS事件驱动，并且只实现了将发到飞书群里的消息转发到企业微信群，至少需要完成文末第1条Issue方可生产使用。成功安装knative的前提是必须有能下载镜像的代理服务器，否则就去找个现成的Knative吧。....
2022-08-27 23:44:40
445
原创 Ray+GPU支持高性能计算
国内证券行业的估值定价、风险管理和量化研究，终于开始需要高性能计算了。10年前，我就试图把用搭建的网格计算集群拉进这样的场景，不过安装好两个星期后，还是拆掉将机器变成虚拟机用了。10年后的今天，硬件、软件、开发语言、数据量级都不一样了，但鼓捣调度资源，完成计算任务的集群还是像之前那么好玩。...
2022-08-07 13:47:31
891
原创 在win10上搭建完整Kubernetes、Istio、Prometheus、Grafana和Knative
在win10上用Hyper-V虚拟化引擎里的Ubuntu虚拟机安装k8s、prometheus、grafana、istio和knative，得到可运行云原生负载的k8s集群、prometheus和grafana监控、istio服务网格框架环境、函数计算环境
2022-07-19 16:22:51
855
原创 OKR助理源代码说明
本文为基于飞书（小程序+机器人+Python服务）实现OKR为核心的团队管理体系中前后端代码的使用说明。是帮助团队管理者落实OKR管理的工具。它自动化使用的云文档、任务、日程、群组、文本消息、卡片消息功能，提供方法、方法、方法、团队的模板和实践，从而完成OKR制定、周/月/季/半年/年跟踪和评价、个人职业规划制定、核心团队定期1on1沟通、日常工作销项，最终帮助团队负责人赋能团队向着一致的目标高效前进。它是工具的补充，更着重OKR的制定（公开、对齐），更着重OKR作为体系的有效性。P.S. 工具更偏重传统的
2022-06-28 16:54:16
792
1
原创 基于RPA/低代码/CDP/MA/BI/AI的数字化工具
干了6年的传统企业数字化，我的注意力一直都是集中在“建立和使用降本提效的工具”上（虽然上篇文章写的是“开拓和经营绑定科技的业务”），从以IT运维工程师为核心用户的中信云，到以IT研发工程师为核心用户的梧桐树，最终到以企业管理和业务人员为核心用户的万数达，越来越清晰的数字化“半边天”形成在了我的脑海里。这一定是未来五年内，传统企业数字化唯一正确的打开方式。
2022-05-04 16:05:10
979
原创 元宇宙里的新零售（DMall）技术（前端+智能合约）验证
站在今天，回头看传统企业数字化的起点，不管是大型国有企业，还是民间风云老板，都投入了极大的热情，遗憾的是，那个时候并没有人想明白这数字化到底该咋做。转眼6年，当有人模糊弄明白了这事儿的时候，企业们已都开始却步了。其实，数字化也就是件要做的事儿，做的方法也不会有啥特殊，两步即可：定清目标路径、理顺组织执行。目标包括且只能包括两个部分：建设和使用降本提效的工具、开拓和经营绑定科技的业务。组织一定是按照目标分为成本中心和业务实体两部分，其管理也一定要符合科技特征（可参见上篇文章）。这篇文章就是想举个例子说明啥是传
2022-05-03 16:09:59
3877
原创 基于飞书（小程序+机器人+Python服务）实现OKR为核心的团队管理体系
2015年7月4日，国务院印发了《关于积极推进“互联网＋”行动的指导意见》，次年春天，想赶上产业互联网风口的我，一头扎进了传统产业数字化。转眼6年，从“具有较大规模的跨国综合性企业集团”，到“为社会创造幸福生活的高科技综合性企业”，再到“以现代服务业为主的大型企业集团”，我一而再，再而三的的从头开始建立和管理数字化技术团队。从学习、摸索，到沉淀、总结，再到模式、体系，我把这套组织管理机制用程序员的方式固定了下来，就是这篇文章里的内容了。
2022-05-03 14:24:53
1682
原创 微信工具（Python）实现备注管理和群发消息
微信工具（Python）实现备注管理和群发消息过去的一年故事太多，过年实在想换换脑子，可又哪儿去不了，除了陪孩子学习和玩，总得找点儿轻松的事儿做，太大的工程做不了，花两天写了个Python微信工具，用来批量更新好友的备注和给好友群发消息，效果如图：编辑好备注列，选好行，点更新备注；编辑好消息列，选好行，点发送消息。代码如下：import csvimport datetimeimport loggingimport osimport sysimport itchatimport nump
2021-02-15 20:03:46
1935
3
原创 Greenplum闰秒故障的分析解决
2015年7月1日上午，国家授时中心增加了7:59:60这个时间来处理闰秒问题。对于使用网络时间协议进行时钟同步的操作系统而言，实在是不应该有什么问题才对，因为即使没有这多出的一秒，系统时钟不准个几秒也是常有的事儿啊。但是部分Linux（比如RHEL 6.2 64bit）上的部分应用（比如Greenplum数据库，也包括java和mysql这些）需要读取硬件时钟和系统时钟，这二者不一致时，就跑不动
2015-07-17 15:39:22
1854
1
原创 Pivotal Cloud Foundry安全原理解析
云计算相关的技术几乎都对传统网络架构和安全规则产生一定的冲击，Pivotal Cloud Foundry（PCF）也不例外，去年8月为了说服专业安全组织同意PaaS部署方案，特意为他们深入讲了下PCF的安全机制，虽然这种原理性的东西不符合开博的宗旨，但是为了防止大家也要说服这样的组织，分享出来也算是云计算实务的一部分。
2015-06-24 09:20:08
3876
原创 与Greenplum度过的三个星期
5月4日-5月24日，断断续续折腾了三个星期的Greenplum，总算告一段落了：扩容，发现扩不成容，只好升级；升级，发现一堆错误，只好暂停修复数据库；修好了，继续升级；升完级，发现错误，修啊修啊修好了；最后，终于完成了扩容。这个过程里写了8篇博文把实施过程和问题解决都记录下来了，这里把整个过程总结一下。本来早就要写了，可家里外头一堆事儿，拖到今天才找个空来落笔。
2015-06-09 16:10:50
3769
4
原创 Greenplum数据库扩容实务（下）-实施收尾
GP扩容的实施其实就是一条命令，最耗费时间的是实施之后的数据重分布，也就是把数据从已有节点平衡到新的seg host上，这篇将描述实施、收尾过程，并给出些常见问题。
2015-05-21 13:49:10
3397
原创 Greenplum数据库扩容实务（上）-准备工作
任何分布式系统都要面对的事儿就包括扩容，不然分布式系统存在的意义就大打折扣了，这篇就介绍一下对GP进行扩容的准备过程，事实上，扩容的实施是个非常简单的过程，主要要做的就是准备。
2015-05-21 13:46:15
2747
原创 Greenplum数据库升级实务（上）
任何系统的升级都有个量变到质变的过渡：版本相差小的时候，通常很简单，版本相差大的时候，就是一场噩梦。不过版本相差小的时候，大伙儿往往安于现状。本文实际记录从GP4.2.7.2到4.3.5.0的升级过程，从版本号看相差不大，但是GP的版本命名中，第二位的变化就已经是大升级了。另需说明的是，本文升级的GP数据库规模不小，用户较多，管理混沌，在加上GP实在是有点儿脆弱（相比oracle等），所以遇到了较多
2015-05-18 15:10:25
4048
原创 如何解决Greenplum的gpcheckcat关于persistent的错误
Greenplum的gpcheckcat是用来检查system catalog的一致性的命令，其中有专门针对磁盘文件的检查（$GPHOME/bin/lib/gpcheckcat -R persistent -p 5432 databasename），主要是对于system catalog里关于磁盘文件的记录与实际磁盘文件的情况的一致性检查。本文结合一个实际错误介绍如何解决这类元数据错误。
2015-05-14 22:42:53
2310
2
原创 如何解决Greenplum pg_dump备份时的分布策略缺失等问题
Greenplum的元数据错误也会影响到数据备份过程，在使用pg_dump进行数据结构备份时，会由于分布策略的缺失导致备份失败，本文介绍此错误的解决办法。
2015-05-14 11:28:13
3151
原创 如何解决Greenplum中无法通过标准命令修复的元数据错误
Greenplum的可靠性还是没法和传统商业数据库相比，它跑着跑着就会把自己的元数据给跑乱，有些是可以通过命令修复的，有些则只能直接去增删改system catalog。本文结合一个具体错误，介绍如何操作system catalog解决元数据错误。
2015-05-13 08:32:28
4155
原创 如何解决Greenplum master node与seg node元数据不一致
作为分布式数据库，Greenplum的元数据经常（是真的，经常遇到）会出现些错误，典型的一个是master node与seg node元数据不一致，本文结合一个具体错误，介绍下解决的办法。
2015-05-12 13:00:51
2722
原创 Spring程序读取Cloud Foundry服务信息示例代码
Cloud Foundry提供的服务实例本质上就是访问信息：IP、端口、用户名、密码等，使用的过程当然可以写死在代码或配置文件里，但是高级一点儿的办法当然是让程序可以自动按照环境适配服务实例信息，切换数据库，消息中间件，云存储等代码连接的位置。这篇先写一下在web.xml里配置了listener的spring程序如何自动获取CF的服务实例信息，示例代码由Maven管理。
2015-04-30 10:01:04
1515
2
原创 如何配置和使用Pivotal Cloud Foundry里的HAPorxy（下）
前一篇写了HAProxy自己的LB和证书的使用，这篇主要是关于安全还有可靠性的。
2015-04-15 08:45:55
2369
原创 如何配置和使用Pivotal Cloud Foundry里的HAPorxy（上）
Pivotal使用HAProxy作为其访问入口，当然是允许使用其他负载均衡软件或硬件进行替换的。不过，基于怕麻烦和强迫症，个人还是用了HAProxy到最终的生产环境。为了满足特定的应用需求和可靠性需求，对负载均衡这一层做了一定的配置，本文通过四个案例共享这些经验。
2015-04-14 14:00:01
2254
原创 Cloud Foundry buildpack开发部署实例解析
与service broker相比，buildpack的实务操作就容易多了，单就通用概念来说，其实用不着单写一篇，但是处女座强迫症发作，所以还是写一下，使CF这个框架对外扩展的两个维度（代码使用的服务和代码运行的环境）是完整的。这篇主要会写buildpack的基本实现逻辑，然后举三个需要修改buildpack的需求，进行实际操作描述。
2015-04-13 15:39:37
3426
原创 Cloud Foundry service broker开发部署实例解析（下）
通过上篇，我们得到service broker的程序包，之后我们将其部署到CF上，得到真正能使用的市场服务。发布应用程序将源代码中的application.properties里的spring.jpa.hibernate.ddl-auto配置为create，编译打包发布到CF上：cf push samplebroker -p ./cf-sample-servicebroker.jar创建一个M
2015-03-27 14:32:37
2781
2
原创 Cloud Foundry service broker开发部署实例解析（上）
Cloud Foundry（CF）通过buildpack扩展运行不同语言应用的能力，通过service broker（SB）扩展支持应用所需的各种关系数据库、中间件、缓存、云存储、内存数据库等各种服务的能力。这篇博文将从头至尾介绍通用的SB开发和部署。
2015-03-26 17:02:21
3791
原创 Cloud Foundry安装部署指南（下）
上篇介绍了Pivotal Ops Manager和Operations Manager Director for VMware vSphere的安装配置，完成了与IaaS层的连接，现在开始正式配置CF的运行环境（含buildpack）和服务。
2015-03-25 08:51:08
2984
原创 Cloud Foundry安装部署指南（上）
本文介绍在基于VMware技术的虚拟机资源池上，部署Pivotal Cloud Foundry（PCF）的过程。Pivotal对Cloud Foundry（CF）进行了商业化包装，虽然其部署过程现阶段还没有简单到vSphere产品线的水平，但是比开源版本的部署要容易的多。
2015-03-24 14:42:18
10313
原创 11家PaaS公有云供应商服务功能要点比较
在写Cloud Foundry之前，先预热一下。2014年7月，为企业PaaS云建设，个人对11家PaaS公有云供应商的服务内容进行了调查，共享出来，供进行PaaS项目建设的同仁参考。所有调查内容为2014年7月的状态，受限于项目建设目标，调查的范围主要是运行环境和MySQL数据库服务。
2015-03-19 16:12:43
4404
原创 云计算运营模式实例共享
归根结底云计算是种运营模式，虚拟化、自动化、Cloud Foundry、Docker等等都是实现这种运营模式的一种手段而已，本质上，云计算就是把信息技术能干的事儿都包装成明码实价的出来卖的。能制定并落实一套管理制度以推动云计算运营模式的实现，比采用的技术要重要的多。抬杠的说，不采用任何相关技术，靠人海战术，云数据中心依然能够运营。云计算，尤其是私有云建设中，找到一个能够少触犯各方利益，得到广泛支持的运营模式，是项目成功的关键。下面分享一个IaaS私有云运营模式实例。
2015-02-06 17:13:08
3658
原创 存储阵列和SAN网络的典型部署
在企业内部做IaaS，共享存储资源池是必然要求，对于大部分企业来讲，其实并不需要太多新技术，传统的SAN存储网络在当下是绝对能够非常良好的支撑IaaS私有云的，存储阵列和SAN交换机就够了，至于该买什么牌子，同档次里找便宜的吧，不差钱的话，推荐EMC的存储解决方案。这篇将以EMC VNX和博科交换机为例介绍下典型的共享存储资源池。
2015-02-06 09:34:58
5583
原创 VMware converter使用指南
虚拟机进入一个资源池的路径有三种，一自然是从头安装的新机器，二是从ovf模板部署，三就是p2v（物理机转换成虚拟机）和v2v（虚拟机转换成虚拟机）。在VMware技术体系下， 第三种情况对应的就是VMware converter的使用了，这篇将完整描述整个VMware converter的使用，分享之前使用过程中遇到的典型问题。
2015-02-04 22:21:46
6376
原创 IaaS私有云解决方案对比分析
2012年6月，博主启动了所在大型国内投行的IaaS私有云建设，彼时，虚拟服务器资源池（自动化、流程化、可计量，参见基于VMware的虚拟机资源池实现）和存储资源池（流程化）均已形成，目标很明确：1、将存储资源池自动化；2、建设自动化、流程化的物理服务器资源池；3、整个管理平台为这些东西提供统一的自助服务和管理；4、这是最重要的，制定云运营模式。按照企业习惯，自主研发的可能性不大，所以当然是找商业化产品，于是就有了下面对于BMC、HP、IBM、VMware、Citrix、EMC、CISCO、天云科技的评测分
2015-02-02 13:44:41
6481
原创 NTP时间服务搭建、使用及常见问题
NTP相关的文章到处都是，但是实在是强迫症发作，看不得乱七八糟逻辑混乱的技术内容。所以整理一个关于NTP服务器的搭建、使用和常见问题的信息汇总。这篇还是一样主要从实务角度出发描述NTP时间服务，原理不会讲的太多，目的还是一样，照着做，就能完成这项工作，不灵可以mail我。
2015-01-30 09:23:09
7515
1
原创 VCenter集成LDAP和AD的配置方法
VCenter5.5的用户体系与5.1及之前版本略有不同，安装完成后，默认所在OS已经不能用于VC的用户验证（验证是指验证登陆，授权是指功能权限，用户授权当然是VC自己管理的）。从5.1起，如果要使用LDAP或者AD作为VC的用户验证源，需要进行专门设置（4.x直接就用windows的用户验证体系，所以只要vc的os在ad域里，自动就能用ad验证了），这篇博客将给出配置的方法。
2015-01-29 11:04:13
15436
原创 虚拟化的成本计算实例
以现阶段的x86技术为前提，虚拟化是绝对会大幅度降低企业的IT支出。在虚拟化技术发展的初期，考虑虚拟化平台的软件授权费用，虚拟服务器与物理服务器成本大致相当，但这个说法的前提是：由于CPU主频及核数，单台服务器内存上线和IO能力的限制，每台2路物理服务器上虚拟出来的VM不超过10个。摩尔定律决定了这个说法肯定是不会长久的，现在的单台x86服务器上可以非常轻松支持30个VM，而虚拟化平台是按照CPU数量收取费用的，这意味软件费用没有变化，定性的想一下，单台10VM时成本持平，单台30VM，就白捡了20个VM。
2015-01-28 14:05:54
2761
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人