- 博客(929)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 python面向对象
def method(cls, 其他参数)，第一个变量是当前类的引用，名字任意。定义其他实例方法，只需要添加def method（self, 其他参数）__init__(self, name, age) 是构造方法。第一个变量是当前对象的引用,名字任意。4.自定义类方法，不同于静态方法。def method（参数），2.自定义类变量（静态变量）name，age是实例变量。定义在类中方法外的变量。
2023-08-05 11:11:10
978
1
原创 Python与json
3.1.3使用自定义的encoder，encode实现Encoder。json.dumps(对象, cls=MyEncoder)3.1.1json.dumps(对象.__dict__)2.python字典和json str互转。json.dumps(python字典)1.Python中引入json模块。
2023-08-05 10:30:36
973
原创 Java ConcurrentHashMap
通过volatile，cas，syncronized等同步机制保证线程安全。和HashMap使用的数据结构以及默认值基本相同。
2023-03-16 11:30:35
835
原创 vscode /bin/sh: python: command not found
在vs code中运行python code，在output中出现错误：/bin/sh: python: command not found原因可能是选中的是Run Code：选择Run Python File， 可能就可以正常运行了。输出会出现在terminal中。
2022-07-07 10:50:11
5597
4
原创 scala将依赖一起打包
在idea中直接运行正常，但是打包后通过java -cp 命令运行，出错：NoClassDefFoundError是因为依赖没有被一起打包在pom文件中添加maven-assembly-plugin，将依赖一起打包完整pom文件：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3
2021-11-12 17:22:48
1471
转载 Mac安装Spark
下载spark解压后，配置环境变量export SPARK_HOME=/usr/local/Cellar/apache-spark/2.4.5_1/libexecexport PATH=$PATH:$SPARK_HOME/bin注意：安装大数据相关的软件时特别要注意版本号，大数据安装软件经常遇到版本号不兼容的问题，如果要安装特定版本的spark采用直接下载.tar包解压的方式安装。因我安装的大数据软件都是最新版本，brew install spark安装的Spark不是最新的，这样版本
2021-08-11 01:06:54
1675
转载 Mac OS X 上搭建 Hadoop 开发环境指南
安装 Java因为之后使用 Hadoop 需要运行 jar 包，所以 Java 环境是必须的，这里不作赘述，相信大多数学习 Hadoop 的小伙伴计算机上都早已经搭好 Java 环境。下载 Hadoop 源码以hadoop-2.8.2为例添加 Hadoop 环境变量在 .bash_profile 文件中配置 Hadoop 的环境变量，使用 vim 打开该文件，在终端运行如下命令打开文件：vim ~/.bash_profile进入编辑模式后添加以下两行代码（修改成自己机子上的..
2021-08-10 17:01:20
1198
转载 模型视角下的风控策略规则发现
风控业务背景模型构建固然重要，但最终是为了将模型应用于实际业务中，创造价值。从这个角度而言，完全不懂策略的风控建模师是不合格的。在交付模型时，建议与策略同学多加沟通，不仅是给出模型的技术指标，说明正确的使用方法（应用不当就会产生模型风险），更需要学一点策略知识。这不仅让你拥有更宏观的业务视野，也会更明确自身价值。☀️本文从模型视角介绍一些策略规则发现的常见做法，希望能对初学者有所启迪。Part 1. 模型与策略之间的边界和联系在平时工作中，我们会发现策略组类似模型组的“甲方“，向模型组提需求
2021-05-13 22:57:25
1402
转载 Java常用的规则引擎，让你变动的代码更加容易维护
概述在本文中，我们将介绍Java中一些最受欢迎的规则引擎。规则引擎简介规则引擎由推理引擎发展而来，是一种嵌入在应用程序中的组件，实现了将业务决策从应用程序代码中分离出来，并使用预定义的语义模块编写业务决策。接受数据输入，解释业务规则，并根据业务规则做出业务决策。在Java中，大多数流行的规则引擎都实现JSR94将规则引擎想象成一个以数据和规则作为输入的系统。它将这些规则应用于数据，并根据规则定义为我们提供输出。让我们以一个在线购物为例，我们希望为客户提供某些促销或折扣。如果购物车总额超过
2021-05-13 22:44:57
1330
转载 规则引擎的原理与功能
1 产生背景企业级管理者可能会在系统生产过程中调整生产策略、物料采购策略等，因此对企业IT系统的开发有着如下的要求：为提高效率，管理流程必须自动化，即使现代商业规则异常复杂。 市场要求业务规则经常变化，IT系统必须依据业务规则的变化快速、低成本的更新。 为了快速、低成本的更新，业务人员应能直接管理IT系统中的规则，不需要程序开发人员参与。而项目开发人员则碰到了以下问题:程序=算法+数据结构，有些复杂的商业规则很难推导出算法和抽象出数据模型 软件工程要求从需求->设计->编码，
2021-05-13 22:39:44
1922
转载 有赞风控规则引擎实践
引言作为一家SaaS公司，有赞向商家提供强大的微商城系统和完整的移动电商解决方案。伴随着公司产品受众不断增长的同时，灰黑产业也慢慢伸出了触角，妄图利用有赞便捷的支付、传播等能力获取非法的利益，因此如何高效的遏制灰黑产业的侵蚀，是我们面临的一个重要挑战。总的来说，目前有赞面临的主要风险类型包括：盗卡。例：盗用用户银行卡，在有赞店铺上消费 欺诈。例：通过发布低价商品，诱骗消费者购买 套现。例：在自己创建的店铺里进行虚假交易用以套现信用卡 垃圾信息。例：发布虚假消息、色情等违规商品、页面 盗.
2021-05-13 22:37:01
1581
转载 支付宝第五代风控引擎AlphaRisk模型解析
1.背景拥有世界级领先的风控技术能力，历经十多年的发展，支付宝已从原先的CTU大脑全面进入人工智能时代，AlphaRisk[1]作为第五代风控引擎，其核心正是由AI驱动的智能风险识别体系AI Detect。AI Detect是一套智能、高效的风险识别算法体系，不仅包含了传统的像GBDT，集成学习这种有监督学习算法，还包括了大量基于深度学习的无监特征生成算法，以及监督&无监督概念之外的新算法，本文介绍的工作正是其中之一。当你站在超市收银台前，从点开支付宝二维码给扫码枪扫描，到支付成功的短短
2021-05-13 22:32:36
1299
转载 从支付架构到风控报警，支付系统的设计如何环环相扣？
企业所处发展阶段不同，对支付系统的定位和架构也不尽相同。整体上来说，我们可以把一个公司的支付系统发展分为三个阶段：支付系统：支付作为一个（封闭）的、独立的应用系统，为各系统提供支付功能支持。一般来说，这个系统仅限于为公司内部的业务提供支付支持，并且和业务紧密耦合。支付服务：支付作为一个开发的系统，为公司内外部系统、各种业务提供支付服务。支付服务本身应该是和具体的业务解耦合的。支付平台：支付作为一个可扩展的平台，公司内外部的用户可以在此基础上定制开发自己的服务。这个划分有点勉强。简单说，支
2021-05-13 22:27:40
715
转载 规则推理引擎简介
风控就是在可控制的范围之内经营风险。就本质而言，金融就是风险，是一体的，不分彼此；就具体业务划分，风险与产品、市场、渠道、运营等并列，是其中之一；就过程来看，风险贯穿于金融业务的前、中、后台，难分什么方向。 风控包含了两类工作，即风险管理和内部控制，但在不同类型的企业中，风控的管理及控制的领域方向也会有所不同。 金融领域的风控工作属于中台部门，需要参与到具体业务的事中风险评估及审核过程，而非仅仅事后的检查评价。通常涵盖的范围包括金融行业特色的信用风险、市场风险、操作风险等，往往有比较大的权力。高
2021-05-13 22:10:22
1100
转载 做风控到底是做什么？
风控包含了两类工作，即风险管理和内部控制，但在不同类型的企业中，风控的管理及控制的领域方向也会有所不同。这并不算是个新职业，但我们发现它的职业发展势头正变得越来越好。根据科锐国际的统计数据表明，在金融行业各职能部门的薪酬涨幅里，尽管中后台部门仍然没有前台部门的15％高，大约在5%至10%之间，“不过风控在中后台其他职能部门中算是涨幅比较高的。”科锐国际金融行业总监李珉说。之所以能有这样比较有优势的涨薪，主要有两方面原因。甫瀚咨询董事总经理崔楠认为原因之一在于人才贮备不足。过去很多人都没能认识到...
2021-05-13 22:07:26
805
转载 真正好的风控到底是什么：数据、算法、场景？
凡事过犹不及，当整个行业都在谈场景金融，都在谈大数据风控时，危机已经悄然而至。不光是金融科技公司在谈，互联网巨头在谈，整个银行圈也在谈。城商行、农商行觉得这是弯道超车的机会，国有大行害怕掉队，金融科技公司对谁都在鼓吹。即使以最宽泛的标准算，中国互联网金融的历史不到10年。10年前，在我干这行的那个年代，甚至在为到底是互联网金融还是金融互联网而争论。在行业内，普遍以余额宝成立的2013年作为中国互联网金融元年。也就是说，互联网金融这个名词为大多数人知晓只有6年。所谓的金融科技公司或者平
2021-05-13 22:01:33
234
转载 Maven处理依赖冲突
不知道你在使用Maven时是否遇到过诸如"NoSuchMethodError"或"ClassNotFoundException"之类的问题，甚至发生这些问题的Java类你没都没有听说过。要搞清楚这里面的缘由，我们得学习Maven对依赖冲突的处理机制。Maven采用“最近获胜策略（nearest wins strategy）”的方式处理依赖冲突，即如果一个项目最终依赖于相同artifact的多个版本，在依赖树中离项目最近的那个版本将被使用。让我们来看看一个实际的例子。我们有一个web应用resolve
2021-05-11 19:47:13
187
转载 Maven使用Profile
在开发项目时，设想有以下场景： 你的Maven项目存放在一个远程代码库中（比如github），该项目需要访问数据库，你有两台电脑，一台是Linux，一台是Mac OS X，你希望在两台电脑上都能做项目开发。但是，安装Linux的电脑上安装的是MySQL数据库，而Mac OS X的电脑安装的是PostgreSQL数据库。此时你需要找到一种简单的方法在两种数据库连接中进行切换，你会怎么做？ 此外，你的项目需要部署。为了调试，在开发时我们在Java编译结果中加入了调试信息（Java默认）。而在部署
2021-05-11 19:45:26
571
转载 Maven使用自己的Repository(Nexus)
平时我们自己做的项目都是直接使用Maven提供的Central Repository，但是对于公司来说直接使用公共的Maven Central Repository就不见得是件好事了，比如我们需要考虑安全问题。此时你可以创建一个公司专属的Repository（Internal Repository），公司的所有项目都只和这个专属的Repository打交道，包括下载依赖，部署等。总的来说，专属Repository有以下好处： 代理外部Repository（比如Maven Central Repos
2021-05-11 19:41:52
899
转载 Maven配置Plugin到某个Phase（以Selenium集成测试为例）
持续交付要“自动化所有东西”，对于集成测试也是一样。集成测试和单元测试相比需要更多的环境准备工作，包括测试数据的准备和启动服务器等。在本篇中我们设想以下一种场景： 你开发了一个web应用，集成测试使用了Selenium，你希望通过一个Maven命令跑完所有的测试，包括集成测试。 Maven的plugin包含了一个或多个goal，每一个goal表示plugin的一个操作单位，在plugin开发中，一个goal通常对应于Java类的一个方法(Mojo的execute方法，请参考本系列之六)。一个goa
2021-05-11 19:38:09
302
转载 Maven多模块 vs 继承
通常来说，在Maven的多模块工程中，都存在一个pom类型的工程作为根模块，该工程只包含一个pom.xml文件，在该文件中以模块（module）的形式声明它所包含的子模块，即多模块工程。在子模块的pom.xml文件中，又以parent的形式声明其所属的父模块，即继承。然而，这两种声明并不必同时存在，我们将在下文中讲到这其中的区别。（一）创建Maven多模块工程多模块的好处是你只需在根模块中执行Maven命令，Maven会分别在各个子模块中执行该命令，执行顺序通过Maven的Reactor机制决定。先
2021-05-11 19:31:35
243
转载 Maven常用命令
Maven库：http://repo2.maven.org/maven2/Maven依赖查询：http://mvnrepository.com/一，Maven常用命令：1. 创建Maven的普通Java项目：mvn archetype:create -DgroupId=packageName -DartifactId=projectName2. 创建Maven的Web项目：mvn archetype:create -DgroupId=package
2021-05-11 19:19:20
171
转载 reids集群
一、集群的作用集群，即Redis Cluster，是Redis 3.0开始引入的分布式存储方案。集群由多个节点(Node)组成，Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点：只有主节点负责读写请求和集群信息的维护；从节点只进行主节点数据和状态信息的复制。集群的作用，可以归纳为两点：1、数据分区：数据分区(或称数据分片)是集群最核心的功能。集群将数据分散到多个节点，一方面突破了Redis单机内存大小的限制，存储容量大大增加；另一方面每个主节点都可以对外提供读服务和写服务
2021-04-23 09:11:20
184
转载 redis哨兵
一、作用和架构1. 作用在介绍哨兵之前，首先从宏观角度回顾一下Redis实现高可用相关的技术。它们包括：持久化、复制、哨兵和集群，其主要作用和解决的问题是：持久化：持久化是最简单的高可用方法(有时甚至不被归为高可用的手段)，主要作用是数据备份，即将数据存储在硬盘，保证数据不会因进程退出而丢失。 复制：复制是高可用Redis的基础，哨兵和集群都是在复制基础上实现高可用的。复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。缺陷：故障恢复无法自动化；写操作无法负载均衡；存储能.
2021-04-23 09:11:08
116
转载 RedisCluster槽
亲爱的同学们，你是否使用过Redis集群呢？那Redis集群的原理又是什么呢？记住下面两句话：Redis Sentinal着眼于高可用，在master宕机时会自动将slave提升为master，继续提供服务。 Redis Cluster着眼于扩展性，在单个redis内存不足时，使用Cluster进行分片存储。一、数据分片策略布式数据存储方案中最为重要的一点就是数据分片，也就是所谓的 Sharding。为了使得集群能够水平扩展，首要解决的问题就是如何将整个数据集按照一定的规则分配到多个节点上，常用
2021-04-23 09:10:52
506
转载 各种AI模型拿来就能用！五大深度学习模型库大盘点
你知道PyTorch Hub吗？这个Facebook的深度学习模型库，一问世就引发了巨大关注。因为它太强了：ResNet、BERT、GPT、VGG、PGAN、MobileNet等深度学习领域的经典模型，只需输入一行代码，就能一键调用。不过，人工智能领域，这样的模型库不仅仅只有PyTorch Hub一个，还有其他4个（来自@爱可可-爱生活）：TensorFlow Hub、TensorFlow Models、Model Zoo、Models – IBM Developer在这些地方，深度
2021-04-23 09:10:32
1151
转载 redis持久化
一、Redis高可用概述在介绍Redis高可用之前，先说明一下在Redis的语境中高可用的含义。我们知道，在web服务器中，高可用是指服务器可以正常访问的时间，衡量的标准是在多长时间内可以提供正常服务（99.9%、99.99%、99.999% 等等）。但是在Redis语境中，高可用的含义似乎要宽泛一些，除了保证提供正常服务(如主从分离、快速容灾技术)，还需要考虑数据容量的扩展、数据安全不会丢失等。在Redis中，实现高可用的技术主要包括持久化、复制、哨兵和集群，下面分别说明它们的作用，以及解决了
2021-04-22 19:12:34
134
转载 redis内存模型
前言Redis是目前最火爆的内存数据库之一，通过在内存中读写数据，大大提高了读写速度，可以说Redis是实现网站高并发不可或缺的一部分。我们使用Redis时，会接触Redis的5种对象类型（字符串、哈希、列表、集合、有序集合），丰富的类型是Redis相对于Memcached等的一大优势。在了解Redis的5种对象类型的用法和特点的基础上，进一步了解Redis的内存模型，对Redis的使用有很大帮助，例如：1、估算Redis内存使用量。目前为止，内存的使用成本仍然相对较高，使用内存不能无所顾忌；根
2021-04-22 19:06:01
145
转载 redis主从复制
前言Redis高可用的方案包括持久化、主从复制（及读写分离）、哨兵和集群。其中持久化侧重解决的是Redis数据的单机备份问题（从内存到硬盘的备份）；而主从复制则侧重解决数据的多机热备。此外，主从复制还可以实现负载均衡和故障恢复。这篇文章中，将详细介绍Redis主从复制的方方面面，包括：如何使用主从复制、主从复制的原理（重点是全量复制和部分复制、以及心跳机制）、实际应用中需要注意的问题（如数据不一致问题、复制超时问题、复制缓冲区溢出问题）、主从复制相关的配置（重点是repl-t
2021-04-22 18:56:16
130
转载 Redis分片(分布式缓存)
分片(partitioning)就是将你的数据拆分到多个 Redis 实例的过程，这样每个实例将只包含所有键的子集.1 分片何用Redis 的分片承担着两个主要目标：允许使用很多电脑的内存总和来支持更大的数据库。没有分片，你就被局限于单机能支持的内存容量。 允许伸缩计算能力到多核或多服务器，伸缩网络带宽到多服务器或多网络适配器。2 分片基础有很多不同的分片标准(criteria).假想我们有 4 个 Redis 实例 R0，R1，R2，R3，还有很多表示用户的键，像 user:1，us
2021-04-22 17:16:48
540
转载 redis切片
redis分片单台redis的管理内存能力是有限的，如果保存有海量的缓存数据，则一台redis无法操作那么就要对redis进行扩容，redis分片主要目的实现redis内存扩容，对用户而言使用的就是一大台redis,但是内部每个redis中保存的数据都是不同的分片原理ShardedJedis是通过一致性哈希来实现分布式缓存的，通过一定的策略把不同的key分配到不同的redis server ,达到横向扩展的目的的hash一致性原理1、0到2^32-1数字组成一个hash圆环；
2021-04-22 17:06:06
319
mariadb-connector-odbc-3.1.3-win64.msi
2019-08-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人