- 博客(28)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 H5页面使用微信网页授权实现登录认证
在用H5开发微信公众号页面应用时，往往需要获取微信的用户信息，H5页面在微信属于访问第三方网页，因此通过微信网页授权机制，来获取用户基本信息。 具体流程和代码也参照微信网页授权，下面介绍下我的具体实现和代码： ...
2020-07-17 15:22:48
11244
原创 Spark介绍（七）PySpark
一、PySpark简介 PySpark 是 Spark 为 Python 开发者提供的 API ，位于 $SPARK_HOME/bin 目录，其依赖于 Py4J。 Spark2.0之后的初始化，会在spark安装pyspark的模块，直接在spark/bin/启动pyspark是会报错的： 原因是因为spark2.0默认安装的Python是3.6的，而“Spark &l...
2019-01-02 11:48:07
724
原创 信用评分卡模型在Python中实践（下）
信用评分卡模型在Python中实践（上）上一篇已经完成数据集的准备和指标筛选，本篇继续介绍模型构建和评分卡的创建。五、模型训练 信用评分卡的模型一般采用逻辑回归模型，属于二分类模型，Python 中的sklearn.linear_model导入LogisticRegression即可。#入模定量和定性指标model_data = data[np.append(quant_mo...
2018-11-29 10:11:42
3889
17
原创 信用评分卡模型在Python中实践（上）
一、 前言 之前看到信用标准评分卡模型开发及实现的文章，是标准的评分卡建模流程在R上的实现，非常不错，就想着能不能把开发流程在Python上实验一遍呢，经过一番折腾后，终于在Python上用类似的代码和包实现出来，由于Python和R上函数的差异以及样本抽样的差异，本文的结果与该文有一定的差异，这是意料之中的，也是正常，接下来就介绍建模的流程和代码实现。#####代码中需要引...
2018-11-29 09:29:24
4840
10
原创 时间序列分析在R中实践
先安装时间序列相关包，直接从CRAN上安装，会自动安装依赖的包，再导入包#####################包准备#####################install.packages("lmtest")install.packages("tseries")install.packages("fGarch")install.packages("FinTS")install...
2018-11-05 15:38:05
786
原创 逻辑回归模型在R中实践
在日常学习或工作中经常会使用线性回归模型对某一事物进行预测，例如预测房价、身高、GDP、学生成绩等，发现这些被预测的变量都属于连续型变量。然而有些情况下，被预测变量可能是二元变量，即成功或失败、流失或不流失、涨或跌等，对于这类问题，线性回归将束手无策。这个时候就需要另一种回归方法进行预测，即Logistic回归。一、Logistic模型简介Logistic回归模型公式如下： ...
2018-09-14 14:51:35
8897
6
原创 函数式编程简介
一、编程范式"编程范式"（programming paradigm），也就是如何编写程序的方法论1.命令式编程：面向计算机硬件的抽象，有变量（对应着存储单元）、赋值语句（获取，存储指令），表达式（内存引用和算术运算）和控制语句（跳转指令），命令式程序就是一个冯诺依曼机的指令序列。面向对象编程就是一种命令式编程。2.函数式编程：面向数学的抽象，将计算描述为一种表达式的值。函数式程序就是一...
2018-09-14 14:22:12
394
原创 Scala介绍
一、基础约定1.规则（1）无分号：scala中如果一行只包含一条语句，那么语句后面可以不加分号；（2）对象的世界：在scala中，任何类型都是对象。 ——1.toString() // 返回字符串 "1"，在这段语句中1是Int对象，它含有toString()方法； ——函数也是对象，函数是这个世界的一等公民（这体现了scala中函数式编程的特点...
2018-09-14 11:24:58
248
原创 Spark介绍（六）SparkR
一、SparkR简介SparkR是一个R语言包，它提供了轻量级的方式使得可以在R语言中使用Apache Spark。在Spark 1.4中，SparkR实现了分布式的data frame，支持类似查询、过滤以及聚合的操作（类似于R中的data frames：dplyr)，但是这个可以操作大规模的数据集。 DataFr...
2018-09-14 11:07:59
8219
原创 Spark介绍（五）Spark MLlib
一、Spark MLlib简介MLlib(Machine Learnig lib) 是Spark对常用的机器学习算法的实现库，同时包括相关的测试和数据生成器MLlib支持本地的密集向量和稀疏向量，并且支持标量向量（LabledPoint ）。MLlib同时支持本地矩阵和分布式矩阵，支持的分布式矩阵分为RowMatrix、IndexedRowMatrix、CoordinateMatr...
2018-09-14 11:05:31
497
原创 Spark介绍（四）SparkSQL
一、SparkSQL发展历程SparkSQL的前身是Shark， Shark是伯克利实验室Spark生态环境的组件之一，它修改了下图Hive所示的右下角的内存管理、物理计划、执行三个模块，并使之能运行在Spark引擎上，从而使得SQL查询的速度得到10-100倍的提升2014年6月1日Shark项目和SparkSQL项目的主持人Reynold Xin宣布：停止对Shark的开发，团队将...
2018-09-14 11:03:39
394
原创 Spark介绍（三）SparkStreaming
一、SparkStreaming简介SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kdfka、Flume、Twitter、Zero和TCP 套接字）进行类似Map、Reduce和Join等复杂操作，并将结果保存到外部文件系统、数据库或应用到实时仪表盘。 ...
2018-09-14 11:00:28
2984
原创 Spark介绍（二）RDD
一、RDD介绍弹性分布式数据集，RDD是Spark最核心的东西，它表示已被分区，不可变的并能够被并行操作的数据集合，不同的数据集格式对应不同的RDD实现。RDD的特点：1.来源：一种是从持久存储获取数据（并行化集合或Hadoop数据集），另一种是从其他RDD生成2.只读：状态不可变，不能修改3.分区：支持元素根据 Key 来分区 ( Partitioning ) ，保存到多个结...
2018-09-14 10:56:10
415
原创 Spark介绍（一）简介
一、Spark简介Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架Spark使用Scala语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集，具有以下特点。1.运行速度快：Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数...
2018-09-14 10:51:50
20740
原创 JavaScript序列化form为对象和JSON
前端提交参数给后端时，通常是用json格式做传递，而接收输入参数的控件一般都用form表单，有没有办法可以将form里的参数直接序列化成对象呢，以下提供了一种方法： function deserializeJSON($form) { var res = {}; $.each($form.serializeArray(), function() { ...
2018-08-16 16:43:50
324
原创 python3使用flask-sqlalchemy操作mysql
由于 MySQL-python 不支持 Python 3（MySQL-3.23 through 5.5 and Python-2.4 through 2.7 are currently supported），python3下使用flask-sqlalchemy时，安装的命令是：pip install pymysqlpip install flask-sqlalchemy 相关代...
2018-08-16 14:54:21
2574
原创 C# 控件实用方法分享
在C#应用程序的开发中，经常会用到一些公共控件，有些功能是需要写代码去实现的，但是又有共性，所以我把这些控件的功能分别建立了对应的工具类，抽象出来分享给大家。一、CheckListBoxUtils.csusing System;using System.Collections.Generic;using System.Linq;using System.Text;using Sys...
2018-05-04 15:18:26
262
原创 C# ORM NHibernate实践
前阵有个应用程序项目需要连接数据库mysql，想着单纯写sql语句做CRUD太麻烦了，就想起了ORM技术，简单点说就是把数据库的表映射成对象，然后可以通过框架提供的函数进行CRUD，也可以通过写sql语句的方式，最方便的就是能跟对象做映射，输入和输出都很方便，针对C#的程序，选择了NHibernate。 NHibernate是一个面向.NET环境的对象/关系数据库映射工具。对象/关系...
2018-05-04 14:47:11
2634
原创 Ubuntu16安装msyql5.7和jdk8
安装MySQLmysql安装的方式很简单：更新软件包索引，安装mysql-server软件包，然后运行附带的安全脚本即可。sudo apt-get updatesudo apt-get install mysql-server sudo mysql_secure_installation步骤1 – 安装MySQL在 Ubuntu 16.04 中，默认情况下，只有最新版本的 MySQL 包含在 ...
2018-03-08 19:05:24
215
原创 HTML Form中button自动刷新页面
在html的form中定义button的时候，如果不加上type="button"属性，会出现执行完事件后自动刷新当前页面的情况，比如这样的代码： 服务号码：
2018-02-07 14:21:43
1454
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人