tigerking1017的博客

原创 新质生产力（new quality productive foreces）逻辑关系图

转载 离线数仓和实时数仓的区别

例如：在统计实时交易订单时，可能实时统计的结果需要当日分钟级别向外展示，T+1后才能展示昨日总的交易订单数，显然，后者是T+1每日离线批处理统计结果，那么假设当日有些用户进行了订单取消，有可能T+1后统计结果与当日实时展示数据出现不一致问题，那么这里就需要使用数据服务来进行处理，统一数据，决定如何使用数据。这个时期，在企业信息化的过程中，随着信息化工具的升级和新工具的应用，数据量变的越来越大，数据格式越来越多，决策要求越来越苛刻，数据仓库技术在大数据场景中被广泛使用。

原创 数据集市简介

数据集市简介

原创 统计学知识梳理

统计学知识梳理

原创 京东供应链溯源防伪平台

PPT整理自：“别人在忙挖矿，京东架构师却悄悄用区块链搞了件大事！”http://blog.csdn.net/dev_csdn/article/details/79062081仅供参考学习！

原创 CentOS7-64位下 MySQL5.7 安装与配置（YUM）

1、配置YUM源    在MySQL官网中下载YUM源rpm安装包    http://dev.mysql.com/downloads/repo/yum/         # 下载MySQL源安装包    [root@bobom ~]# wget cd https://dev.mysql.com/get/mysql57-community-release-el7-11.noar

原创 jupyter notebook 更改工作环境和浏览器

Jupyter Notebook（此前被称为 IPython notebook）是一个交互笔记本，支持运行40多种编程语言。本质是一个 web 应用程序，便于创建和共享文学化程序文档，支持实时代码、数学方程、可视化和markdown。          ----百度百科    （详细信息见官网：http://jupyter.org/）    这里主要介绍使用过程中遇到的

原创 css基础--联合选择器

1、css 层叠样式表（层叠：一层一层的；样式表：很多的属性和属性值），使页面显示效果更好，css将页面内容和显示样式进行分离提高了显示功能功能2、css 和 html的结合方式：    a、行内样式，在每个html标签上面都有一个style属性把css和html结合在一起；            b、内嵌样式，在每个html的里面以标签实现；

转载 HTML基础之知识框架

转载 CSS基础之框架图

原创 正则表达式 python3.x (re模块)

============================ re.compile ============================re.compile可以把正则表达式编译成一个正则表达式对象。可以把那些经常使用的正则表达式编译成正则表达式对象，这样可以提高一定的效率import re匹配邮箱key = '[email protected]'    # 要匹配的文本

原创 python 多线程 threading

(python提供了两个模块来实现多线程thread 和threading ，thread 有一些缺点，在threading 得到了弥补，为了不浪费你和时间，所以我们直接学习threading 就可以了。)# 单线程 我想做听音乐和看电影两件事儿，那么一定要先排一下顺序。from time import ctime, sleepdef music():    for

转载 pymongo 操作集锦

# 导入模块import pymongo# 建立MongoClient连接，需先启动已经安装的mongodb服务client = MongoClient('localhost', 27017)# 或者 client = MongoClient('mongodb://localhost:27017')# 进入数据库db = client.test_da

转载 python连接及操作mongodb

1、连接数据库（MongoClient VS Connection）    从两个类继承来看，connection是继承MongoClient的，建议使用MongoClient。    class MongoClient(pymongo.common.BaseObject)        Connection to MongoDB.        Method resolution

转载 R语言--股票数据分析

(本实验是以股票数据作为分析背景，股票数据如何从雅虎财经板块上获取，观察股票每日价格和成交量数据开始，接着计算某一支股票数据中比较重要的日度收益率。然后通过各种股票线图进行技术分析，最后在一支股票的基础上同时分析多支股票的成交量，涨幅时间点，最后得出它们之间的相关性等数据特征。)#Quantitative Financial Modelling Framework> libra

原创 Spark之DataFrame 练习

DataFrame 是一种跨语言的、通用的数据科学抽象。 DataFrame 通过使用现实世界中的数据集，涵盖了许多最基本的概念和操作。毫不夸张地说，你可以仅用极少的资金甚至是以免费的方式，通过数据市场获取到一些科研界里最新最权威的数据。倘若你学过R语言，那你可能对它非常熟悉。1、数据集2008 年的航班数据：http://stat-computing.org/dataex

转载 python 实现康威生命游戏

规则：每个细胞有两种状态-存活或死亡，每个细胞与以自身为中心的周围八格细胞产生互动。  人口过少：当周围低于2个（不包含2个）存活细胞时， 本单元活细胞死亡。  稳定：当周围有2个或3个存活细胞时， 本单元细胞保持原样。  人口过剩：当周围有3个以上的存活细胞时，本单元活细胞死亡。  繁殖：当周围有3个存活细胞时，本单元细胞存活/活化。版本：pyth

转载 基于R的高级数据管理

知识点：    数学和统计函数    字符处理函数    数据整合与重塑环境：    R version 3.3.1问题：    一组学生参加了数学、科学和英语考试，所有学生确定一个单一的成绩衡量指标。将前 20% 的学生评定为 A，接下来 20% 的学生评定为 B，依次类推。最后，希望按字母顺序对学生排序。代码：options(

原创 pip(python) && ReadTimeoutError

(pip is already installed if you're using Python 2 >=2.7.9 or Python 3 >=3.4 binaries downloaded from python.org, but you'll need to upgrade pip.)(To install pip, securely download get-pip.py.    

转载 Python 破解验证码

(python 2.7)示例代码：# -*- coding:utf8 -*-from PIL import Imageimport hashlibimport timeimport osimport mathclass VectorCompare:    def magnitude(self,concordance):

原创 实例：python图像处理(Pillow+numpy)

(python 3.5)示例代码：# -*- coding:utf8 -*-from PIL import Imageimport numpy as npa = np.array(Image.open("C:/Users/Desktop/***.jpg").convert('L')).astype('float')   #打开目标图片convert('L')

原创 web-屏幕、浏览器、页面-width and height

1、screen：屏幕screen.height：屏幕高度screen.width：屏幕宽度screen.availHeight：屏幕可用高度（即，屏幕高度减去上下任务栏后的高度）screen.availWidth：屏幕可用宽度（即，屏幕宽度减去左右任务栏后的宽度）任务栏高（宽度-width）= screen.height - screen.availHeight2

转载 大数据科学家不好当，这五项专业特质你有吗？

美国专业招聘公司罗致恒富(Robert Halt)公布的《2015薪资指南》把 大数据 工程师列为今年薪资涨幅最大的六大行业之一，预计薪资年成长率9.3%，平均年薪119,250美元至168,250美元，在国内根据经验平均也有100万到500万的薪资行情。鼎鼎大名的数据科学家你也许听过不少，诸如美国白宫首席数据科学家帕帝亚(DJ Patil)、被选为全美Top 4技术长的宝立明又或者是阿里

转载 matlab三维作图教程

matlab三维作图教程 三维曲线plot3函数与plot函数用法十分相似，其调用格式为：plot3(x1,y1,z1,选项1,x2,y2,z2,选项2,…,xn,yn,zn,选项n)其中每一组x,y,z组成一组曲线的坐标参数，选项的定义和plot函数相同。当x,y,z是同维向量时，则x,y,z 对应元素构成一条三维曲线。当x,y,z是同维矩阵时，则以x,y,z对应列元素绘制三

原创 编程算法（python）

Bubble Sort – 冒泡排序核心：冒泡，持续比较相邻元素，大的挪到后面，因此大的会逐步往后挪，故称之为冒泡。Python：def bubbleSort(alist):    for i in xrange(len(alist)):        print(alist)        for j in xrange(1, len(alist) - i

原创 R语言常用函数汇总

原创 R语言知识体系概览

参考：http://www.csdn.net/article/2014-09-09/2821585

原创 MATLAB参数估计normfit()函数和mle()函数

matlab中normfit在正态分布中的使用技巧如下:          函数 normfit 格式 [muhat,sigmahat,muci,sigmaci] = normfit(X) ；[muhat,sigmahat,muci,sigmaci] =normfit(X,alpha) 说明 muhat,sigmahat分别为正态分布的参数μ和σ的估计值；,muci,sigmaci分别

转载 matlab三维作图教程

三维曲线plot3函数与plot函数用法十分相似，其调用格式为：plot3(x1,y1,z1,选项1,x2,y2,z2,选项2,…,xn,yn,zn,选项n)其中每一组x,y,z组成一组曲线的坐标参数，选项的定义和plot函数相同。当x,y,z是同维向量时，则x,y,z 对应元素构成一条三维曲线。当x,y,z是同维矩阵时，则以x,y,z对应列元素绘制三维曲线，曲线条数等于矩阵列数。

转载 有趣的MATLAB小程序

1.弹性蹦球演示程序figure(1);%定义函数axis([-5.1,5,-0.05,1.05]);%绘制二维图形hold on;%保持当前图形及轴系所有的特性axis('off');%覆盖坐标刻度，并填充背景%通过填充绘出台阶及两边的挡板fill([4.12,4.22,4.22,4.12],[-0.05,-0.05,1.05,1.05],'y');fill([-5,

原创 python操作MySQL数据库 (pymsql)

============================ 安装 ============================pip3 install pymysql============================ 执行SQL ============================import pymysql创建连接conn = pymysql.conn

原创 python错误和异常--总结笔记

错误异常类型：1、NameError ：尝试访问一个没有申明的变量 2、ZeroDivisionError：除数为0 3、SyntaxError：语法错误 4、IndexError：索引超出序列范围 5、KeyError：请求一个不存在的字典关键字 6、IOError：输入输出错误（比如你要读的文件不存在） 7、AttributeError：尝试访问未知的对象属性 

转载 python-24点智取游戏

24点是一种益智游戏，任意给出4张扑克牌（不含大小王，J Q K A所代表的值分别为11, 12, 13, 1），可以有重复的数字。对这4张牌所代表的值进行加减乘除运算，不可改变数字的位置，但可使用括号改变运算顺序，最终使得表达式的值为24 。python实现：from operator import add,sub,mul,div l=[] def s(a,c,d,cl,

转载 “彩虹花”python-matploylib模块

程序代码：from mpl_toolkits.mplot3d import Axes3Dfrom matplotlib import cmfrom matplotlib.ticker import LinearLocatorimport matplotlib.pyplot as pltimport numpy as npfig = plt.figure()ax = fi

转载 python定时关机小程序

程序：import os, time;rh = int(time.strftime("%H", time.localtime()))rm = int(time.strftime("%M", time.localtime()))cmd = "cmd.exe /k shutdown -s -t 0"c1 = Truewhile c1: try: h = in

原创 pycharm安装设置

接触pycharm感觉还不错，分享一下其安装字体设置的过程（pycharm4.0.4版本）1.下载：http://pan.baidu.com/s/1kT1Lsiz（官网：https://www.jetbrains.com/pycharm/）2.安装完成：3.外观&动作设置：4.编辑区（器）设置：OK,希

原创 请实现一个函数能够计算一段文本中每个单词出现的次数。

def count1(file1,gui):    import re    patt = re.compile(gui)    f = open(file1,'r')    try:        return len(patt.findall(f.read()))    finally:        f.close()print(count1('C:/

转载 MySQL查询语句大全集锦

MySQL查询语句大全集锦1:使用SHOW语句找出在服务器上当前存在什么数据库：mysql> SHOW DATABASES;2创建一个数据库MYSQLDATAmysql> CREATE DATABASE MYSQLDATA;3:选择你所创建的数据库mysql> USE MYSQLDATA; (按回车键出现Databasechanged 时说明操作成功！)4:查看现在的数

原创 DBA，QPS，TPS，OLAP，IO

DBA：（DatabaseAdministrato）从事管理和维护数据库管理系统(DBMS)的相关工作人员的统称，他属于运维工程师的一个分支，主要负责业务数据库从设计、测试到部署交付的全生命周期管理。QPS:（Queries Per Second）“每秒查询率”，是一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准TPS:（T

转载 《财富》访谈:Oracle为什么不会干掉MySQL

以下是上周一《财富》杂志对Mickos的采访记录。 财富：你对于Oracle收购SUN这一事件的第一反应是什么? Mickos：有点吃惊，但不是非常吃惊，Oracle公司有钱，也是一家具有长期战略眼光的公司，它们进入应用程序领域与SAP展开竞争，从目前来看似乎已经成功了，现在它们又想与微软展开竞争了。 微软的数据库业务增长速度非常惊人，Oracle可以使用MySQL拉拢规模