13 太白山鹰

尚未进行身份认证

我要认证

数风流人物,据比特世界

等级
TA的排名 20w+

浅谈传统数据仓库在互联网时代的发展方向

数据仓库最早是90年代流行于美国,Bill Inmon最先提出了数据仓库的概念,其专著《建立数据仓库(第一版)》明确指出数据仓库是一个具有如下特征的数据的集合:面向主题的、集成的、非易失的且随时间变化 ,同时是为决策支持服务的。1.2000-2012年 ,数据仓库这个在00年逐渐在国内火起来的,这个时候国内的电信和银行企业积累了一定的数据,希望这些数据能够为经营分析做一些决策支持,因...

2019-08-07 14:06:12

geohash精度和误差

具体的计算方法: Latitude的范围是:-90 到 +90 Longitude的范围:-180 到 +180 地球参考球体的周长:40075016.68米,极半径:6356908.8米,赤道半径:6377830,平均半径:6371393 geohash的位数是9位数的时候,误差约为4米;geohash的位数是10位数的时候,误差为0.6米geohash长度...

2019-06-18 11:34:42

评价机器学习模型的三大指标:准确率、精度和召回率

向于使用准确率,是因为熟悉它的定义,而不是因为它是评估模型的最佳工具!精度(查准率)和召回率(查全率)等指标对衡量机器学习的模型性能是非常基本的,特别是在不平衡分布数据集的案例中,在周志华教授的「西瓜书」中就特别详细地介绍了这些概念。GitHub 地址:https://github.com/WillKoehrsen/Data-Analysis/blob/master/recall_prec...

2019-03-07 15:08:04

hive/spark分析函数介绍(转载)

窗口函数应用场景:(1)用于分区排序(2)动态Group By(3)Top N(4)累计计算(5)层次查询 一、分析函数用于等级、百分点、n分片等。函数 说明 RANK() 返回数据项在分组中的排名,排名相等会在名次中留下空位 DENSE_RANK() 返回数据项在分组中的排名,排名相等会在名次中不会留下空位 NTILE() ...

2019-01-16 14:41:32

python中列表、字段、元组的遍历

1.列表 lista = ['a','b','c','d','e','f']1.1 for i in a: print(i)1.2 for i in range(len(a)): print(i,a[i])1.3 for i,ele in enumerate(a): print(i,ele)2.字典 di...

2019-01-14 15:11:24

判断日期时间字符串是否有效,python实现

工作中经常碰到一个时间字符串是否是有效的问题比如 ‘2018-02-30’ ,'2018-12-01 12:12:60'python 2.7from dateutil import parserdef isvaild_time(str_time): try: if parser.parse(str_time): return 1...

2018-12-18 18:43:31

python中字符串中替换处理和转义

---python 2.7字符串替换函数一般用repalce1.实例:str ='aaa--bbb'要替换其中的---new_str = str.replace('--','')2.实例:str1= "aaa/Gbb"要替换其中的/(斜杠)pyhon中正斜杠为/,反斜杠为\说明:使用转义符号(\)3.实例:str1= "aaa\Gbb"要...

2018-09-12 20:29:26

python导入自定义包说明

   在开发python过程中,自己往往会定义一些函数,类,变量,并且将这些对象做成一个XX.py的文件,希望以后的程序会直接使用XX.py文件。通常情况下,我们会将XX.py的文件放在一个目录下,同时再加一个空白__init__.py文件,这样就形成了一个自定义的包。在使用这个包的时候,会有以下几种情况:1.使用的模块或程序文件在同一个目录下,直接import就行了例如:如果想使用xx_data...

2018-04-15 10:06:55

Intellij IDEA 测试scala程序的时候:Exception in thread "main" java.lang.NoClassDefFoundError: scala/Predef$

Exception in thread "main" java.lang.NoClassDefFoundError: scala/Predef$ at HelloWorld$.main(HelloWorld.scala:4) at HelloWorld.main(HelloWorld.scala)Caused by: java.lang.ClassNotFound...

2018-04-05 10:19:51

Intellij IDEA 测试scala程序的时候: "Test is already defined as object Test"

使用Intellij IDEA 编写第一个SCALA程序的时候,会出现报错:object TestScala { def main(args: Array[String]): Unit = { println("Hello,Scala") }}报错:Error:(9, 8) TestScalaObject is already defined as object TestSc...

2018-04-05 09:43:24
勋章 我的勋章
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。