5 learneraiqi

尚未进行身份认证

我要认证

南京信息工程大学-数学与统计学院-统计学

等级
TA的排名 3w+

触发器的小应用

触发器的小应用需求描述最近有一个需求,主要是将另外一个系统的数据导入我所负责的系统中,然后在该数据的基础上,做一些应用。不要问我,为什么不用rest full 接口来做。一则,另外一个系统所用的技术不同,重新开发比较麻烦。另外,由于两个数据库类型不同,不再同一个局域网等条件限制,我们也不能采用数据备份方案。方案为了解决这个问题,经过仔细考虑,最终采用触发器记录变动,定时程序同步数据的方案。对需要同步

2017-11-19 23:01:03

spring-boot缓存测试

需求描述对于频繁访问的数据,为了减少生成数据所需要的成本,我们有时需要对这些频繁访问的数据做缓存。对于数据缓存,有很多开源包可以实现,如EHCache ,JCache ,ShiftOne 等。以前做过缓存相关的东西,都是利用一些开源缓存工具,自己写一个单例类来实现定时缓存功能。这次测试,我们通过使用spring-boot中集成的缓存工具,利用注解方式实现数据缓存。经过测试后,发现spring-bo

2017-11-12 17:19:58

windows环境下python安装open cv 读取tiff文件

windows环境下python安装open cv 读取tiff文件背景 天池数据大赛《广东政务数据创新大赛—应用创新赛》,首先需要解决第一关,就是查看比赛给出的两个tiff格式的数据文件。本身没有地理信息专业的背景,所以压根就没打算用那些专业的gis软件。在天池技术圈里发现了一篇大神的实验文章 【实验代码】可视化tiff数据。于是撸袖子尝试了一番。不得不说,在windows下折腾python真

2017-09-12 22:07:59

spark 发布 2.2.0版本

Apache Spark 2.2.0是2.x分支上的第三次主版本发布,其他两个版本分别2.0.x,2.1.x两个主版本以及下属的分支版本。这次发布spark移除了Structured Streaming的实验标签。也就是说,这次发布的版本的焦点在于其易用性、稳定性,并完善、解决了超过1100个问题(目前来看,实际上有1146个问题,具体内容可以在spark的 jira上看到)。这次版本主要对一下几

2017-07-24 23:36:02

intellij idea搭建python环境,运行tensorFlow样例程序

本文主要记录使用tensorFlow入门操作笔记,包括:intellij idea配置python运行环境,运行第一个样例程序,为后边学习tf打下基础intellij idea配置python环境首先要保证你的电脑上装有python,没有安装的百度创建python项目创建python sdkFile-> Project-structure->SDKs这里会有三种

2017-05-02 21:50:40

spring-boot jpa 配置两个数据源

spring-boot jpa 配置两个数据源内容简介1、配置两个mysql数据库2、配置一个mysql,一个h2内存数据库如何配置两个mysql数据库1、配置文件首先,连接数据的配置文件需要改变,即增加第二个数据库的url,username,password下面给出我的测试配置,仅供参考:spring: datasource:

2017-05-02 21:44:18

spring-boot 集成swagge(2)

1、前言我们写的restful接口是给别人用的,但是,这个接口在怎么用?资源路径在哪?参数传什么?。。。。。。这么多信息写接口的人是需要提供给接口使用者的。一种方式是写文档,大家共享文档,但是这样还是比较麻烦,需要不断的更新文档,维护文档,还需要确保文档及时的分享给我们的小伙伴。对于这个问题,我们伟大的先驱者已经想到解决的方法,那就是一个非常便捷的神器——swagge。通过这个工具,我们可

2017-01-01 00:35:47

spring-boot restful接口学习(1)

1、前言因为工作需要,开始写后台服务的接口,使用的框架是spring-boot。关于微服务的好处、架构,产生的渊源,度娘上一堆文章,官网上也有很多描述,这里不再赘述。这里只是准备梳理一下用spring-boot做微服务接口的相关知识。从最基本的开始,一点点记录自己的学习过程。也算是在总结的过程加深自己对这方面技术的认识。2、第一个hello接口这个接口是spring-boot官网上的例

2016-12-31 23:36:18

intellid idea安装plantUML插件以及错误解决

1、下载plantUML插件plantuml4idea.ziphttp://pan.baidu.com/s/1hrNaRoo2、intellid idea离线安装plantUML插件file =》 settings =》 plugins =》 install plugin from diskok等待安装完成3、安装完plantUML在使用的时候回一直

2016-12-02 16:56:43

Rstudio-server编写python程序测试

背景描述:最近在头条上看到,有很多pyhton使用者,喜欢静将rstudio作为编辑器。出于好奇,尝试了一下。不得不说,这对组合还是蛮合适的。因为对于大神级的代码编写者,他们偏向于使用vim直接在服务器上编写python代码,随时调试,这种沉浸式编程效率极高。但是,对于我等初级小码农,vim也许就不那么友好了。首先,很多vim命令就让人非常头痛,再加上vim界面实在是有点丑(加相关的插件,可以

2016-08-13 16:34:50

spark streaming接kafka数据方式汇总

1、利用kafka高阶api(1)常用的方法def main(args: Array[String]) {    if (args.length       System.err.println("Usage: KafkaWordCount    ")      System.exit(1)    }    StreamingExamples.setStre

2016-03-22 17:02:14

美国数据科学家带你看看大数据的未来

从SGI的首席科学家John R. Masey在1998年提出大数据概念,到大数据分析技术广泛应用于社会的各个领域,已经走过了17年的时间。现在再也没有企业怀疑大数据分析的力量,并且都在竞相利用大数据来增强自己企业的业务竞争力。但是,即使17年过去,大数据分析行业仍然处于快速发展的初期,每时每刻都在产生新的变化。从概念到实用、从结构化数据分析到非结构化数据分析,大数据分析技术在不断地进化。

2016-03-17 18:54:29

Apache Spark 1.6发布(新特性介绍)

Apache Spark 1.6发布CSDN大数据 | 2016-01-06 17:34今天我们非常高兴能够发布Apache Spark 1.6,通过该版本,Spark在社区开发中达到一个重要的里程碑:Spark源码贡献者的数据已经超过1000人,而在2014年年末时人数只有500。那么,Spark 1.6有什么新特性呢?Spark 1.6有逾千个补丁。

2016-01-06 17:43:08

通过jmc监控spark应用的内存使用情况

1、概述使用jmc工具(1)连接本机java测试程序(2)连接远程主机java测试程序(3)连接spark集群中提交的App中的driver,executor,监控这两个进程的jvm使用情况2、操作过程(1)连接本机测试代码public class HelloWorld { public static void main(Stri

2015-12-25 19:28:37

spark aggregateByKey函数使用问题

aggregateByKey样例代码val conf = new SparkConf().setAppName("SparkTest").setMaster("local[*]")val sc = new SparkContext(conf)val data = sc.parallelize(List((1, 3), (1, 2), (1, 4), (2, 3)))def s

2015-12-24 11:05:24

搭建hadoop2.6.0 HA及YARN HA

以前用hadoop2.2.0只搭建了hadoop的高可用,但在hadoop2.2.0中始终没有完成YARN HA的搭建,直接下载了hadoop最新稳定版本2.6.0完成了YARN HA及HADOOP HA的搭建流程,没有仔细看hadoop的官方文档,貌似hadoop2.2.0不支持YARN HA,如果说错了谢谢指正呀,下面总结一下我的搭建流程:首先完成虚拟机的搭建:

2015-12-01 14:23:56

spark stream中的dstream对象saveAsTextFiles问题

利用spark streaming从kafka读取数据,进行流数据的统计分析,最后产生dstream类型的结果集,但是涉及到数据的保存时,遇到了一点小障碍。我们都知道,spark中普通rdd可以直接只用saveAsTextFile(path)的方式,保存到本地,hdfs中,但是dstream对象没有saveAsTextFile()方法,只有saveAsTextFiles()方法,而且,其参数只

2015-09-19 12:41:17

Hadoop 权限管理

如下图,hadoop访问控制分为两级,其中ServiceLevel Authorization为系统级,用于控制是否可以访问指定的服务,例如用户/组是否可以向集群提交Job,它是最基础的访问控制,优先于文件权限和mapred队列权限验证。Access Control on Job Queues在job调度策略层之上,控制mapred队列的权限。DFSPermmision用户控制文件权限。目前版本中

2015-09-02 11:09:39

时间序列相关函数

【资料】文档1:《R与金融时间序列分析常见问题集》【包】library(zoo)            #时间格式预处理library(xts)            #同上library(timeSeires)      #同上library(urca)           #进行单位根检验library(tseries)         #arma模型lib

2015-08-25 17:16:13

java通过rJava调用R失败的问题总结

尝试使用Java通过rJava来调用R,但是一直出现如下错误Cannot find JRI native library!Please make sure that the JRI native library is in a directory listed in java.library.path.网上找了许多解决方法,总结一下原因就是jri.dll有两个,一个是32的

2015-08-24 18:24:21

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!