7 跟着大数据和AI去旅行

尚未进行身份认证

专注于IT技术分享

等级
TA的排名 1w+

打造 Win10 终极开发环境

当我们在 Windows 平台上进行程序开发的时候,会遇到各种各样让人讨厌的问题,有时候还必须转到 Linux 环境下进行开发。然而,通过本文你将可以解决你在 Windows 平台上开发遇到的所有问题。1、Chocolate Package Manager对于开发人员而言,搭建开发环境是所有开发环节中的第一步,然而在 Windows 环境下,各种安装工具,软件版本五花八门,而且容易下载到病毒软...

2020-02-22 18:05:07

CM6.3 High Availability

HDFS High AvailabilityYARN High AvailabilityHBase High AvailabilityMost aspects of HBase are highly available in a standard configuration. A cluster typically consists of one Maste...

2020-02-22 12:53:16

CentOS7 Cloudera Manager6 完全离线安装 CDH6 集群

本文是在CentOS7.4 下进行CDH6集群的完全离线部署。CDH5集群与CDH6集群的部署区别比较大。说明:本文内容所有操作都是在root用户下进行的。文件下载首先一些安装CDH6集群的必须文件要先在外网环境先下载好。Cloudera Manager 6.3.0CM6 RPM:https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPM...

2020-02-22 12:49:16

Ambari HDP 下 SPARK2 与 Phoenix 整合

1、环境说明操作系统CentOS Linux release 7.4.1708 (Core)Ambari2.6.xHDP2.6.3.0Spark2.xPhoenix4.10.0-HBase-1.22、条件HBase 安装完成Phoenix 已经启用,Ambari界面如下所示:Spark 2安装完成3、Spark2 与 ...

2020-02-20 17:49:25

IDEA设置

设置鼠标滑轮修改字体大小然后按住 Ctrl + 滑轮,就可改变字体大小设置自动导包/删包功能显示代码行号和方法间分隔符设置鼠标悬浮提示设置忽略大小写提示设置文件多行显示设置字体、大小、行间距设置编码区和控制台字体设置单行、多行、文档注释字体颜色设置工程项目编码设置单个文件编码设置自动编译...

2020-02-19 09:15:15

IDEA下meavn开发scala程序

IDEA下meavn开发scala程序,一般有两种方式:第一种:安装好Scala, 通过IDEA Scala插件进行开发第二种:使用maven插件包进行开发一、通过IDEA Scala插件开发1. 安装Scala插件2. 创建 Maven 工程,Add Frameworks Support(Scala)2.1 创建项目名称为scala-plugin的maven项目2...

2020-01-14 18:47:57

HBase简介与表结构

文章目录HBase是什么列式存储与行式存储HBase适用场景HBase表结构HBase是什么HBase,即Hadoop DataBase,是Hadoop的一个子项目,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,是Google Bigtable的开源实现。HBase在Hadoop生态中的位置如下 :使用HDFS作为其分布式存储系统,提供了高可靠的底层存储支持使用MapRedu...

2019-10-17 17:24:24

HDFS 中 Java API 的使用

HDFS中 Java API 的使用文件在 Hadoop 中表示一个Path对象,通常封装一个URI,如HDFS上有个test文件,URI表示成hdfs://master:9000/test。Hadoop 中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中,这些 API 能够支持的操作包含打开文件、读写文件、删除文件等。通常MapReduce会把一个文件...

2019-03-18 22:05:40

Ubuntu 下安装 JDK 与配置环境变量

一、下载JDK先从Oracle官网下载JDK。先选择同意按钮,然后根据自己的系统下载相应版本。我的系统是Ubuntu14.04 64位的,所以我下载的是jdk-8u91-linux-x64.tar.gz二、解压到合适的目录下sudo tar -zxvf jdk-8u91-linux-x64.tar.gz -C /opt/ #解压到/opt目录下cd /optsudo mv jdk1.8...

2019-02-13 20:50:16

Spark2.x 入门:DStream 操作概述

DStream是Spark Streaming的编程模型,DStream的操作包括输入、转换和输出。Spark Streaming工作原理在Spark中,一个应用(Application)由一个任务控制节点(Driver)和若干个作业(Job)构成,一个作业由多个阶段(Stage)构成,一个阶段由多个任务(Task)组成。当执行一个应用时,任务控制节点会向集群管理器(Cluster M

2018-11-13 20:54:29

Spark2.x 入门:Spark Streaming 简介

Spark Streaming是构建在Spark上的实时计算框架,它扩展了Spark处理大规模流式数据的能力。Spark Streaming可结合批处理和交互查询,适合一些需要对历史数据和实时数据进行结合分析的应用场景。Spark Streaming设计Spark Streaming是Spark的核心组件之一,为Spark提供了可拓展、高吞吐、容错的流计算能力。如下图所示,Spark

2018-11-13 20:54:07

Spark2.x 入门:流计算简介

数据总体上可以分为静态数据和流数据。对静态数据和流数据的处理,对应着两种截然不同的计算模式:批量计算和实时计算。批量计算以“静态数据”为对象,可以在很充裕的时间内对海量数据进行批量处理,计算得到有价值的信息。Hadoop就是典型的批处理模型,由HDFS和HBase存放大量的静态数据,由MapReduce负责对海量数据执行批量计算。流数据必须采用实时计算,实时计算最重要的一个需求是能够实时得到计算结

2018-11-13 20:53:18

Keras 实现非线性回归

Keras 实现非线性回归import kerasimport numpy as npimport matplotlib.pyplot as plt# Sequential按顺序构成的模型from keras.models import Sequential# Dense全连接层from keras.layers import Dense,Activationfrom ker...

2018-07-04 21:23:13

Keras 实现线性回归

Keras 实现线性回归import kerasimport numpy as npimport matplotlib.pyplot as plt# Sequential按顺序构成的模型from keras.models import Sequential# Dense全连接层from keras.layers import Dense# 使用numpy生成100个随机...

2018-07-04 21:00:11

MyBatis入门(六)---关联表查询一对一、一对多

一、一对一关联1.1、提出需求1.2、创建表和数据1.3、定义实体类1.4、定义接口1.5 定义SQL映射文件1.6 在MyBatis配置文件中注册SQL映射文件1.7 编写测试类1.8 MyBatis一对一关联查询总结二、一对多关联2.1、提出需求2.2、创建表和数据2.3、定义实体类2.4、修改sql映射文件classMapper.xml2.5、编写单元测...

2018-07-02 22:13:41

MyBatis入门(五)---解决字段名与实体类属性名不相同的冲突

在平时的开发中,我们表中的字段名和表对应实体类的属性名称不一定都是完全相同的,下面来演示一下这种情况下的如何解决字段名与实体类属性名不相同的冲突。 一、准备演示需要使用的表和数据create database mybatis;use mybatis;CREATE TABLE User( u_id INT PRIMARY KEY AUTO_INCREMENT, u...

2018-06-30 19:08:32

MyBatis入门(四)---优化MyBatis配置文件中的配置

一、连接数据库的配置单独放在一个properties文件中之前,我们是直接将数据库的连接配置信息写在了MyBatis的mybatis-config.xml文件中,如下: <?xml version="1.0" encoding="UTF-8"?><!DOCTYPE configuration PUBLIC "-//mybatis.org//

2018-06-30 11:27:20

MyBatis入门(三)---接口+注解的方式

一、使用meavn创建项目,并导入相应的包<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XM

2018-06-28 22:23:50

MyBatis入门(二)---接口+xml配置方式

一、使用meavn创建项目,并导入相应的包<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi

2018-06-28 21:58:38

MyBatis入门(一)---全XML配置方式

一、Mybatis介绍  MyBatis是一个支持普通SQL查询,存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及对结果集的检索封装。MyBatis可以使用简单的**XML或注解用于配置和原始映射,将接口和Java的POJO(Plain Old Java Objects,普通的Java对象)映射成数据库中的记录。 MyBatis配置方式有三...

2018-06-27 21:18:50

查看更多

勋章 我的勋章
  • 领英
    领英
    绑定领英第三方账户获取
  • Github
    Github
    绑定GitHub第三方账户获取
  • 脉脉勋章
    脉脉勋章
    绑定脉脉第三方账户获得
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。