大兰子小丸子-CSDN博客

原创 Ubuntu上搭建airflow+celery以及配置环境

文章目录1、框架2、搭建过程2.1 基础工作-新建airflow用户和目录2.2 下载并安装anaconda：miniconda2.3 新建airflow的python环境2.4 初始化airflow2.5 修改配置文件2.6 初始化后端数据库2.7 为访问airflow web时添加用户3、启动服务1、框架服务器环境介绍：Ubuntu 16.04.5 LTS配置：8核 16G框架介...

2020-04-16 21:46:48 2121 1

原创 pyspark 注册计算星座的UDF

不怎么重要的前言：接触hive时经常听到人们说UDF（User Defined Function），博主从来没用过，听得云里雾里，不知道怎么才能写UDF。后来听说，首先我们要写个UDF，然后打包，再在hive里注册一下才能使用。最近在学spark，学到了UDF的一点东西，于是拿来练练手，也就有了此文。切入正题，本文实践的是注册一个计算星座的UDF，从hive取数据，计算星座后存入hive。(...

2018-12-12 23:11:56 887

原创 pyspark之创建SparkSession

1、SparkSession 介绍通过SparkSession 可以创建DataFrame, 也可以把DataFrame注册成一个table，基于此执行一系列SQL操作。DataFrame和pandas里的DataFrame类似。关于什么是DataFrame，后续会出一篇介绍spark基本概念的博客。2、实验环境博主是用的 jupyter notebook，新建了一个pyspark的not...

2018-12-12 18:58:46 24375 5

原创 Mac上配置host

有时候为了方便，需要给ip地址配置主机名（hostname），这样通过hostname就可以快速访问了。通过编辑hosts文件来实现。打开命令行窗口sudo vi /etc/hosts按提示输入电脑当前用户的密码.shift+i 进入编辑模式，添加一行,[your ip] [domainName] ：10.22.38.21 master01按esc，然后输入 :wq命令...

2018-12-10 18:07:58 12075

原创如何保存Windows聚焦的锁屏壁纸

笔记本锁屏有时特别美，超想保存下来。可是笔记本锁屏是Windows聚焦，如图这时，去哪里找锁屏图片呢？第一步，找到图片位置。首先，打开 C:\Users\ ，找到你的登陆用户，显示隐藏的项目（勾选上红框里的项）：然后将下面这行粘贴到文件目录栏：\AppData\Local\Packages\Microsoft.Windows.ContentDeliveryManager_cw5n1h2txyewy\

2017-09-12 14:24:04 41664 3

原创 mysql两表连接查询

有两张表：employee 表department 表要求找出每个部门工资最高的人的姓名、所在部门、工资。查询结果如图，sql语句为：select department.name Department,employee.name Employee,max(salary) Salary from employee inner JOIN department on employee.departme

2017-09-11 13:57:31 4007

原创序列1,2,2,3,3,3, ... 求第n项的值（n=N*）

一、问题描述：对于这样一个序列：1,2,2,3,3,3,4,4,4,4,5,5,5,5,5,… 分别有1个1，2个2，3个3，4个4，…… 求第n个数的值。二、要求输入: n，范围: n大于等于1，且n小于等于10^18。输出: 序列中第n个数的值要求：运行时间不超过1s（内存不超过多少我忘了）输入范例: 100

2017-09-08 22:25:16 1853

原创学习MySQL的第一步：安装MySQL及数据库可视化工具Navicat

写作初衷❤ 笔者电脑上的MySQL不知为何无法启动，经上网搜索解决办法无果，只能卸载重新安装。大多数人去MySQL官网下载，不知道要下载哪一个文件，比如有MySQL Enterprise Edition和 MySQL Community Edition. 社区版里又有很多组件，比如MySQL Community Server、MySQL Workbench、MySQL Co

2017-07-08 18:53:25 92484 8

原创阿里2017暑期实习生招聘技术岗编程题2--java实现

一、问题描述：小张五一回家，父母给他安排了很多个相亲的姑娘，设姑娘的人数为N。父亲负责安排约会，每次随机选择一个要相亲的对象，母亲负责记录哪些姑娘已经约会过了。直到和所有的姑娘都约会完一遍以后，相亲才会结束。这些天父母在吵架，他们之间不会有任何言语沟通。所以父亲不知道那些姑娘已经约会过了。因此下次约会的对象很可能是以前已经约会过的。请问，如果小张要把所有

2017-04-28 19:40:50 1092

原创 java调用aimms 以AIMMS SDK的官方示例Basic为例（详细介绍）

引言：关于什么是AIMMS SDK，以及如何下载安装AIMMS SDK，我会另写一篇文章。本文假设已经安装了AIMMS SDK，在此基础上，本文以AIMMS SDK自带的一个Java工程 Basic 为例，详细讲解如何修改配置文件、如何在AIMMS里建立对应模型，以及如何运行java程序向现有的AIMMS模型传数据并求解。需要安装的软件：软件版本下载地址eclipseeclips

2017-03-21 16:52:27 1936

原创 Ambari 2.1安装HDP2.3.2 之七、自定义HDP服务

以zeppelin为例，它是一个基于网页的notebook，可以进行数据分析与可视化，zeppelin里有个概念是解释器，解释器使得很多后端语言能够像插件一样在zeppelin中使用，例如 Spark,、Python、sql、shell等等。具体介绍看zeppelin官网。添加zeppelin服务时不必关掉其他服务。我要用到python，而支持python的话需要自己编译zeppelin

2016-08-16 18:30:20 2492

翻译 Ambari 2.1安装 HDP2.3.2 之五、配置amabri-server

五、配置amabri-server配置ambari-server之前要先建立amabri要使用的数据库。1.为ambari建立数据库# yum install mysql-connector-java# mysql -u root -pmysql> USER 'ambari'@'%' IDENTIFIED BY 'glj887'; mysql> GRANT ALL PRIVILEGES ON

2016-05-30 15:41:17 6158

原创 Ambari 2.1安装HDP2.3.2 之六、安装部署HDP集群详细步骤

六、安装部署HDP集群浏览器访问 http://master:8080，进入amabri登录页面，用户名：admin，密码： admin选择 Launch Install Wizard: 1. Get started给集群起个名字，这里是 BigData:2. Select stack选择 hdp2.3, 将除redhat6 以外的复选框去掉勾。并且将...

2016-05-30 15:35:43 17288 4

翻译 Ambari 2.1 安装HDP2.3.2 之四、安装ambari

四、安装amabri在五 2 （5）那一步，我选择的是非默认的mysql数据库，所以需要提前做些安排。当然，你可以选择默认的PostgreSQL 数据库。1.查看下现有的资源库配置信息：# yum repolist 会出现和以下相近的信息。 2.开始安装amabri-server ：# yum install ambari-server安装过程终端会输出以下信息，最后提示安装完成。下面请见五、配

2016-05-30 09:49:08 2921

原创 Amabri 2.1安装HDP2.3.2 之三、开始配置基本环境

三、开始配置基本环境1.配置 SSH1）在Ambari Server host执行下列语句，一路回车，生成公钥和私钥。# ssh-keygen -t rsa2). 将公钥文件(id_rsa.pub)追加到 authorized_keys.# cat ~/.ssh.id_rsa.pub >> ~/.ssh/authorized_keys# chmod 600 ~/.ssh/authorized_ke

2016-05-30 09:33:39 4244

原创 Ambari 2.1安装HDP2.3.2 之二、需求配置说明

二、需求配置说明Ambari 安装hortonworks相应ambari版本可以支持的hdp版本如下：图2.0我们选择的是ambari2.1.2，hdp是2.3.2.0 此时我们准备好一台纯净虚拟机作为master机，完整克隆出两台slave机。注意：通过ambari安装hdp，并不能安装hue。我们想要安Hue，所以需要手动安装。而hue不支持centos7下的hdp2.3.x，所以

2016-05-30 09:04:09 3704

翻译 Ambari 2.1安装HDP2.3.2 之一、HDP介绍

一、HDP（一）简介HDP全称是Hortonworks Data Platform，是由一家美国大数据公司Hortonworks开发的企业级Hadoop平台。 Hortonworks致力于帮助客户利用Hadoop开源大数据平台管理数据。HDP是完全在开源的环境下设计、开发和构建的，它以 YARN 作为其架构中心，该平台支持一系列处理方法——批处理、交互式处理、实时处理。（二）功能与特点HDP的功能

2016-05-30 08:55:41 7070

原创如何转成libsvm支持的数据格式并做回归分析

在matlab中安装好libsvm包（过程请见 matlab 安装 libsvm 做回归分析）后，我们来用libsvm做一个回归。本次实验的数据是来自老师给的2006-2008年的日期，24小时的温度、电力负荷数据，以及2009年的日期，24小时的温度数据，目的是预测2009年每天24小时的电力负荷，实验数据本文不予给出。用libsvm进行预测的步骤大体是：将数据进行归一化处理，并转换成livsvm

2016-05-27 16:38:55 8260 9

原创 matlab 神经网络做回归预测

本文是用 matlab R2014 a 中的神经网络，做的预测小例子。步骤：1. 选择神经网络类型例如， feedforwardnet(hiddenSizes,trainFcn) 参数是层数、训练函数，这是一种前馈网络，用法： net = feedforwardnet(10);特殊的前馈网络：fitting networks (fitnet函数)、 pattern networks(pat

2016-05-27 15:28:39 24689 2

原创如何在matlab里安装libsvm包

有时我们需要用到SVR（支持向量回归）方法，而 matlab 自带的svm工具箱不能做回归分析，于是有了安装libsvm包的打算。中间遇到一些困难，比如找不到编译器等等，经过一下午和一晚上的努力，在matlab里可以使用libsvm了。1.下载好libsvm包下载libsvm-3.21到随意一个地方，比如到matlab安装路径下的 toolbox下——D:\MATLAB\R2014A\toolb

2016-05-27 14:35:48 12613 3

原创 windows 下安装elasticsearch

之前讲了 linux下elasticsearch 安装、配置及示例，本文是在Windows环境下安装elasticserach。1.下载2017-8-25博文更新 —-下载地址原elasticsearch下载地址失效，请点此下载elasticsearch-5.5.0因为es5.5.0的文件目录和以前的版本不太一样，所以本文全文都按照es5.5.0进行了更新。2.配置Java环境下载 64位的jd

2016-05-27 13:38:19 50434 12

原创 python实践系列之（二）python爬取数据（上）

本系列实践目的：打算先利用github上的项目huatian-funny，通过python抓取花田网上注册用户的数据，做个小实验，然后上传自己修改后的 huatian-funny 项目。在 huatian-funny ，我们可以看到该项目的说明： 1.准备需要 :requests >=2.7.0，pymongo>=3.2.2，matplotlib>=1.4.3，Pillow>=

2016-05-20 16:52:01 8482 2

原创 python实践系列之（一）安装 python/pip/numpy/matplotlib

1.下载并安装Python3.4在官网下载即可：Python官网图1-1 图1-2 打开Python图形界面：图1-3 输入 2+3+4+5，回车，出现如图，说明安装成功。图1-4 2.安装pip （1）查看是否已安装pip 进入cmd命令窗口，输入pip --version ，查看是否已安装pip，如果出现下图，说明已安装了pip，直接跳转至步骤（

2016-05-20 16:47:32 123540 24

原创 linux下elasticsearch 安装、配置及示例

简介开始学es，我习惯边学边记，总结出现的问题和解决方法。本文是在两台linux虚拟机下，安装了三个节点。本次搭建es同时实践了两种模式——单机模式和分布式模式。条件允许的话，可以在多台机器上配置es节点，如果你机器性能有限，那么可以在一台虚拟机上完成多节点的配置。如图，是本次3个节点的分布。 hostname IP es节点 master 192.168.137.100

2016-04-12 17:19:22 129560 24

原创 HDP2.3.2升级到HDP2.3.4

HDP2.3.2升级到HDP2.3.4HDP232升级到HDP2341版本对应1 HDP-Ambari-Spark版本对应2 HDP234 的组件版本3 spark152在hdp运行条件2准备1 检查service action 的start stoprun service check2启动所有服务并清除警告3 保证没有maintenance状态的服务4 时间服务ntpd启动停止

2016-01-18 19:44:07 4191

最熟悉的陌生人