自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

爱程序,爱生活

爱程序,爱生活

  • 博客(105)
  • 资源 (2)
  • 问答 (3)
  • 收藏
  • 关注

原创 大数据学习教程SD版第十七篇【Airflow】

大数据 任务调度 Airflow

2022-01-09 16:31:29 1428

原创 大数据学习教程SD版第十六篇【Hbase】

大数据 数据库 Hbase 列式存储

2022-01-07 17:00:59 1289

原创 大数据学习教程SD版第十五篇【Superset】

大数据 数据展示工具 Superset

2022-01-06 14:04:25 2031

原创 大数据学习教程SD版第十四篇【Kettle】

大数据 数据ETL 数据同步 Kettle

2022-01-05 18:12:11 457

原创 大数据学习教程SD版第十三篇【Clickhouse】

大数据 列式数据库 clickhouse

2022-01-04 18:01:21 931

原创 大数据学习教程SD版第十二篇【Canal】

大数据 实时采集工具 Canal

2021-12-31 15:31:52 912

原创 大数据学习教程SD版第十一篇【Sqoop】

大数据 数据迁移 数据同步 Sqoop

2021-12-31 10:00:23 687

原创 大数据学习教程SD版第十篇【Kafka】

大数据 Kafka 消息队列

2021-12-29 11:29:22 609

原创 Kafka集群 启停脚本

kafka shell

2021-12-27 20:14:08 565

原创 常用脚本之Hadoop、ZK、Hive

大数据 脚本 Shell

2021-12-26 15:02:07 434

原创 大数据学习教程SD版第九篇【Flume】

大数据 日志采集工具 Flume

2021-12-26 14:54:29 370

原创 大数据学习教程SD版第八篇【DataX】

大数据 数据同步 DataX

2021-12-24 09:33:17 1185 1

原创 大数据学习教程SD版第七篇【Hive】

Hadoop Hive SQL

2021-12-21 18:23:19 1392

原创 HiveServer2与Beeline 报错,就此记录

大数据 Hive Beeline BUG

2021-12-21 17:27:29 491

原创 大数据学习教程SD版第六篇【Zookeeper】

大数据 Zookeeper 协调服务

2021-12-17 15:04:38 1183

原创 大数据学习教程SD版第五篇【Hadoop Yarn】

大数据 Hadoop Yarn 资源调度

2021-12-08 17:39:45 342

原创 大数据学习教程SD版第四篇【Hadoop MapReduce】

大数据 Hadoop MapReduce 分布式计算框架

2021-12-08 08:51:55 332

原创 大数据学习教程SD版第三篇【Hadoop HDFS】

大数据 Hadoop HDFS 分布式文件系统

2021-12-05 19:08:50 839

原创 大数据学习教程SD版第二篇【Hadoop 简介和搭建】

hadoop简介,hadoop集群搭建,集群常用脚本

2021-12-03 14:17:10 1221

原创 大数据学习教程SD版第一篇【shell】

大数据必会知识点shell

2021-12-01 15:45:23 1272

原创 一个免费的web快速开发框架:Foundation,20大组件,拿来即用

原生编码确实酸爽,但用个框架,不香吗?文章目录组件一览效果一览对应源代码一览组件一览文本表格按钮按钮组图标标签提醒框进度条面板图片、缩略图折叠列表普通列表选项卡切换分页导航(顶部导航、侧边导航、滑动导航、麦哲伦导航)表单开关滑块提示框模态框栅格布局效果一览直接download下面的代码就可以了!对应源代码一览helloworld.html<!DOCTYPE html><html lang="en"><hea.

2021-11-25 20:50:05 630

原创 大数据开发,想写代码不给我写,到底是人性的扭曲,还是道德的沦丧?

从面试到入职,其实中间的过程还是没啥曲折的,offer发得快,毕业后顺理成章的进去了。开始以为做开发,写写spark代码啥的,要不然写写SQL也行…其实不然,啥活都干,就是不写代码!至今已有四月有余了……你也许会好奇,做大数据开发竟然不写代码,是人性的扭曲,还是道德的沦丧。接下来将采用问答式手法,娓娓道来。为什么需要写代码?首先考虑需不需要写代码,大数据生态有很多现有的工具,当工具不满足使用时,才会开始写一些定制化的代码。这里的工具不满足需求,分两种情况,一种是工具真没有这功能,二是,有.

2021-11-23 08:57:05 6021 2

原创 刚刚安装完anaconda,使用pip install安装模块就报错,就此记录

报错信息(前几次装都没问题,就这一次出现了问题,可能由于Windows11暂时还是有点BUG的):pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.解决方式:在pip的配置文件中添加(没有此文件则自己新建):[global]index-url=http://mirrors.aliyun.com/pypi/simple/[inst.

2021-11-14 12:32:31 884

原创 Python+Pandas,快速连接8大常用数据库

在大数据时代下,和数据打打交道是家常便饭。那么常用储存数据的一种方式:数据库,用起来那也是相当的得心应手,今天就用python连接各类常见数据库!常用数据库1.sqlite2.mysql3.postgresql4.mongodb5.redis6.hive7.clickhouse8.habse1.sqlite2.mysql3.postgresql4.mongodb5.redis6.hive7.clickhouse8.habse...

2021-11-07 17:16:36 5864 3

原创 Python+Pyecharts,快速构建11种常见的数据可视化图表

做一个写出‘有用’代码的人!Echarts 是原百度出品,现已移交Apache开源组织管理,使得其更加强大,那么怎么用呢,下面就用一下最常用的几个图表,几行代码就可以,看就完事了!首先安装模块:pip install pyecharts ,由于生成的是html页面,所以我在这里引入了一个html转图片的工具imgkit,先下载exe程序,再安装模块:pip install imgkit,如果不需要转图片,可以忽略!这里使用的是pyecharts自带的演示数据集Faker,choose()随机生成一.

2021-11-05 13:21:23 2936 1

原创 Python+Dash,快速开发一个在线调查问卷

做一个会写有用代码的人!调查问卷这种东西随处可见,主要为了采集用户的信息,保存到文件或数据库里,供查看或分析用户。那么,做起来难不难呢,别想的太多,做就完了!点击这里,可跳转至:在线调查问卷DemoDemo1.导入相关依赖库2.编写Dash页面布局3.编写回调函数4.Debug启动5.完整代码1.导入相关依赖库import dashimport dash_html_components as htmlimport dash_bootstrap_components as dbcfrom d.

2021-11-01 08:24:38 3453 6

原创 爬虫,写起来,很简单,能一直保持更新,却很难!

学爬虫是找了很多,但大多年久失修,最终给我找到了一个一直在持续更新的一个微博爬虫项目!开源项目项目地址:weibo_spider输出数据源支持:txt、csv、json、mysql、MongoDB、SQLite。根据配置文件可以进行调整!爬虫,是为了获取所需数据,需合理使用,且行且珍惜!使用步骤1. 环境准备2. 写配置文件(config.json)3.运行爬虫1. 环境准备保证python3的环境,使用pip安装:pip install weibo-spider2. .

2021-10-26 18:22:23 286

原创 “偷“了一份10年Python人的代码手记,摘抄关键点,分享给你,请秘密阅读!

人生苦短,早用Python!直接开始:15个点1. 变量2. 条件分支3. 字符串拼接4. 容器5. 函数1. 变量匈牙利命名法,命名方法由 JOEL SPOLSKY 在 2015 的一篇文章中提出:就是把变量的『类型』缩写,放到变量名的最前面!举个列子说明一下:比如自定义一个person类,一般会使用students、teachers来指代一个person的list,但是这样写总觉得缺少了什么,那么就可以使用 pl_students 或pl_teachers ,前面的pl指代person的l.

2021-10-25 16:35:25 83

原创 Python+Streamlit 100行代码实现数据管理系统-v1.0

今天天气还是非常的不易出门,在家很闲,找点乐子,开发一个web在线数据库管理系统玩一玩。1.0版本暂时已完成,耗时3个小时,代码行数现100行左右,使用纯Python开发!功能点规划:支持常用db数据源:如MySQL、Oracle、postgres、Redis、mongodb、Hive、HBASE……支持常用文件数据源:csv、parquet、excel……支持表数据查询方式:SQL查询……支持数据表展示方式:table表格、excel文件……UI 设计:开发进度.

2021-10-24 00:47:19 3580 2

原创 命令行界面也能这样?没错,不仅能这样,还能……

人生苦短,早用Python!先来点废话:早上起床打王者农药,带不动队友,一整天的心态就没了!果断关机,打开了Github,哎嘿,发现了一个有趣的Python项目:Pokemon-Terminal !听名字就知道,命令行美化工具,支持700多种图片样式,还可以自己DIY,那先来看看我的:接下来说一下,使用步骤吧:准备好Python环境,保证是3.7及以上版本!命令行环境,我的是win10,所以我装的是微软商店的免费命令行软件:下载应用,可以直接从Github下.

2021-10-23 12:54:05 124

原创 Python闪电开发:50行代码制作在线数据库查询系统!

人生苦短,早用Python!相信大家都用过Navicat,Sqlyog,癞蛤蟆之类的数据库可视化工具。那么,自己能不能做一个类似的数据库可视化的东西呢,毕竟原生的命令行不是很美观,Python50行代码搞定!先上效果图:文章目录0.导入相关依赖库1.编写数据库配置信息2.创建Dash对象3.设置页面布局4.编写回调函数5.启动6.效果7.想法0.导入相关依赖库缺少相关模块,自行下载即可,下载命令: pip install xxximport dashimport dash_.

2021-10-19 08:33:20 1678

原创 Python闪电开发:50行代码制作在线Markdown编辑器!

你知道的越多,不知道的越多!markdown 编辑器大家都用过,用没有想过制作一个专属的md编辑器,根据自己的编写习惯来设别语法转换,真的不难,40行代码搞定!只需五步1.导入相关库2.创建Dash对象3.设置页面布局4.编写回调函数5.启动效果展示如果没安装dash模块,请先安装:pip install dash1.导入相关库import dashfrom dash import htmlimport dash_bootstrap_components as dbcfrom.

2021-10-17 12:43:44 312 3

原创 数据处理手法教学,透彻解析JSON文件!

JSON 文件的引用有很多,但最常见的一中用法是用作配置文件使用,通过配置外部JSON文件,来实现一定的配置化,增加代码的灵活性,开发中的常见手法!JSON解析手法1.Java手法2.Scala手法3.Python手法4.后续想法这里将介绍我的三种解析方式,分别时使用Java+fastjson、Scala+fastjson、Python+jsonpath,Let’s go !!!需求: test.json文件为数据库的配置文件信息,通过传入数据库名和表明快速获取到对应信息!test.js.

2021-10-14 20:09:06 357

原创 Python桌面应用开发HelloWorld_Kivy VS PyQt5 VS wxPythonVS PySimpleGUI

你知道的越多,不知道的越多!python的GUI库非常丰富,粗暴的了解一下!Hello World1.Kivy2.PyQt53.wxPython4.PySimpleGUI使用前请先安装对应的GUI模块: pip install xxx1.Kivyfrom typing import Textfrom kivy.app import Appfrom kivy.uix.button import Buttonclass TestApp(App): def build(sel.

2021-10-13 14:16:23 1362

原创 Pandas数据清洗时的常用函数,叼爆了呀!

六边形战士,你知道的越多,不知道的越多!pands进阶使用来了,让你的数据清洗快人一步,Let‘s go !文章目录0.导数1.cat :连接2.contains:是否包含3.count:统计频数4.slice_replace:切片替换5.split+expand:分割并铺开今天用到的库是:os(???),pandasfrom os import sepimport pandas as pd0.导数data ={'name':[' 黄同学','黄至尊','黄老邪 ','陈大美'.

2021-10-11 13:40:46 167

原创 Python动图制作,一张图包含你的所有女神!

极简编程,极简生活,简到极致,就是完美!美图太多,看不过来,怎么办,python imageio帮你解决,Lets go !原图放在文末了!1.导入相关库import osimport imageio2.获取图片列表current_path = os.getcwd()file_list = os.listdir(current_path)jpg_list = file_list.copy()print(jpg_list)['bigdata.gif', '0151571.

2021-10-10 23:55:35 196

原创 Python数据分析基础第三课—结构数据分析库Pandas,暂时的终章!

极简编程,极简生活,简到极致,就是完美!Python数据分析基础第三课—结构数据分析库Pandas,把常见的数据转换成二维表格来处理与分析…… Lets go !目录导入库1.pandas 创建数据对象:Series(一维)【了解】2.pandas 创建二维数据对象:DataFrame(类似二维表格形式)【重要】3.pandas 快速查看数据概况4. pandas DF的常用操作函数5.pandas DF数据常见操作导入库import pandas as pdimport nump.

2021-10-10 11:41:33 105 1

原创 Python数据分析基础第二课—绘图库Matplotlib,从入魔到入佛!

极简编程,极简生活,简到极致,就是完美!Python数据分析基础第二课—绘图库Matplotlib,绘制常用的直方图、折线图、饼图…… Lets go !# 导入from matplotlib import pyplot as pltimport numpy as np# 1.方程直线图x = np.arange(0, 11, 1)y = 2*x + 1plt.title(" y=2x+1 ")plt.xlabel("x alias")plt.ylabel("y alias.

2021-10-09 12:19:22 127

原创 Python数据分析基础第一课—科学计算库Numpy,从入门到入魔!

极简生活,极简编程,简到极致,就是完美!python数据分析基础第一课Numpy :科学计算库,操作的对象是ndarray数组对象,就是数组,有一维,有多维……Let’s go !Numpy 0->11.numpy 创建ndarray数组对象2. numpy 获取ndarray数组对象属性3. numpy 创建ndarray例程对象: 初始化默认的数组对象4. numpy 切片操作:取数组对象的某个、某行、某列元素5. numpy 广播操作:针对形状不同的数组对象进行运算6. nump.

2021-10-09 10:20:19 114

原创 Python框架Django(MVT)—HelloWorld之V(View-form),终结曲!

极简生活,极简编程,简到极致,就是完美!Django的MVT,层层解析,V(View),表单传数,来了,以代码+注释展示,十分钟扯完。全部代码资源,在文末可点击极速下载,免费且不限速!代码步骤1.urls.py2.form_view.py3.form.html4. 访问测试流程:user htpp get ->urls.py (/form)->views.py(show()) -> form.html ->form.html( 提交表单)->urls.py(.

2021-10-07 22:12:06 151

职业养成指南脑图.xmind

适合没有一个好的学习体系的朋友们,包括Java,python,本人正在从事的大数据方面的一些知识体系,慢慢的干活

2021-09-12

ssm_crud.zip

对于ssm框架的一个简单实用,适合新手实用,代码比较简单,也实现了模糊查询,连携了mybatis的动态sql

2020-07-27

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除