日月星辰TEL-CSDN博客

原创大数据生态圈技术文档列表

hadoop：https://hadoop.apache.org/docs/stable/hive：https://cwiki.apache.org/confluence/display/Hive/GettingStartedhbase：https://hbase.apache.org/book.htmlyarn：https://hadoop.apache.org/docs/cu...

2020-03-02 18:04:35 1613 1

原创 LeedCode 118. 杨辉三角动态规划入门

LeedCode 118. 杨辉三角动态规划入门

2022-10-24 08:15:32 1042 1

一、Docker介绍前言 - Docker —— 从入门到实践Docker 教程 | 菜鸟教程Install Docker Desktop on Windows | Docker Documentation二、Docker原理三、Docker安装Docker下载：Install Docker Desktop on Windows | Docker Documentation1、打开虚拟化HyperV2、安装Windows Feature: WSL...

2021-12-24 21:34:34 1837 8

原创大数据存储技术之ClickHouse入门学习（二）

ClickHouse是俄罗斯搜索巨头公司Yandex于2016年开源的一个用于联机分析(OLAP)的完全列式数据库管理系统(DBMS) , 主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。 ClickHouse允许在运行时创建表和数据库，加载数据和运行查询，而无需重新配置和重新启动服务器，支持线性扩展，简单方便，高可靠性，容错。

2021-09-14 18:27:06 2245

原创大数据存储技术之ClickHouse入门学习（一）

一、ClickHouse介绍ClickHouse 是俄罗斯搜索巨头Yandex公司在2016年开源的一个列式存储的OLAP数据库管理系统。ClickHouse官网：https://clickhouse.yandexClickHouse下载：https://sourceforge.net/projects/clickhouse.mirrorClickHouse文档：https://clickhouse.tech/docs/zhClickHouse社区：http://www....

2021-08-08 15:23:31 1107

原创 Linux下载安装NodeJS

一、NodeJS介绍NodeJS官网：https://nodejs.org/zh-cn/NodeJS下载：https://nodejs.org/zh-cn/download/二、NodeJS下载wget https://nodejs.org/dist/v14.17.4/node-v14.17.4-linux-x64.tar.xz三、NodeJS安装四、NodeJS运行

2021-08-07 10:39:35 1472 1

原创大数据集群搭建之Linux安装Hive2.3.2

一、安装准备1、下载地址https://www.apache.org/dyn/closer.cgi/hive2、参考文档3、ssh免密配置https://blog.csdn.net/qq262593421/article/details/1053255934、zookeeper安装https://blog.csdn.net/qq262593421/article/details/1069554855、hadoop安装...

2021-08-03 10:07:38 755

原创 Win10搭建FTP服务器

参考文档：https://jingyan.baidu.com/article/0bc808fc408fa91bd585b94f.html1、进入控制面板2、点击启用或关闭Windows功能3、勾选 TFTP客户端4、在开始屏幕的搜索中输入“IIS”，然后点击打开“IIS管理器”5、添加 FTP站点6、填写站点信息7、浏览器访问http://192.168.0.103:1880/...

2021-07-31 22:15:26 426

原创 Win10安装Ubuntu20.04LTS子系统

https://www.jianshu.com/p/180853ead145现如今Linux的学习和使用门槛是越来越低了，Windows10在2015就内置了Linux系统，到现在也有了几个版本。安装安装步骤：打开Microsoft Store（微软商店）：通过此种方式安装需要登录Microsoft账户。Microsoft Store 图标搜索Linux并选择需要的发行版及版本，点击获取按钮进行下载：：Microsoft Store 界面商店应用详情页.

2021-07-28 16:49:18 1571

原创 win10安装HBase2.1.4

win10安装Hadoop3.0.0：https://blog.csdn.net/qq262593421/article/details/105927625win10搭建hive3.0.0：https://blog.csdn.net/qq262593421/article/details/104961689

2021-05-30 00:04:21 647

原创 2021强烈推荐的十大Win10必备工具（重装系统必备）

一、文件搜索工具Everything：https://www.voidtools.com/zh-cn/downloads/二、资源管理工具One Commander：https://www.onecommander.com/三、文本编辑工具1、NodePad++：http://www.notepadplus.com.cn/2、Sublime Text：http://www.sublimetext.com/四、磁盘管理工具1、分区助手：https://www.d

2021-05-22 19:22:06 9741 1

原创 SparkSQL使用UDF函数代替MySQL空间函数读取MySQL空间字段

一、问题描述SparkSQL虽然可以访问MySQL数据，但是对于MySQL的空间字段，SparkSQL并没有提供内置函数去解析二、问题分析SparkSQL没有内置函数解析空间类型，需要手动编写UDF函数实现SparkSQL网络传输的数据格式是Byte数组，返回的数据格式中没有Geometry类型，需要将Geometry类型转成String类型返回三、代码实现1、自定义SparkUDF函数 @throws[Exception] def sparkUDFSTAsTex

2021-05-19 20:51:48 643

原创 MySQL如何使用SET设置多值作为查询条件？

一、问题描述1、如何使用 SET 存储多个变量作为 WHERE 条件进行查询呢？SELECT * FROM t_table WHERE id IN (1,2,3,4,5);2、MySQL使用 SET 可设置单个变量进行查询SET @id=1;SELECT * FROM t_route_line WHERE id = @id;3、MySQL如果使用 SET 设置多个变量进行查询？错误示范：SET @id=(1,2,3,4,5);SELECT * FROM t_rou...

2021-04-27 11:02:44 2691 2

原创 Hadoop3.0、Hive2.3.2、HBase2.1集群重置

一、hadoop集群重置1、关闭hbase和hdfsstop-habse.shstop-all.sh2、关闭zookeeperzkServer.sh stop3、删除nn、dn、jn配置目录数据rm -rf /home/cluster/hadoop/data/nn/*rm -rf /home/cluster/hadoop/data/dn/*rm -rf /home/cluster/hadoop/data/jn/*4、删除hdfs和hbase的日志文件数据rm -

2021-04-18 23:37:03 976

原创 Linux报错：rm: 无法删除“xxx“: 结构需要清理

一、问题描述重新清理hdfs的时候，发现有一个文件删除不了，出现以下报错rm: 无法删除"xxx": 结构需要清理二、问题解决1、查看问题文件的挂载磁盘df -h2、卸载磁盘挂载umount /dev/mapper/centos-home3、磁盘挂载修复xfs_repair /dev/mapper/centos-home4、重启系统reboot5、重新清理文件rm -rf /home/cluster/hadoop/data/.

2021-04-16 09:56:27 5982

原创 python不能导入sklearn.datasets.samples_generator 模块

把 samples_generator 改成 _samples_generatorfrom sklearn.datasets._samples_generator import xxx

2021-03-26 16:50:29 7724 18

原创 LeetCode 150. 逆波兰表达式求值

一、问题描述根据逆波兰表示法，求表达式的值。有效的算符包括 +、-、*、/ 。每个运算对象可以是整数，也可以是另一个逆波兰表达式。说明整数除法只保留整数部分。给定逆波兰表达式总是有效的。换句话说，表达式总会得出有效数值且不存在除数为 0 的情况。示例 1输入：tokens = ["2","1","+","3","*"]输出：9解释：该算式转化为常见的中缀算术表达式为：((2 + 1) * 3) = 9示例 2输入：tokens = ["4","1...

2021-03-20 19:38:14 551

原创 win10使用脚本批量下载本机python依赖包

1、将本机依赖导入txtpip listpip list > denpend.txt2、查看本机依赖cat denpend.txt3、去除依赖版本忽略版本：打开denpend.txt把版本号和空格去掉指定版本：使用python脚本#-*- encoding: utf-8 -*-""" 去除depend.txt前两行以及全文空格"""## 读取depend.txt到listfile = "depend.txt"fr = open(file, 'r

2021-03-10 11:44:25 1072

原创 Python3已经安装了DBUtils但是import报错

python3默认安装的DBUtils版本并不适用，指定1.2版本的安装就可以正常导入了pip install DBUtils==1.2

2021-03-09 15:44:16 3993 3

原创 Python3+Flask初学教程

Flask 依赖Jinja模板引擎和WerkzeugWSGI 套件Flask中文文档：https://dormousehole.readthedocs.io/en/latest/Jinja2 模板文档：https://jinja.palletsprojects.com/en/2.11.x/templates/Werkzeug 文档：https://werkzeug.palletsprojects.com/en/1.0.x/...

2021-03-08 10:47:44 950 1

原创 python3连接postgresql工具类

一、环境准备1、python3安装windows离线安装python3.6.8环境：https://blog.csdn.net/qq262593421/article/details/1113091162、MongoDB4安装Linux 离线安装 python 3.6.10：https://blog.csdn.net/qq262593421/article/details/105395101win10安装postgresql：二、安装驱动1、psycopg2驱动安装pip

2021-03-06 16:51:03 943

原创 python3连接Oracle11的工具类

一、环境准备1、python3安装windows离线安装python3.6.8环境：https://blog.csdn.net/qq262593421/article/details/1113091162、MongoDB4安装Linux 离线安装 python 3.6.10：https://blog.csdn.net/qq262593421/article/details/105395101win10安装Oracle11：二、安装驱动1、pip在线安装pymogo驱动pip

2021-03-05 15:02:09 422

原创 Python3实现MySQL数据增量更新同步到MongoDB

一、MySQL工具类# -*- encoding: utf-8 -*-import pymysqlclass MySQLUtil: """ MySQL工具类 """ def __init__(self, host="127.0.0.1", user=None, passwd=None, db=None, charset="utf8", *args, **kwargs): """构造函数""" self.host = host

2021-03-05 14:13:31 717 1

原创 python3连接MySQL的工具类

工具类# -*- encoding: utf-8 -*-import pymysqlclass MysqlUtil: """ MySQL工具类 """ def __init__(self, host="127.0.0.1", user=None, passwd=None, db=None, charset="utf8", *args, **kwargs): """构造函数""" self.host = host ...

2021-03-04 19:51:23 702

原创 python引入相同和不同（模块）文件夹下py文件的类

1、项目结构2、引入代码#-*- encoding: utf-8 -*-import syssys.path.append(r'..')from MongoDB.MongoDBUtil import MongoDBUtilclass MysqlToMongo: def __init__(self,mysql_ip,mysql_db,mongo_ip,mongo_db): self.mysql_ip = mysql_ip self.my...

2021-03-04 18:56:03 1265

原创 Python操作MongoDB的工具类

目录一、环境准备1、python3安装2、MongoDB4安装二、安装驱动1、pip在线安装pymogo驱动2、pymogo驱动测试三、py工具类一、环境准备1、python3安装windows离线安装python3.6.8环境：https://blog.csdn.net/qq262593421/article/details/1113091162、MongoDB4安装Linux 离线安装 python 3.6.10：https://blog.csdn.net

2021-03-04 18:34:17 818

原创 python3连接Oracle

一、环境准备Oracle官网：https://www.oracle.com/index.htmlOracle+Python：https://developer.oracle.com/cn/dsl/mastering-oracle-python.html二、实现代码1

2021-03-03 16:25:42 177

原创 Python3连接PostgreSQL

一、环境准备易百教程：https://www.yiibai.com/postgresql/postgresql_python.html二、连接代码#-*- encoding: utf-8 -*-import psycopg2# 数据库连接参数## dbname: the database name## database: the database name (only as keyword argument)## user: user name used to aut...

2021-03-03 16:10:08 591

原创 win10安装PostgreSQL12.6

一、环境准备1、官方网站http://postgresql.org2、版本链接https://www.enterprisedb.com/downloads/postgres-postgresql-downloads二、软件安装安装版本：postgresql-12.6-1-windows-x64安装地址：D:\Hadoop\PostgreSQL\postgresql-12.6账户名：postgres 密码：123456三、...

2021-03-03 15:47:54 4804

原创 python3操作MongoDB4.4

MongoDB文档中文手册：https://docs.mongoing.com/中文官网：https://www.mongodb.org.cn/中文社区：https://mongoing.com/mongodb-manaul菜鸟教程：https://www.runoob.com/python3/python-mongodb.html实现代码#-*- encoding: utf-8 -*-'''MongoDBCRUD.pyCreated on 2021/3/2 15:56Co

2021-03-02 18:08:57 345

原创 python3连接MongoDB4.4

1、安装驱动pip install pymongo2、驱动测试pythonimport pymongo3、代码测试import pymongo"""客户端连接对象"""def db_client(ip="127.0.0.1",port="27017"): url = "mongodb://"+ip+":"+port client = pymongo.MongoClient(url) print("client:",client) ret...

2021-03-02 14:20:44 382

原创 Win10安装MongoDB4.4

一、环境准备1、MongoDB官网：https://www.mongodb.com/2、MongoDB下载：https://www.mongodb.com/try/download/community3、MongoDB版本：https://www.mongodb.com/download-center/community/releases/archive二、软件安装1、解压安装包将下载的安装包mongodb-windows-x86_64-4.4.0.zip解压到安装路...

2021-03-02 10:10:02 386

原创 Linux在线安装部署postgresql12+postgis3.1

1、进入官网，点击 Download官方网址：https://www.postgresql.org/2、选择系统版本选择之后等待网页自动跳转3、选择合适的版本网页下拉找到PostgreSQL Yum Repository ，选择安装的版本，之后复制安装命令并执行sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-l...

2021-02-24 10:28:37 1376

原创 Java、Scala使用tan和arctan求斜率和倾斜角

代码 val tan1 = Math.round(Math.tan(Math.toRadians(45))) // tan(45°)=1 val tan2 = Math.toDegrees(Math.atan(1)) // arctan(1)=45° val tan3 = Math.atan(1)/Math.PI*180 // arctan(1)=45° println(tan1,tan2,tan3)(1,45.0,45.0)...

2021-02-20 13:50:57 1264

原创 MySQL空间函数汇总

名称描述 1 ST_StartPoint() LineString的起始点 2 ST_EndPoint() LineString的终点 3 ST_Transform() 变换几何的坐标 4 ST_GeoHash() 产生geohash值 5 ST_LongFromGeoHash() 从geohash值返回经度 6 ST_LatFromGeoHash() 从geohash值返回纬度 7...

2021-01-28 09:25:01 826

原创第十一届蓝桥杯大赛个人赛校内选拔（软件类）题解

1.15.125GB【问题描述】在计算机存储中，15.125GB是多少MB？【答案提交】这是一道结果填空的题，你只需要算出结果后提交即可。本题的结果为一个整数，在提交答案时只填写这个整数，填写多余的内容将无法得分。154882.约数个数【问题描述】1200000有多少个约数（只计算正约数）。【答案提交】这是一道结果填空的题，你只需要算出结果后提交即可。本题的结果为一个整数，在提交答案时只填写这个整数，填写多余的内容将无法得分。11113.叶结点数【问..

2021-01-24 23:55:03 905 3

原创 Spark如何保证使用RDD、DataFrame和DataSet的foreach遍历时保证顺序执行

1、coalesce(1).foreach2、collect().foreach

2021-01-20 09:55:54 1585 1

原创 MySQL报错：【Packet for query is too】【large max_allowed_packet】

com.mysql.cj.jdbc.exceptions.PacketTooBigException: Packet for query is too large (12,131,066 > 4,194,304).You can change this value on the server by setting the 'max_allowed_packet' variable.ERROR 2020 (HY000): Got packet bigger than 'max_allow...

2020-12-24 10:04:53 449

转载第十一届蓝桥杯大赛个人赛校内选拔（软件类）题目

1.15.125GB2.约数个数3.叶结点数4.数字95.数位递增的数6.递增三元组7.音节判断8.长草9.序列计数10.晚会节目单...

2020-12-23 20:46:19 493

原创 MySQL空间函数度量换算——距离计算，度数换算成公里海里

-- 弧长=圆周率×半径×圆心角角度/180° L=πr*n/180-- 圆心角角度=180°×弧长/圆周率/半径 n=180*L/πr-- 圆周公式 C = 2*πr 除以1000换算成公里SET @C=2*PI()*6371000 /1000; -- 40030.1735920411 赤道约4万公里-- 推导弧长 L = 2*πr*n/360 = n/360*C = πr*n/180SELECT @C*1/360; -- 1度 = 111.194926644558...

2020-12-23 11:30:49 963