- 博客(28)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Pandas三小时入门
Pandas三小时快速入门本文主要讲解如何利用python中pandas模块实现对数据的快速处理与信息挖掘，学习难度介于基础与进阶之间。欢迎对数据分析感兴趣的小伙伴点赞收藏并Frok🎉🎉🎉。Pandas (Python Data Analysis Library) 是基于NumPy 的一款优秀数据分析工具，被广泛应用在数据清洗、合并筛选以及信息挖掘等各类实际应用场景数据的处理。目前，所有使用Python语言进行数据分析工作的专业人士，在做相关统计分析和决策时，会优先选择Pandas作为基础工具。....
2022-06-12 20:39:17
455
转载 第一章 Python 机器学习入门之Numpy（理论知识学习）
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2022-05-26 09:56:17
64
转载 Python判断字符串是否包含特定子串的7种方法
1、使用 in 和 not inin和not in在 Python 中是很常用的关键字，我们将它们归类为成员运算符。使用这两个成员运算符，可以很让我们很直观清晰的判断一个对象是否在另一个对象中>>> "llo" in "hello, python"True>>> "lol" in "hello, python"False2、使用 find 方法使用字符串对象的 find 方法，如果有找到子串，就可以返回指定子串在字符串中的出现位置，如果没有找到，就返回
2022-01-17 09:47:16
12489
原创 spark打包的方式
1、不需要第三方依赖直接在项目的根目录下面执行如下命令：mvn package -DskipTests2、需要第三方依赖此时就需要在pom中添加一个第三方的插件来完成打包<build> <sourceDirectory>src/main/scala</sourceDirectory> <plugins> ...
2019-12-06 09:40:20
1103
原创 Spark在分布式环境中的安装过程中的主要问题
Spark在分布式环境中的安装过程中的主要问题1.Spark集群HA无法正常启动的问题master节点正常情况的状态为ALIVE与STANDBY，使用HA后通过zookeeper集群来确定master的ALIVE与STANDBY。问题： 出现master节点一直处于RECOVERING，处理恢复状态，却不能正常启动。解决方法：#进入zk的客户端zkCli.sh#查看目录ls/#删...
2019-12-04 16:52:32
511
原创 Spark在分布式环境中的安装
文章目录Spark在分布式环境中的安装1.安装 scala1.1上传1.2解压1.3重命名1.4添加环境变量1.5配置文件生效1.6验证2.安装Spark2.1上传2.2重命名2.3添加环境变量2.4环境变量生效2.5修改配置文件2.6启动并体验2.6.1 启动2.6.2 停止3.Spark HA的环境安装3.1修改配置文件3.2启动HA集群3.3HA集群的验证3.3HA集群的验证Spark在...
2019-12-04 16:21:21
344
原创 Scala学习第三天
0. 今日大纲模式匹配类型参数隐式转换线程通信AKKA1. 模式匹配1、模式匹配是Scala中非常强大的一种功能。模式匹配，其实类似于Java中的switch case语法，即对一个值进行条件判断，然后针对不同的输入条件，进行结果处理。2、Scala的模式匹配的功能比Java的switch case语法的功能要强大地多，Java的switch case语法只能对值...
2019-12-03 09:53:04
215
原创 scala第一天笔记
0. 大纲Scala简介Scala安装验证Scala IDEScala基础知识和语法Scala控制结构Scala函数Scala数组&集合1. Scala简介Scala是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行在Java虚拟机上，并兼容现有的Java程序。Sc...
2019-11-26 17:05:05
230
原创 Hadoop中HDFS四大核心两大机制
Hadoop中HDFS四大核心两大机制文章目录Hadoop中HDFS四大核心两大机制1、心跳机制过程：目的：间隔时间：问题：2、机架策略3、安全模式（safemode）1、正常启动进入安全模式的原因2、为什么NameNode会处于安全模式？3、 如何退出安全模式?4、安全模式下可以执行什么操作？5、安全模式常用操作命令4、负载均衡目的定义如何实现负载均衡？1、心跳机制过程：datanode...
2019-11-21 17:24:04
137
原创 HDFS中常用的shell命令
HDFS中常用的shell命令注意要点两种启动hdfs客户端的命令：任意节点hdfs|hadoop操作hfs的文件系统fs|dfshadoop fs| hdfs dfs 连接hadoop的文件系统namenode注意：1、hdf的文件系统 只有一个访问方式 只有绝对路径访问所有路径从/开始2、hdfs不支持文件修改（原因 ：hdfs分块存储的还有多个副本 修改的成本太高 hd...
2019-11-21 15:03:44
435
原创 对于线程池的理解
文章目录什么叫做线程池，它的作用，它的组成，为什么会有这个概念？引发思考线程池线程池的目的什么是线程池：线程池的好处：线程池的组成：如何创建一个线程池？handler的拒绝策略：线程池的种类四种常见的线程池：线程池的基本实现：线程池接口类 ThreadPool线程池实现类ThreadPoolManager.java自定义任务类Task.java线程池测试类核心方法讲解AbstractExecuto...
2019-11-17 15:29:06
930
原创 ArrayList数组和LinkedList数组的总结
ArrayList数组的总结数据结构数据结构是数据存放的一种方式，用来组织数据，使得磁盘或者内存空间更有效率的存放数据。通俗来说就是提供空间的利用率和数据的查找速度。理论：计算机中人们总是在衡量时间和空间的关系，两者只能选其一算法：通俗来讲就是节约时间节约成本去完成一件事数据结构之线性表特点：数据连续放置，从逻辑上来说也就是有序的分为顺序表和链表LinkedList：地址不连续...
2019-11-17 09:21:26
359
原创 hive的安装
1、安装准备确定hadoop、zookeeper、jdk已经搭配完整安装节点：hive相当于hadoop的另一种客户端默认的元数据库derby使用mysql作为元数据库1、检查以前是否装过 MySQLrpm -qa|grep -i mysql 有的话就删除掉rpm -e --nodeps 加文件名2、删除老版本 mysql 的开发头文件和库 rm -fr /usr/l...
2019-10-20 19:49:10
97
原创 Hive微博数据统计分析
1、数据描述：用户的历史微博数据，截止到20131215，压缩后221MB，解压后878MB，整个数据有1206个小文件，所有数据的格式均是json格式。2、数据样例：[{"beCommentWeiboId":"","beForwardWeiboId":"","catchTime":"1387157643","commentCount":"682","content":"喂！2014。。。2...
2019-10-18 14:05:07
1736
1
原创 SSM整合（无Maven）
1、开发环境IDE： Eclipse Mars2Jdk: 1.8数据库: MySQL2、创建数据库数据库sql文件位置如下图：创建crm数据库，执行sql语句DROP TABLE IF EXISTS `user`;CREATE TABLE `user` ( `id` int(11) DEFAULT NULL, `username` varchar(60) DEFAULT...
2019-09-08 20:11:25
443
原创 JDBC的配置以及简单功能的实现
1、JDBC简介1）什么是JDBC（java Database Connectivity）java连接数据库技术 SUN推出的针对于关系型数据库开发的一整套规范（一套执行sql语句的API），主要由接口组成，目的是为了提升开发效率。每个数据库产商的驱动程序，必须实现该接口。开发者只需要学习jdbc...
2019-08-23 18:48:40
224
原创 使用集合实现书籍管理系统
1)创建书籍实体类(书籍编号，书籍名称，书籍借阅状态，书籍借阅次数)2)创建多本书籍存储在集合中3)在书籍管理系统中显示菜单: 1.查看所有书籍 2.借阅书籍 &nbs...
2019-08-19 21:37:15
1015
原创 线程同步问题
线程同步问题之一创建多线程实现3个窗口卖票，一共30张票，每个窗口各卖5张，一次卖一张（线程同步）public class TicketDemo3 { public static void main(String[] args) { Station1 sta1 = new Station1(); Thread t1=new Thread(sta1,"窗口一"); Thread t...
2019-08-18 18:12:15
108
原创 关于字节流和字符流
分别使用字节流和字符流完成以下程序：在指定的路径下新建一个 txt 文件 “aura.txt”，利用程序在文件中写入如下内容：“Hadoop（hdfs、mapreduce、yarn） 元老级大数据处理技术框架，擅长离线数据分析,Hbase 分布式海量数据库，离线分析和在线业务通吃,Hive sql 数据仓库工具，使用方便，功能丰富，基于MR延迟大,Sqoop数据导入导出工具,Flume...
2019-08-12 21:04:10
233
原创 冒泡排序和选择排序
冒泡排序@Test//冒泡排序 public void test() { int num []= {9,7,4,6,3,8,1,5}; int exchange =0;//用户标识是否发生排序，用作冒泡的改进 int count =0;//记录冒泡排序的次数 for (int i = 0; i < num.length-1; i++) { exchange = 0;...
2019-08-11 19:25:10
56
原创 Java面向对象的编程⑤面向对象
今日内容：java面向对象1面向对象的思想面向对象和面向过程区别：面向对象是相对于面向过程，面向过程指的功能行为,面向对象指将功能封装对象中，强调的是功能的对象面向过程: 打开门 大象放进去 关闭门 面向对象: class 大象{ } class 冰箱{void 开门(){}void 放(大象){}void 关门(){}}面向对象...
2019-08-10 19:54:25
113
原创 Java基础④数组
今日内容数组语法数组异常数组常用操作及排序算法二维数组第1章数组语法声明方式： 类型[] 数组名; 类型 数组名[]; 使用数组时必须分配长度  ...
2019-08-10 18:24:08
131
原创 Java基础语法③流程控制语句
今日内容介绍引用数据数据类型（Scanner、Random）流程控制语句（if、switch、for、while、dowhile、break、continue）第1章引用数据类型1.1Scanner 类引用数据类型的使用与定义基本数据类型变量不同，引用数据类型的变量定义及赋值有一个相对固定的步骤或格式。数据类型 变量名 = new 数据类型();每种引用数据类型都有其功能，我...
2019-08-10 17:36:54
252
原创 Java基础语法②变量-数据类型- 运算符
本章节内容变量数据类型运算符第1章变量1.1变量概述 前面我们已经学习了常量，接下来我们要学习变量。在Java中变量的应用比常量的应用要多很多。所以变量也是尤为重要的知识点！ 什么是变量？变量是一个内存中的小盒子（小容器），容器是什么？生活中也有很多容器，例如水杯是容器，用来装载水；你家里...
2019-08-10 16:46:21
209
原创 Java基础语法①Java介绍以及JDK和JRE的使用原理
第一章Java开发环境搭建1.1java概述java是SUN(Stanford University Network，斯坦福大学网络公司)1995年推出的一门高级编程语言。95年，SUN发布JDK 1.0，98年，JDK1.2，后续JDK1.3， 1.4，1.5（更名为Java5.0）最新版本是jdk12,用的最多的还是jdk8。源名称Oak（橡树）2009 oracle公司以74亿美元...
2019-08-10 15:31:24
244
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人