- 博客(73)
- 收藏
- 关注
RSS订阅原创 secureCRT连接不上虚拟机解决方案
原因：以前配置过，然后最近突然连不上了，今天终于解决了。我把配置图发出来1.虚拟机网卡配置网卡设置最好是vmnet0和vmnet8，我当时改成其他的网卡，然后就连不上了我的电脑虚拟网卡配置linux网络配置TYPE=EthernetBOOTPROTO=staticDEFROUTE=yesPEERDNS=yesPEERROUTES=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV
2021-06-30 17:32:58
2925
原创 MySql用Windows命令行中乱码问题
#乱码展示1.查看数据库编码方式我的安装mysql时选择的是utf-8编码，所以如图所示，之所以出现中文乱码，是因为Windows命令cmd模式端使用的编码方式是gbk方式。我们只需要改变客户端的编码是gbk即可。show variables like 'char%';2. 改变cmd命令行编码 set names gbkset names gbk ;3.测试结果看图，已经解决啦，现在很多人都是用工具操作mysql数据库，一般不会出现这个问题。...
2020-12-18 14:50:25
265
1
原创 idea建web工程
一、idea建web静态工程新建建立一个静态的web工程：new–》project选择static web—》static web填写工程名在工程下创建html文件二、idea整合TomCat服务器file–》setting–》Build, Execution, Deployment —》 Application Servers填写自己的tomcat服务器安装目录测试是否安装成功三、idea创建动态Web工程创建一个新模块
2020-11-03 16:21:05
193
原创 Oracle连接出现TNS：no listener或者ORA-12514: TNS:listener does not currently know
一、首先确认linux系统的ip和主机名是否正确二、(这一步可忽略，一般不会错)检查oracle配置文件listener.ora和tnsnames.ora此文件位置在你oracle安装包下oracle/oracle/product/11.2.0/network/admin/三、开启监听器四、开启实例五、plsqlpl连接成功...
2020-07-27 23:08:58
2008
原创 centos7网络配置
一、进入网络配置vi /etc/sysconfig/network-scripts/ifcfg-ens32 TYPE=EthernetBOOTPROTO=staticDEFROUTE=yesPEERDNS=yesPEERROUTES=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_PEERDNS=yesIPV6_PEERROUTES=yesIPV6_FAILURE_FATAL=n
2020-07-22 18:36:36
168
原创 mysql行转换列SQL- case when then else end
1.表结构测试表格–1.学生表Student(Sid,Sname,Sage,Ssex)–S# 学生编号,Sname 学生姓名,Sage 出生年月,Ssex 学生性别–2.课程表Course(Cid,Cname,Tid)–Cid --课程编号,Cname 课程名称,Tid 教师编号–3.教师表Teacher(Tid,Tname)–Tid 教师编号,Tname 教师姓名–4.成绩表SC(Sid,Cid,score)–Sid 学生编号,Cid 课程编号,score 分数创建测试数据学
2020-06-02 16:02:53
189
原创 mysql中不能输入中文数据问题解决
一、mysql安装时没有选择utf8编码方式二、用命令行cmd时，cmd的编码是gbk，所以要设置set names gbk;
2020-06-02 09:26:43
373
原创 python处理excel文件小练习
一、简单使用#数据处理import openpyxl as xl #导入excel处理库from openpyxl.chart import BarChart, Reference # 导入图wb = xl.load_workbook("test.xlsx") #读取excel表，获取表文件对象sheet = wb['Sheet1'] #获取表格对象for row in rang...
2020-03-12 20:58:59
647
原创 机器学习小练习
机器学习完整代码import pandas as pdfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_scoredf=pd.read_csv('G:/liu/py...
2020-03-12 20:43:55
185
原创 pyspark笔记2：数据读取、处理和保存
PySpark笔记PySpark:Python on Spark基于python语言,使用spark提供的pythonAPI库，进行spark应用程序的编程==============================================================一、搭建PySpark的环境1.windows上进行pyspark环境配置步骤：-1.在windows上搭...
2020-03-12 16:42:01
3097
原创 TopN:求每个人的所有成绩中最好的三个成绩
一、数据源xiaoliu 64xiaoliu 69xiaoliu 79xiaoji 98xiaoliu 100xiaoji 99xiaowang 27xiaowang 69xiaowang 64xiaozhang 67xiaozhang 38xiaozhang 93xiaozhang 29xiaozhang 85xiaoliu 19xiaoliu 53xiaoli...
2020-03-12 11:56:37
265
原创 pyspark安装和使用
PySpark笔记PySpark:Python on Spark基于python语言,使用spark提供的pythonAPI库，进行spark应用程序的编程==============================================================一、搭建PySpark的环境1.windows上进行pyspark环境配置步骤：-1.在windows上搭...
2020-03-11 17:19:01
1961
原创 kafka笔记
Kafka笔记kafka我们称之为中间件Kafka官网：http://kafka.apache.org/Kafka的文档：http://kafka.apache.org/0110/documentation.html使用的版本：Kafka_2.11-0.11.0.1Kafka® is used for building real-time data pipelines and strea...
2020-03-10 18:05:04
725
原创 spark-sql笔记
SparkSQL：1.sparksql可以和hive集成问题1：sparksql什么时候和hive集成？答：当开发者需要使用sparksql来代替mapreduce，去计算hive中的表的时候，就需要集成hive。（mapreduce计算太慢了，所以我们采用sparksql去访问hive，来达到提供计算效率的目的）问题2:如何和hive集成?SparkSQL和hive集成的步骤：hiv...
2020-03-10 18:02:39
548
原创 spark-streaming笔记
SparkStreaming笔记框架的类型：1.离线批处理：mapreduce、hive、SparkCore、Sparksql =》 mapreduce spark2.SQL的交互式查询：hive、SparkSQL3.流式框架：flume、kafka、SparkStreaming4.实时计算：SparkStreamingStrom（Clojure编写的）/jStrom（java编...
2020-03-10 18:00:17
362
原创 spark-streaming笔记
SparkStreaming笔记=================================================================框架的类型： 1.离线批处理：mapreduce、hive、SparkCore、Sparksql =》 mapreduce spark 2.SQL的交互式查询：hive、SparkSQL 3.流式框架：flume、kafk...
2020-03-10 17:29:03
251
原创 python安装和基础
第一章 python3简介第一节 Python语言的特点解释性语言：不需要编译，运行时会翻译成为机器语言动态类型语言：变量使用无需声明，在赋值的时候根据值类型自动 确定强类型语言：一旦变量被指定了某个数据类型，如果不进行强制类型转换，那么它就一直是该数据类型缺点：执行速度慢Python代码不能加密第二节 Python的安装1.版本:python3-2.两种方式安装pytho...
2020-03-10 17:19:33
156
原创 idea软件使用python插件
接下来我们使用IDEA开发工具编写代码-1.IDEA中安装python的插件点击settings，点击plagins，在里面搜索python插件，然后安装，重启IDEA即可-2.调整项目的环境，因为之前的 项目是java和scala的环境，所以要调整为python的环境打开file下的project，项目配置点击SDKS，添加anaconda的python环境选择Conda Envir...
2020-03-10 17:09:49
219
原创 flink安装
与hadoop集成一、下载https://archive.apache.org/dist/flink/flink-1.7.0/二、安装2.1 上传解压rztar -xzvf flink-1.7.0-bin-hadoop26-scala_2.11.tgz -C /opt/modules/2.2 修改配置1.修改flink-conf.yamljobmanager.rpc.addr...
2020-03-07 10:33:43
543
原创 idea中jdk版本低出错
一、错误信息二、解决方法2.1 项目结构java语言级别低设置成安装的jdk版本我的jdk1.8版本，修改后视图2.2 运行后再次报错解决jdk版本问题2.3 进入设置-》java编译器-》修改jdk版本1.版本过低，改成自己的jdk版本...
2020-03-05 17:00:48
1089
1
原创 kafka编程【java】编写生产者
一、添加依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.1</version> </depen...
2020-03-05 15:14:55
144
原创 kafka核心概念
一、kafka核心概念Message(消息)： 传递的数据对象，主要由四部分构成：offset(偏移量)、key、value、timestamp(插入时间)Broker(代理者)：Kafka集群中的机器/服务被成为broker， 是一个物理概念。Topic(主题)：维护Kafka上的消息类型被称为Topic，是一个逻辑概念。Partition(分区)：具体维护Kafka上的消息数据的最小...
2020-03-04 19:28:56
272
原创 kafka官方案例运行
一、官方的测试案例：生产者和消费者的测试脚本1.1 案例分析Kafka自带生产者和消费者的模拟测试脚本：生产者脚本：kafka-console-producer.sh消费者脚本：kafka-console-consumer.sh现在我们模拟操作，生产者往kafka集群中写入数据，消费者往kafka集群中拉取数据，打印控制台1.2 开启生产者的脚本bin/kafka-console-p...
2020-03-04 19:15:15
150
原创 kafka的安装
Kafka笔记=====================================================================kafka我们称之为中间件Kafka官网：http://kafka.apache.org/Kafka的文档：http://kafka.apache.org/0110/documentation.html使用的版本：Kafka_2.11-0...
2020-03-04 14:56:20
76
原创 Spark-Sql的两种编程方式
一、spark.sql(“sql语句”)val spark: SparkSession = SparkSession .builder() .master("local[*]") //.enableHiveSupport() 如果不用到hive，不要加，用到hive一定要加 .getOrCreate() spark.sql("sql语句...
2020-03-04 13:34:15
427
原创 sparksql自定义函数
title：sparksql自定义函数一、sparksql自定义函数spark-sql与hive类似，可以自定义函数UDF（user-defined-function）:最基本的自定义函数，类似to_char,to_date.UDAF(user-defined-aggregation-function):用户自定义聚合函数，类似在group by之后使用的sum,avg等UDTF(u...
2020-03-04 08:26:56
886
原创 sparksql：dataframe数据写入到Hbase中
一、步骤：在idea中编程1.1 添加依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc...
2020-03-03 22:28:09
1639
转载 【spark】idea编程中隐藏info信息
title：【spark】idea编程中隐藏info信息Windows下面使用Intellij IDEA编程，打印的[INFO]信息很多。不想看太多INFO，可以提高日志级别为WARN或者ERROR。在src/main下面新建resources文件夹，并在resources文件夹上面点右键 - Make Directory As - Resource Root拷贝spark的conf目录下...
2020-03-03 15:09:53
433
原创 scala-Spark课堂笔记3
第三天笔记一、闭包1.定义：闭包是一个函数返回值依赖声明在函数外部的一个或多个变量2.实例package Day.Day3object app { def main(args: Array[String]): Unit = { val factor = 3 def mul(n:Int): Int ={ n * factor } }}二...
2020-02-12 17:31:19
238
原创 idea报错xxxx is already defined as object解决方案
一、如下图报错二、解决把项目结构里的src去掉resource标记修改后的
2020-02-11 21:48:33
7416
原创 win10系统蓝屏提示driver power state failure解决方案
一、cmd窗口关闭休眠按windows+x，选择命令提示符以管理员身份运行powercfg -h off二、按windows+x，选择电源选项>其他电源设置>更改计划设置>更改高级电源设置>把睡眠，从不从不，以及禁用...
2020-02-08 11:44:58
6365
原创 hadoop-day02-hdfs机制及mr开发
1 HDFS机制namenode 负责元数据的管理 处理client的读写的请求datanode 数据块本身 数据块的元数据（数据块的长度，块数据的校验和，以及时间戳）心跳namenode启动后，datanode向namenode进行注册，然后周期性的发送心跳信号；心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令；比如删除块...
2020-01-16 20:11:42
146
原创 hadoop的安装和介绍
1 大数据1.1 大数据概念大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。1.2 大数据的特征Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值高、价值密度低）、Veracity...
2020-01-16 20:09:39
147
原创 github博客绑定域名
1.购买域名2.设置域名，解析映射参照上图，复制自己的github域名，用cmd命令ping,获取IP地址。3.注册github账号，设置博客。看我的博客搭建。4.在github主页仓库里新建一个文件CNAME.txt输入自己的买的域名5.在本地的博客的根目录的source文件夹下的新建一个文件CNAME.txt输入自己的买的域名...
2020-01-13 19:19:19
295
原创 搭建个人博客
1.下载安装nodejs2.安装git3.通过git命令窗口npm install -g cnpm --registry=https://registry.npm.taobao.org4安装hexo框架cnpm install hexo-cli -ghexo -v5.创建博客目录E:/github/Myblog6.进入E:/github/Myblog文件夹下执行hexo ini...
2020-01-10 20:40:03
101
原创 oozie安装及使用
oozie （会用！） 任务调度框架 当一个项目中出现多个shell、MapReduce、hql、sqoop类型的任务时 并且这些任务之前存在一种依赖关系时，需要借助专业的任务调度框架完成任务流的定义控制 oozie可以实现 多个任务执行的顺序控制 job1->job2->job3/job4->job7 .. 多个任务组成的一个任务流的执行频...
2020-01-06 18:38:11
367
原创 Hue安装及使用
hue框架 （会用）**cloudera公司开源 http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.2/大数据的web工具，hue为其他以hadoop为基础的生态圈中的几乎所有的框架通过了一个基于web-ui平台的统一的操作或监控平台 通过hue的web平台可以对其他的框架进行哪些操作呢 hdfs 可以对hdfs...
2020-01-06 17:57:51
771
原创 hadoop环境配置
1 大数据1.1 大数据概念大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。1.2 大数据的特征Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值高、价值密度低）、Veracity...
2019-12-18 18:37:46
166
原创 oracle练习题
1.emp：empno 员工idename：员工名job：工作mgr：上司hiredate：入职日期sal：工资comm：奖金deptno：部门id2.dept：部门表deptno：部门iddname：部门名称loc：所在地址salgrade:1.列出至少有三个员工的所有部门和部门信息。select max(b.deptno),max(b.dname),max(b.l...
2019-12-17 21:41:13
399
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人