逗比发光请闭眼-CSDN博客

原创 Anaconda安装和Pytroch安装(CPU版本)

往下滑，里面有很多的安装方式和需要安装的版本，我们根据需求选择我们需要的进行安装，我们的版本是选择是pytroch=1.13.1，pytorch可以安装GPU版本和CPU版本，可能有的同学的电脑没有GPU，所以为了保持统一，我们选择CPU版本进行安装。在终端输入下面的命令（因为我们在上面配置了镜像源，所以我们在终端输入的时候不需要后面的 -c pytorch,加上他是在官网下载可能速度比较慢），在安装的过程中不能断开网络，要保持网络的通畅。（4）检查是否安装成功，看是否有相关的库。

2023-12-18 17:09:40 897

原创本地跑Mapreduce程序的相关配置

本地跑MapReduce程序需要配置的代码为了在本地运行MapReduce程序，需要加如下的东西在项目中创建一个如图所示的包：org.apache.hadoop.io.nativeio，并在该包下面创建一个名为：NativeIO的类（注意：名字不能写错），在该类中加入如下的代码：/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. Se

2023-08-10 15:03:01 990

原创解决：ERROR StatusLogger No Log4j 2 configuration file found. Using default configuration

rootLogger.level = inforootLogger.appenderRef.console.ref = ConsoleAppenderlogger.sink.name = org.apache.flink.walkthrough.common.sink.AlertSinklogger.sink.level = INFOappender.console.name = ConsoleAppenderappender.console.type = CONSOLEappender..

2020-11-25 19:19:26 631

原创解决azkaban调度任务时报错：Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job MergeLocationJob, sl

报错如下这是资源不够，azkaban默认需要3G的内存，剩余的内存不足则会报异常我的解决方法是进入到azkaban的安装下更改配置/usr/local/soft/azkaban-solo-server/plugins/jobtypes/commonprivate.properties

2020-11-20 20:04:40 870 2

原创 spark中的行列转换

import org.apache.spark.sql.{Column, DataFrame, SparkSession}object Demo10stu { def main(args: Array[String]): Unit = { val spark: SparkSession =SparkSession .builder() .master("local") .appName("stu") .config("spark.sql.shu

2020-11-11 19:06:11 599

原创 scala学习day04

1.模式匹配package com.shujia.scalaobject DemoMatch { def main(args: Array[String]): Unit = { /** * 在java中模式匹配，只能匹配（基本数据类型，字符串，枚举） * * scala中的模式匹配可以匹配基本数据类型，字符串，枚举，对象，类型 * */ val str: String = "男" /** * 模

2020-11-01 23:14:08 80

原创 scala学习day03

1.集合package com.shujia.scalaobject Demo12List { def main(args: Array[String]): Unit = { /** * scala中集合分为 * list : 有序（插入顺序），可以重复 * Set : 无序，唯一 * Map : key-value * Tuple： */ //List : 默认是一个不可变的集合, 相当于java中

2020-11-01 23:11:16 91

原创 scala学习day02

1.scala里的特殊类，样例类package com.shujia.scalaobject Demo7CaseClass { def main(args: Array[String]): Unit = { //样例类可以不通过new 创建对象 val student: Studnet2 = Studnet2("张三", 23, "文科一班") println(student) //可以直接通过属性名操作属性 println(student.age)

2020-11-01 23:02:51 79

原创 scala学习day01

1.scala中的main函数package com.shujia.scalaobject Demo2Helloworld { /** * def ：定义函数的关键字 * main：函数名 * args：参数名 * Array[String]：参数类型 * Unit; 相当于void * * main需要放在object * * object中所有的方法可以直接调用 */ def main(args: A

2020-11-01 22:57:46 73

原创 java代码对hbase各种命令的体现

package com.shujia.hbase;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HTableDescriptor;import org.apache.hadoop.hbase.TableName;import org.apache.hadoop.hbase.client.*;im

2020-10-22 19:41:34 69

原创 redis学习day03---list列表和hash

一、list列表1.list列表基于linked list实现元素是字符串类型列表头尾增删快，中间增删慢，增删元素是常态元素可以重复实现最多包含2^32-1元素2.列表的索引从左至右，从0开始从右至左，从-1开始3.命令 (1)命令说明 B block 块，阻塞 L left 左 R right 右 X exist 存在 (2)左右或者头尾压入元素 lpush key value [value ..] lpushx key value rp

2020-10-21 22:29:40 149

原创 java学习day04

<pre>1:switch语句的格式?针对格式的解释?以及注意事项?格式：switch(表达式) {case 值1:语句体1;break;case 值2:语句体2;break;...default:语句体n+1;break;}解释：switch:说明这是switch语句。表达式:可以是byte,short,int,charJDK5以后可以是枚举JDK7以后可以是字符串case:后面的值就是要和表达式进行比较的值.

2020-10-21 21:15:49 109

原创 redis学习day02---set集合

一、set集合1.set集合无序的，去重的元素是字符串类型最多包含2^32-1元素2.命令 (1)增加一个或多个元素 sadd key member [member ...] 如果元素已经存在，则自动忽略例子： sadd friends peter sadd friends jack tom john sadd friends may tom (2)移除一个或者多个元素 srem key member [member ...] 元素不存在，自动

2020-10-21 20:42:39 290

原创 redis学习day01---string字符串

1.redis的简介 redis是开源的(BSD协议)，使用ANSI C编写，基于内存的且持久化，高性能的key-value的NoSQL数据库支持数据结构类型丰富，有如字符串(String)，散列(hashes)，列表(lists)，集合(sets)，有序集合(sorted sets)与范围查询，bitmaps，hyperloglogs和地理空间(geospatial)索引半径查询。用途：缓存(StackOverFlow)，数据库(微博)，消息中间件(微博)2.键key (1)Redis ke

2020-10-21 16:03:56 125

原创 hive学习day04---用户自定义函数(UDF)

1.用户自定函数：应用场景：当有一些需求，hive内置函数满足不了sql查询的时候，用户可以通过java封装一个函数。分类： udf：输入一条数据，返回一条，1对1. UDAF：输入多条数据，输出1条。多对1. UDTF：输入一条数据，输出多条数据。1对多。 UDF用的是最多的。 UDF函数可以直接应用于select语句，对查询结构做格式化处理后，在输出内容 2.编写UDF函数的时候需要注意一下几点： (1)在pom文件中导入相关依赖： <dependency>

2020-10-20 22:42:33 158

原创 hive学习day03-----hive高级函数

1.窗口函数：row_number,rank,dense_rank row_number()从1开始，按照顺序排序，生成分组内记录的序列，row_number()的值不会存在重复，当排序的值相同时，按照表中记录的顺序进行排列 rank()生成数据项在分组中的排名，排名相等会在名次中留下空位 dense_rank()生成数据项在分组中的排名，排名相等会在名次中不会留下空位例子：员工表中，求每个岗位薪水前两名的员工的信息（name，入职信息，sal） row_number() over(partit

2020-10-20 22:19:27 79

原创 hbase分布式集群搭建

1、启动hadoopstart-all.sh验证http://master:500702、启动zookeeper需要在在三台中分别启动zkServer.sh start搭建hbase1、上传解压配置环境变量 tar -xvf hbase-1.4.6-bin.tar.gz配置环境变量，在任意位置可以启动export HBASE_HOME=/usr/local/soft/hbase-1.4.6 2、修改hbase-env.sh文件增加java配置export JAV

2020-10-20 19:39:39 147

原创伪分布式搭建----linux

修改启动级别vim /etc/inittab将5改成3 init 3为分布搭建1、hdfs1.1 停止集群stop-all.sh1.2修改配置cd /usr/local/soft/hadoop-2.6.0/etc/hadoopvim slaves改成一个节点1.3删除临时目录rm -rf /usr/local/soft/hadoop-2.6.0/tmp1.4格式化namenodehadoop namenode -format1.5启动hadoopstar.

2020-10-20 19:37:28 60

原创 hdfs(ha)搭建文档---高可靠

1、防火墙 service iptables stop2、时间同步 yum install ntp ntpdate -u s2c.time.edu.cn 或者 date -s 201805033、免密钥 (远程执行命令) 在两个主节点生成密钥文件 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ssh-copy-id ip master-->master,node1,node2 node1-->master,node1,nod

2020-10-20 19:35:28 87

原创 hive练习题

一将empdata.txt数据插入hive表。EMPNO\ENAME\JOB\MGR\HIREDATE \SAL\COMM\DEPTNO字段中文名字依次是：工号，姓名，工作岗位，部门经理，受雇日期，薪金，奖金，部门编号CREATE TABLE emp(id string,name string,job string,mgr string,hiredate date,sal double,comm double,deptid string)ROW FORMAT DELIMITED

2020-10-18 20:32:44 533

原创 hive学习day02---建表语句

语句示范：create [EXTERNAL] table vv_stat_fact(userid string,stat_date string,tryvv int,sucvv int,ptime float) PARTITIONED BY ( 非必选；创建分区表 dt string)clustered by (userid) into 3000 buckets // 非必选；分桶子ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' /

2020-10-15 22:40:50 400

原创 hive学习day01

1.hive的简介： hive不是分布式，只是hadoop的一个客户端工具，是大数据行业中数据仓库建设的工具之一。 hive是基于hadoop的。hive是以表的形式存在，存储是放在hdfs上，计算用的是MapReduce，调度用的是yarn,查询语言用的是hive-sql. sql解析器：试用mysql的驱动。在查询的时候，将sql语言解析成mapreduce任务进行执行。 hive适用的场景：离线批处理，一般用于BI报表开发，相关数据T+1的分析。2.HIve与传统数据库比较 (1)查询

2020-10-15 19:35:30 81

原创 hadoop的优化------三大主件

优化的方案：1.mapreduce: 切片优化：调整map的数量 (1)当集群的资源(cpu,内存)比较充足，可以适当将切片大小调大，这时会增加map数量，加快读取处理速度。 (2)当集群的资源(cpu,内存)比较紧缺，可以适当将切片大小调大，这时减少map数量，可以一定程度提高效率。 (3)数据本地化，任务本地化处理(就是大小是128M)：可以适当增加副本数(前提是磁盘空间充足)2.调整reduce的数量 reduce的数量默认由分区决定，也可以直接手动设置reduce个数。3.yarn

2020-10-15 08:20:51 83

原创在hadoop集群中用java代码实现单词的统计--------MapReduce

单词统计的例子：hello,worldhello,bigdatabigdata,is,very,good代码实现：package shujia;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hado

2020-10-13 22:41:37 287

原创 linux系统中安装hive----虚拟机版本

前提条件：jdk，hdoop，mysql都在虚拟机中安装好了Hive的安装和使用我们的版本约定： JAVA_HOME=/usr/local/soft/jdk1.8.0_171 HADOOP_HOME=/usr/local/hadoop-2.6.0 HIVE_HOME=/usr/local/hive-1.2.1安装Hive 前提是：hadoop必须已经启动了*** 1°、解压hive的安装包 tar -zxvf apache-hive-1.2.1-bin.tar.gz 修

2020-10-13 22:27:04 353

原创 linux中搭建hadoop集群-----虚拟机版本

1.克隆2台虚拟机完成后：新的2台虚拟机，请务必依次修改3台虚拟机的ip地址和主机名称【建议三台主机名称依次叫做：master、node1、node2 】设置主机名与ip的映射，修改配置文件命令：vi/etc/hosts 将hosts文件拷贝到node1和node2节点命令： scp/etc/hosts node1:/etc/hosts scp/etc/hosts node2:/etc/hosts上述修改完成后，请依次重启三台虚拟机：重启命令：reboot1.关闭防火墙（三台都

2020-10-13 15:02:18 132

原创 java代码通过连接池连接mysql数据库的两种方式

-----两个依赖 <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-dbcp2</artifactId> <version>2.7.0</version

2020-10-08 21:01:20 197

原创 java代码连接mysql的两种方式

方式1package com.shujia.mysql;import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;public class MsyqlTest2 { public static void main(String[] args) throws Exception { //1.反射记

2020-10-07 11:19:52 136 2

原创通过Spring boot编写数据查询接口-----练习题

准备：在mysql中准备两张表，student表存学生信息的，score表存学生的各科成绩studnet表score表例题：一、通过班级名称查询班级人数（要求加入缓存，这里缓存用的数据库是redis） 1.写了一个工具类，连接mysql数据库package com.shujia.util;import java.sql.Connection;import java.sql.DriverManager;/** * 这是连接数据库的工具类 */public class JDBC

2020-09-27 17:13:45 939

原创 linux系统里redis单节点安装

一、配置阿里云yum源(因为下载那个编译器是在国外的网站下载，所以很慢，这里配置阿里云，下载会很快) 下载配置文件 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo 生成缓存 yum makecache二、安装redis 1、安装依赖 yum install -y gcc-c++ gcc tcl2.上传压缩包并解压将压缩包上传到/usr/local/sof

2020-09-26 11:17:49 152

原创 Mysql数据库中存大量数据--------索引和缓存

一、mysql数据库中存储大量数据的问题 1.创建一个连接数据库的工具类package com.shujia.util;import java.sql.Connection;import java.sql.DriverManager;/** * 这是连接数据库的工具类 */public class JDBCUtil { private static Connection conn; static { try { Class.forN

2020-09-25 22:21:59 512

原创通过Spring boot 使用面向接口实现查询mysql数据库中user的登录注册------自己模拟实现了数据接口

一、在idea中创建一个meven项目 1.导入一个mysql的数据库的依赖<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <

2020-09-25 19:36:15 238

原创 linux学习day08----mysql03

1.子查询：以select语句最为结果进行再次select2.分组Top1 格式1：select * from student where age in (select max(age) from student group by sex); 格式2：select * from student as s where age=(select max(age) from student where sex=s.sex)3.分组Top34.mysql三大范式（1）原子性字段不可在分

2020-09-23 22:29:04 112 1

原创 linux学习day07----mysql02

1.修改表添加列：格式：alter table 表名 add 字段删除列：格式：alter table 表名 drop 字段修改列： modify:创建一个新的字段去覆盖原来的字段，只能修改属性 alter table 表名 modify 创建字段 change:可以修改属性，可以修改名称格式：alter table 表名 change 旧字段名称字段名称属性例如：修改名称 alter table student ch

2020-09-23 11:31:47 50

原创 linux学习day06----mysql(01)

1.登录MySQL 格式：mysql -u用户名 -p密码2.数据库的操作查看数库：show databases; 创建数据库：create database 库名查看建库语句：show create database 库名删除数据库：drop database 库名为了避免存在还创建后者没有还删除，可以加上前提条件例如：create database if no exists 库名；不存在才创建 drop database if exists 库名；存在才删除

2020-09-23 10:02:06 33

原创 linux安装MySQL的步骤

1.首先需要将以下两个压缩包上传到虚拟机中，用到的是两个远程连接工具两个压缩包2.离线安装 1°、查看mysql的依赖 rpm -qa | grep mysql 2°、删除mysql的依赖 rpm -e --nodeps `rpm -qa | grep mysql`或者 rpm -e --nodeps `rpm -qa | grep MySQL` 3°、离线安装mysql（cd 到mysql安装包目录下） rpm -ivh MySQL-server-

2020-09-23 09:28:53 100

原创 linux学习day05----shell编程2

1.if语句判断条件： 1.使用test进行判断，用于检测结果是否正确 2.使用[]，符号和符号表达式都可以使用，如果使用的符号需要加上转义符注意：符号和[]两边需要加空格 3.使用[[]]，符号和表达式都可以使用注意：符号和[]两边需要加上空格 4.使用(())，只能使用符号注意：符号和[]两边不需要加空格格式1：if 判断条件 then 执行语句 fi 格式2：if 判断条件

2020-09-22 22:56:27 72

原创 linux学习day04---shell编程

1.Shell编程：提供了一个界面来进行操作创建Shell编程文件后缀为.sh的文件编写：文件头部为#!/bin/bash或#!/bin/sh或不写，建议写上运行： 1.sh shell脚本例如：sh hello.sh 2.bash shell脚本例如：bash hello.sh 3.修改权限为可执行的，然后./shell脚本(默认是bash) 例如：./hello.sh 变量：动态的数据类型语言，变量不会限制具体的数据类

2020-09-22 21:44:08 89

原创 linux学习day03 ---linux安装jdk和克隆两台虚拟机

一、linux安装jdk 1.查看防火墙有没有关闭：service iptables status 防火墙关闭了会显示：iptables:未运行防火墙 2.在/usr/local/下创建soft和moudle soft:用于存放解压之后的目录 moudle:存放压缩包 3.删除linux自带的jdk （1）查找 rpm -qa | grep java （2）删除 rpm -e java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64 --nod

2020-09-22 20:32:01 217

原创 linux学习day02----linux基本命令2

1.权限：通过ll命令查看例如：-rw-r--r--. 1 root root 25 9月 12 11:20 data -rw-r--r--：分为四部分 -：第一个字符或符号是一部分，表示是什么样的内容 rw-:表示读写执行的操作，r表示读,w表示写，x表示执行 -表示没有root用户 r--:表示读写执行的操作，r表示读，w表示写，x表示执行，-表示没有root组 r--:表示读写执行的操作，r表示读，w表示写，x表示执

2020-09-22 19:48:10 75

空空如也

空空如也