- 博客(57)
- 收藏
- 关注
RSS订阅
原创 python、oracle、linux、mysql、大数据及其它内容学习导航站
本导航站汇聚本博主所有python、oracle、linux、mysql、大数据及其它学习原创内容，励志将50篇归为一类，该导航站方便大家收藏查看。一、pythonpython-利用python写一个购物小程序 python-学习脚本一&&python翻转字符串脚本 python-导入selenium包报错 line 21, in do_import module = self._system_import(name, *args, **kwargs) —亲测有效 pyth.
2020-10-28 10:31:02
224
2
原创 大数据-安装sqoop1.4.7-并记录利用sqoop将mysql数据导入到hive的详细过程---内含hive查询hdfs的原理研究
一、场景描述 上一篇博客研究了不用sqoop将mysql中的数据导入到hive中，发现有一定的局限性，数据量较少还好，要是数据表过多，就显的很繁琐，所有我想简化这个步骤，利用sqoop来导入。 毕竟sqoop（SQL-to-Hadoop）是前辈们专门研究出来的，用于关系数据库与非关系数据库之间做数据传输的。 因为我的hadoop环境是自己安装的，目前还没有sqoop环境，所以我需要先安装sqoop环境，下面做一个详细的介绍，从sqoop的安装，...
2021-02-19 15:33:29
761
原创 大数据-hive-记录一次不用sqoop将mysql库的数据导入到hive库中
一、场景描述 公司需要的一些数据是自己收集的，收集的时候存储在mysql中，现在需要将mysql中的存储的数据导入到hive库中。 网上查看教程找到很多的导入方式都报错，描述最多的是sqoop导入。Sqoop（SQL-to-Hadoop）：主要用于传统数据库和hadoop之间的传输数据。 但是hive环境是我自己搭建起来的，还没有安装sqoop，安装又会浪费大量的时间，所有思考能不能不通过sqoop将mysql中的数据导入到hive中。二、导入过程 将mys...
2021-02-18 14:40:11
609
原创 大数据-hive创建表出现中文乱码问题-解决过程详解
一、场景描述1、创建表语句：hive> create table movie02( userID int comment '用户ID', movieID int comment '电影ID', rating int comment '电影评分', timestamped bigint comment '评分时间戳', movieName string comment '电影名字', movieType string commen...
2021-02-02 17:17:49
2319
原创 大数据-hive操作实例详细过程讲解（包括建表、创造数据txt文件、将文件数据加载到hive表中）
一、建表语句 create table pt_log_20210202(id int, name string, pass string, mail string, nickname string) row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile;代码说明：这段代码在hive>中执行，create后面是基本的sql语...
2021-02-02 14:04:59
2811
1
原创 mysql-记录一次Navicat连接linux中mysql踩过的坑
一、场景描述 在用navicat连接linux服务器端的mysql时，连接失败，所以网上查找各种资料，先给mysql授权，使所有ip都可以访问，下面是授权过程： 1、进入mysql命令：mysql -uroot -proot 2、进入mysql数据库：usemysql； 3、授权：grantallprivilegeson*.*to'root'@'%'identifiedby'root'with...
2021-01-21 11:36:53
250
原创 windows-在windows系统中连接同一个wifi局域网，可以ping通网关，ping不同ip地址解决办法
一、场景描述 电脑1（ip：192.168.31.100）和电脑2（ip：192.168.31.115）连接同一个wifi，我想要互相连接时，发现连接不通， 开始利用ping命令检测问题。（注意，两台电脑的防火墙都是关闭的） 这个时候，我用 电脑2 ping电脑1 （ ping 192.168.31.110 不通） 发现ping不通，于是我用电脑1ping网关，（ ping 192.168.31....
2021-01-19 15:26:40
12588
4
原创 mysql-删除数据库时报错ERROR 1008 (HY000): Can‘t drop database ‘studyfunction‘； database doesn‘t exist
一、问题描述在linux系统的mysql中，当我删除已经存在的数据库studyfunction时，报错studyfunction这个数据库不存在，可是我 show databases；发现这个数据库明明存在。网上查找了各种原因没有找到解决的办法，于是我分析了一下产生这个问题的原因：我之前修改了mysql区分大小写，才出现的的这个问题，所以我猜测，当我设置了不区分大小写，大写的studyfunction这个数据库底层逻辑被修改了，所以找不到它解决办法： 先exit退出mysql，然...
2020-12-29 10:24:18
6841
4
原创 linux-查看docker下某镜像的目录结构与文件
一、查看docker下所有镜像id查看镜像id命令：docker ps -a启动镜像某镜像命令：docker start 该镜像id二、查看docker下正在运行的镜像id查看正在运行的镜像id命令：docker ps容器交互，进入该镜像的目录结构命令：docker exec -it 该镜像id /bin/bash...
2020-11-17 11:37:50
3575
2
原创 linux-shell脚本-获取虚拟机的基本信息-内含文档处理思路
一、场景描述在工作过程中，需要知道虚拟机的相关信息，比如主机名、IP地址、物理地址、子网掩码、网关、DNS服务器IP地址信息。一个一个查询比较麻烦，所以想到写个shell脚本一键获取二、获取脚本话不多说，下面附上查询代码#!/bin/bash#author luhongwu#学习脚本案例显示系统使用的以下信息：#主机名、IP地址、物理地址、子网掩码、网关、DNS服务器IP地址信息IP=`ifconfig eth0 | head -2 | tail -1 | awk '.
2020-11-09 10:35:55
554
原创 linux-shell脚本获取24小时内被修改的文件
for file in $(find ./ -type f -atime -1) #寻找文件do mv ${file} ${file}.accessed #加后缀 mv ${file}.accessed /home/shell_study/accessed/ 转存到指定文件夹done获得24小时内被修改过的文件名字，然后把这些名字统一都加后缀”accessed”，存入到另外一个文件中去注意：这个代码不要随便执行，如果你修改了linux系统文件，它也会转存到指定文件夹，会导致..
2020-11-06 11:28:53
1412
原创 linux-shell脚本-利用shell函数计算两数之和--思考return原理
一、错误代码实例在shell脚本的学习过程中，遇到定义一个带有return语句的函数，来计算两数之和，代码如下：#!/bin/bashfunWithReturn(){ echo "这个函数会对输入的数字进行相加运算" echo "输入第一个数字:" read num1 echo "输入第二个数字:" read num2 return $(($num1+$num2))}funWithReturnecho "输入的两数之和为$?!"保存退出后，执行sh test.sh发现，输
2020-11-05 17:28:19
8503
9
原创 linux-linux系统中部署多个服务器的nginx负载均衡-亲测有效
一、编辑nginx.conf文件1、修改nginx.conf文件进入conf文件夹，cd/usr/local/nginx/conf编辑nginx.conf，vimnginx.conf，#keepalive_timeout 0;keepalive_timeout 65;#gzip on; upstream ropservs{ip_hash;server ...
2020-10-23 09:59:34
979
5
原创 oracle-将.dmp文件导入linux服务器下的oracle数据库中-方式二&&利用Windows自带的命令行导入（推荐）实例-亲测有效
一、利用Windows自带的命令行导入（推荐）注意：这种方式需要用到oracle客户端，在cmd窗口执行代码，如果没有配置环境变量，需要进入oracle客户端的安装目录中执行，下面会介绍详细方式1、以管理员方式登录plSQL 注意：oracle数据库的管理员账户一般为sys，忘记登录密码，不知道如何登录，的请查看下面这个链接有详细服务器端修改密码方式：https://blog.csdn.net/weixin_47055922/article/details/1090474192、在...
2020-10-15 15:02:20
1948
9
原创 oracle-将.dmp文件导入linux服务器下的oracle数据库中-方式一&&利用plSQL工具导入（不推荐）&&遇到的问题及解决办法&&实例-亲测有效
注意：有两种方式导入，利用plSQL工具导入（不推荐）以及利用Windows自带的命令行导入，下一篇将介绍利用Windows自带的命令行导入，附上链接：一、利用plSQL工具导入（不推荐）1、以管理员方式登录plSQL 注意：oracle数据库的管理员账户一般为sys，忘记登录密码，不知道如何登录，的请查看下面这个链接有详细服务器端修改密码方式： https://blog.csdn.net/weixin_47055922/article/details/10...
2020-10-15 14:52:55
240
原创 oracle-导出linux中服务器下oracle数据库为.dmp文件&&安装oracle客户端&&遇到的问题及解决方式&&实例-亲测有效
一、详细步骤1、安装Oracle客户端，下面是安装连接。 （注意：需要安装exp导出工具版本与数据库服务器端exp版本一致的Oracle客户端，否则会出问题，下面会有介绍） https://blog.csdn.net/li1325169021/article/details/849359932、找到oracle客户端中的exp.exe执行文件 实例：D:\app\Admin\product\11.2.0\client_1\BIN\3、进入cmd窗口 执行：win...
2020-10-13 17:27:59
547
原创 linux-修改docker容器下的oracle_11g管理员的用户名密码&&对oracle用户进行授权处理-亲测有效
一、修改oracle_11g管理员的用户名密码1、查看docker容器开启的oracle进程id命令：docker ps[root@localhost ~]# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS ...
2020-10-13 11:21:35
3851
原创 windows-远程控制电脑操作&&开启虚拟wifi
一、环境说明有两台电脑，另外一台没有鼠标或者不方便操作时，可以使用该远程控制的方法对另外的那台电脑进行操作二、开启虚拟wifi 在开始菜单上右击，选择“命令提示符（管理员）（A）”，以管理员身份运行cmd命令提示符。 在命令提示符输入：netsh wlan set hostednetwork mode=allow ssid=xuniWIFI key=123456，回车执行命令。（当然，你可以直接复制命令，然后Ctrl+V粘贴到win10命令提示符中，因为win10支持命令.
2020-10-12 17:27:36
837
原创 linux-增加Linux上的打开文件限制-亲测有效
一、说明Linux上的每个进程都有几个相关的限制，例如它可以同时打开的最大文件数。您可以通过运行以下命令找出当前打开的文件限制ulimit -Sn # soft limit; can be raised up to the hard limitulimit -Hn # hard limit要查看所有限制，请运行ulimit -Sa # soft limitsulimit -Ha # hard limits调整这些限制的方式取决于特定的Linux系统（例如，是否基于syst
2020-10-12 16:46:26
178
2
原创 linux-linux常用命令补充&&附予权限命令&&压缩与解压缩命令
一、授权命令：chmod 777 test.sh 或： chmod +x test.sh二 、压缩与解压缩命令1.压缩命令： 压缩成 .tar.gz文件 命令格式：tar -zcvf 压缩文件名.tar.gz 被压缩文件名 实例： tar -zcvf test1.conf.tar.gz test1.conf 压缩成 .zip文件 命令格式：zip -q -r 压缩包名.zip 目录/文件名 ...
2020-10-12 16:28:25
151
1
原创 linux-linux系统中crontab定时执行shell脚本-实例-亲测有效
一、定时执行shell.sh脚本1、环境描述：在 /home/software/shellfile目录下，本人编写有shell.sh脚本，2、手动执行命令：sh /home/software/shellfile/shell.sh>> /home/software/shellfile/test.log 或 ：sh /home/software/shellfile/shell.sh> /home/software/shellfile/...
2020-10-12 16:13:43
792
原创 linux-linux系统下离线安装nginx（1.13.9）最详细教程&&附下载链接&&安装过程中出现的问题及解决方法-亲测有效
一、nginx（1.13.9）离线安装包下载链接：https://pan.baidu.com/s/1gvhWTZREBQjEJMMIntjvWQ提取码：j6vr二、离线安装nginx（1.13.9）注意：linux版本最好在3.10.0以上，因为我在3.10.0-1062.18.1.el7.x86_64上面安装的，但是在2.6.32-431.el6.x86_64这个低版本上面安装会产生各种各样的错误，最主要的会出现/lib64/libc.so.6: version `GLIBC_2...
2020-09-23 17:24:59
1552
原创 python-利用python写一个购物小程序
一、shopping思路打印商品内容 引导用户选择商品 验证输入是否合法 将用户选择商品通过choice取出来 如果钱够，用本金saving减去该商品价格 将该商品加入购物车 循环遍历购物车里的商品，购物车存放的是已买商品product_list=[ ('Mac电脑',9500), ('windows电脑',800), ('法拉利',8800000), ('python入门教程',100), ('华为',6000),]saving=inpu
2020-09-16 14:48:47
3448
1
原创 大数据-什么是Kafka？&&Kafka的基本概念&&Kafka指令及数据同步&&Kafka和MQ的区别&&什么是零拷贝
一、什么是Kafka一、概述Kafka是发布订阅模式的消息队列 Kafka是由LinkedIn（领英）公司开发后来贡献给了Apache的消息队列 Kafka的特征： 发布和订阅消息流 在存储消息流的时候要提供容错机制 当数据流出现的时候能够及时处理 Kafka的应用场景： 能够在系统或者应用之间构建可靠的数据传输的实时流管道 能够构建一个转化或者应对数据流的实时流应用 Kafka是利用了Scala语言构建的，Scala天然支持并发和吞吐，保证Kafka的并发量和吞吐
2020-09-15 10:49:56
1626
2
原创 python-学习脚本一&&python翻转字符串脚本
一、翻转字符串defreverseWords(input): # 通过空格将字符串分隔符，把各个单词分隔为列表 inputWords=input.split(" ") # 翻转字符串 # 假设列表 list = [1,2,3,4], # list[0]=1, list[1]=2 ，而 -1 表示最后一个元素 list[-1]=4 ( 与 list[3]=4 一样) # inputWords[-1::-1] 有三个参数 ...
2020-09-14 14:14:55
1168
原创 OrientDB创建扩展类时报错
一、OrientDB创建扩展类时报错你可以使用下面的命令创建一个类Car，扩展到类Vehicle。orientdb {db=demo}> create class Car extends VehicleError:com.orientechnologies.orient.core.exception.OCommandExecutionException: Class Car already existsDB name="demo"DB name="...
2020-09-14 14:04:15
1261
原创 OrientDB优化数据库时报错
一、OrientDB优化数据库时报错将规则边转换为轻量边时报错：orientdb {db=demo}> optimize database -lwedgesDatabase optimized inError: java.util.IllegalFormatConversionException: f != java.util.ArrayListOrientDB插入记录让我们考虑具有以下字段和类型的Customer表。 编号 字段名称 .
2020-09-14 14:02:16
1264
原创 mysql-mysql学习详记四&&mysql多表查询&&关键字执行顺序&&mysql内置函数&&其它注意事项
一、mysql多表查询1、多表查询案例：首先创建表 并插入数据 create table dept( id int primary key auto_increment, name varchar(20) ); insert into dept values(null, '财务部'); insert into dept values(null, '人事部'); insert into dept values(null, '科技部');
2020-09-09 14:44:09
4893
原创 mysql-mysql学习详记三&&数据库的备份及恢复&&多表设计&&外键约束
一、mysql数据库的备份及恢复备份数据库表中的数据cmd> mysqldump -u 用户名 -p 数据库名 > 文件名.sqlmysqldump -uroot -p db_name > d:/1.sql恢复数据库（注意：如果数据库已经删除，先创建数据库再恢复数据。）方式一: 在cmd中:mysql –u 用户名 -p 数据库名 < 文件名.sqlmysql -uroot -p db_name < d:/1.sqlmysql -uroot .
2020-09-09 14:18:13
2403
原创 mysql-mysql学习详记二&&什么是CRUD？数据库的CRUD&&增加、删除、修改、查询
一、什么是CRUD？CRUD既mysql数据库的增加删除修改删除。Insert语句 (增加数据)、Update语句 (更新数据)、Delete语句 (删除数据)、Select语句(查找数据)二、Insert语句 (增加数据)使用 INSERT 语句向表中插入数据。INSERT INTOtable_name [(column [, column...])] VALUES(value [, value...]);插入的数据应与字段的数据类型相同。 数...
2020-09-09 10:28:10
3186
原创 mysql-mysql学习详记一&&什么是mysql数据库？&&sql语句及库表操作&&数据库的CRUD
一、什么是mysql数据库1、数据库的概念数据库: 存储数据的仓库数据库类型：层次式数据库, 网络式数据库, 关系型数据库2、关系型数据库使用关系模型来存储的数据的数据库叫做关系型数据库。3、常见数据库商业数据库：Oracle、SQLServer、DB2、Sybase开源数据库：MySQL、SQLLite、orientdb4、MySQL数据库的安装和配置参考上一篇文章mysql-mysql在Windows系统安装详细步骤&&mysql在linux系统.
2020-09-08 15:23:01
3739
原创 mysql-mysql在Windows系统安装详细步骤&&mysql在linux系统的安装详细步骤
一、mysql在Windows系统安装详细步骤网上有很多，靠谱的很少，下面附上我亲自安装体验过的几个链接，仅供参考：https://blog.csdn.net/shenkeding9350/article/details/84889562https://blog.csdn.net/bobo553443/article/details/81383194二、mysql在linux系统的安装详细步骤一、安装步骤1、确认当前虚拟机之前是否有安装过mysql查看linux安装过的.
2020-09-08 14:33:55
2866
原创 大数据-什么是Hive？&&Hive中ETL的实战&&HQL介绍&&数据仓库的特征&&Hive的适用场景
一、什么是Hive？1、Hadoop开发存在的问题只能用java语言开发，如果是c语言或其他语言的程序员用Hadoop，存在语言门槛。需要对Hadoop底层原理，api比较了解才能做开发。2、Hive概述Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现MapReduce统计，不必开发专门的MapReduce应用，十分适合数据
2020-09-02 09:53:00
5647
原创 大数据-什么是hbase？&&hbase的行存储及列存储&&关系数据库和非关系型数据库的优劣
一、什么是HBASE？HBASE是Apache提供的基于Hadoop的、分布式的、可扩展的、能够存储大量数据的非关系型数据库 基于Google的论文《BigTable》设计实现 区别于传统数据库的行存储，HBASE是面向列进行存储，底层基于Key-Value结构存储 HBASE能够提供低延迟的数据查询能力，其原因是底层充分利用了缓存机制以及复杂的数据结构和算法来实现二、HBASE的行存储和列存储行存储在磁盘上的存储是连续的；列存储在磁盘上的存储是不连续的 从写入性能上对比，写入次数
2020-09-01 15:02:32
2700
原创 linux-linux常用命令总结四&&linux压缩、打包、解压命令&&软件安装管理rpm及yum的使用
一、压缩和打包概念压缩：指通过某些算法，将文件尺寸进行相应的缩小，同时不损失文件的内容。打包：指将多个文件（或目录）合并成一个文件，方便传递或部署。在Linux系统中，文件的后缀名不重要，但是针对于压缩文件的后缀名是必须的，因为可以让其他的程序员根据文件的后缀名使用对应的算法进行解压。Linux常见的压缩文件后缀名： *.gz gzip程序压缩的文件 *.bz2 bzip2 程序压缩的文件 .
2020-09-01 11:48:51
2656
原创 linux-linux常用命令总结三&&什么是vim&&vim三种模式&&vim常用快捷键
一、什么是VIM是一个类似vi的文本编辑器，不过在vi的基础上增加了很多新特性，vim被公认为类vi编辑器中最好用的一个。为什么要学习VIM，vi不够？vim在vi的基础之上增加了很多的小功能。可以有效的帮助程序员快速的排查问题。很多系统都内建vi编辑器，其他的文本编辑器不一定有，很多软件都会主动调用vi的接口。二、vim的三种模式一般模式、编辑模式、命令模式三、一般模式快捷键 一般模式(默认模式)的快捷键： h或←光标左移一个字符。如果是...
2020-09-01 11:17:40
2283
原创 linux-linux常用命令总结二&&Linux其他网络知识&&远程拷贝以&&远程登录服务器
一、通过主机名查看IP# bashhost www.baidu.com返回的结果中有该域名的IP地址。二、远程拷贝从本机拷贝数据到远程的服务器上要求：必须知道对方的账户和密码，且具备相应的权限。语法：scp [-r] [path]/fie | dir {UserName}@Host_IP:/[path] -r 该选项用于传输文件夹的时候使用。 案例： 将本机的文件拷贝到远程服务器上 # bash sc..
2020-09-01 11:03:52
4921
2
原创 linux-linux常用命令总结一&&和目录相关的常见命令&&忘记密码了怎么办？
一、和目录相关的常见命令与目录相关的命令1 pwd 用于显示当前所在的完整路径 mkdir 用于创建一个目录。 -p 该选项用于创建多级目录。 cd 用于切换目录 | 路径 . 表示当前目录 .. 表示上级(父级)目录 ~ 表示用户的家目录，如果在~跟用户名，就表示要去到该用户的家目录。 "-" 表示与上次所在目录进行切换。 相对路径：相.
2020-09-01 10:49:17
3455
原创 大数据-什么是MapReduce？&&数据本地化&MapReduce原理及执行流程&&Shuffle的调优
一、什么是MapReduce？一、概述MapReduce是Hadoop提供的一套用于进行分布式计算的框架 将计算过程拆分为2个阶段：Map映射阶段和Reduce规约阶段 如图所示： MapReduce在对文件进行计算的时候，会先将文件进行切片，切片和切块不一样，每个切片对应MapTask默认情况下，每一个MapTask在拿到切片之后会进行按行读取按行处理 二、MapReduce的数据本地化二、数据本地化策略当JobTracker收到MR程序的时候，会访问NameNod
2020-08-31 15:58:56
2611
原创 大数据-什么是HDFS？&&HDFS三个进程细节介绍&&HDFS回收站机制&&DFS目录介绍-史上最详细的HDFS干货
一、简介HDFS——Hadoop分布式文件存储系统一、概述全称为Hadoop Distributed File System ，Hadoop分布式文件存储系统 HDFS是根据谷歌的论文：《The Google File System》进行设计的 本身是一个分布式的，可扩展，可靠的文件系统 HDFS中包含三个主要的进程：NameNode，DataNode，SecondaryNameNode。这三个进程一般是分布式不同的主机上，所以一般习惯上是用进程的名字称呼节点二、特点优点： 支持超大
2020-08-28 09:59:43
5130
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人