- 博客(86)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 spark连接hive
spark连接hive: shell窗口下：将core-site.xml、hdfs-site.xml、hive-site.xml复制到spark下的conf目录下，如果需要其它第三方包支持的，将第三方包放置jars下，例如：lzo压缩包，如果core-site.xml配置了相关lzo相关压缩，则将lzo的jar放置spark目录的jars中，然后重新启动spark-shell即可。...
2022-05-06 21:23:24
1185
原创 错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster
执行hive出现错误，在resourcemanage上找到错误：今天在安装完 hadoop 3.2.1 版本后，执行 MapReduce 操作时，出现错误，提示找不到主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster 。在网上搜索找到解决方法，记录如下：在命令行下输入如下命令，并将返回的内容复制。# hadoop classpath编辑 yarn-site.xml# vim yarn-site.xml...
2022-03-07 15:59:03
8453
原创 虚拟机动态内存扩容
df -h 查看虚拟机的占用内存状态；fdisk -l 查看磁盘分区情况接下来，首先需要关闭虚拟机，然后扩展硬盘区域。扩展硬盘区域如果按钮是灰色的，可以删除快照文件后，再扩展。然后，开启虚拟机。fdisk /dev/sda 进入磁盘硬盘创建分区：n选择主盘：p然后选择好分区以及大小，可以点击回车键按默认往下操作。当磁盘内存起始地址以及内存大小划分好后，输入t，选择磁盘分区的类型：82,然后按下w键，保存。此时，再输入 fdisk -l 就能看到你创建.
2022-03-04 15:37:40
1717
1
原创 vscode ~ launch.json配置python
配置文件内容{ // Use IntelliSense to learn about possible attributes. // Hover to view descriptions of existing attributes. // For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387 "version": "0.2.0", "configurations": [
2021-10-19 13:46:01
10221
原创 conda-常用命令
conda常用命令：查看版本号1、conda --version2、conda -V获取帮助3、conda --help4、conda -h更新、删除conda update --helpconda remove --help环境管理conda env -h创建环境conda create --name your_env_name查看资源conda list列举当前所有环境conda info --envsconda env list进入某个环境acti
2021-09-18 17:15:45
139
原创 conda 常用命令
conda常用命令：查看版本号1、conda --version2、conda -V获取帮助3、conda --help4、conda -h更新、删除conda update --helpconda remove --help环境管理conda env -h创建环境conda create --name your_env_name查看资源conda list列举当前所有环境conda info --envsconda env list进入某个环境acti
2021-09-15 18:17:37
142
转载 Visual Studio Code配置C、C++运行环境
Visual Studio Code配置C、C++运行环境 - 简书Visual Studio Code配置C、C++运行环境 - 简书
2021-09-10 12:50:16
124
转载 tensorflow安装
一：安装Anaconda和Tensorflow步骤：1：从官方网站下载Anacondahttps://www.anaconda.com/download/2：进行软件安装（这个和普通的没什么特别区别）注意一点：3：安装完成Anaconda之后进行环境变量的测试进入到windows中的命令模式：（1）检测anaconda环境是否安装成功：conda --version（2）检测目前安装了哪些环境变量：conda info --envs（3）对于Anaconda中安装一个内置的p
2021-09-03 12:58:58
1332
转载 list中负数在切片中的含义
a = list(range(10))print(a[::]) #复制一个列表print(a[::2]) #每隔2个取一次print(a[::3]) #每隔3个取一次print(a[::-1]) #表示反转字符串print(a[::-2]) #表示反转字符串,每隔2个取一次print(a[::-3]) #表示反转字符串,每隔3个取一次#由此得知最后一个位置参数表示间隔数print(a[-1::]) #-1表示倒着取1个print(a[-2::]) #-2表示倒着取2个print(a.
2021-06-21 17:02:56
277
原创 python中os模块的api
os.remove() #删除文件os.rename() #重命名文件os.walk() #生成目录树下的所有文件名os.chdir() #改变目录os.mkdir/makedirs() #创建目录/多层目录os.rmdir/removedirs #删除目录/多层目录os.listdir() #列出指定目录的文件os.getcwd() #取得当前工作目录os.chmod() #...
2020-10-20 10:29:17
451
转载 使用客户端等远程连接mysql数据库及php安装配置
虚拟机：https://blog.csdn.net/pyrans/article/details/82389220navicat远程连接mysqlhttps://www.cnblogs.com/liyafei/p/8335099.htmlwindow下开启远程连接：https://blog.csdn.net/c1481118216/article/details/53053036/安装mysq、apach、php：https://blog.csdn.net/galen2016/a
2020-09-22 20:23:08
128
转载 Secondary NameNode:它究竟有什么作用？
https://blog.csdn.net/xh16319/article/details/31375197
2020-08-23 10:18:35
167
原创 hadoop各版本，可直接下载
地址：https://archive.apache.org/dist/hadoop/common/此地址下有hadoop各版本，可直接下载。
2020-08-09 13:03:55
185
转载 面对犟人
这世界上有一类特别执拗的人，也就是那些俗话说的很犟的人。在他们的思维模式中，任何事情的处理都有固定的方式，不那样就不行。跟他们打交道，要有适当的方法，否则会特别费劲。作为普通人，当我们在日常交往中遇到了特别固执、不易变通的人时，就要启动“犟人”应对模式，冷静应对。首先，面对“犟人”，要多听少说。固执的人，通常因为掌握了某些事实、经验、信息，所以对自己的结论、方法特别自信。因此，他们的意见里，合理的部分通常是存在的。我们若能放下争执、辩论、争胜的心态，通过认真的倾听，不但能融洽双方的关系，还能从他们那里
2020-06-10 18:59:30
1489
转载 python中的赋值、深拷贝、浅拷贝
1.赋值: 只是复制了新对象的引用，不会开辟新的内存空间。 2.浅拷贝: 创建新对象，其内容是原对象的引用。 浅拷贝有三种形式：切片操作，工厂函数，copy模块中的copy函数。 如： lst = [1,2,3,[4,5]] 切片操作：lst1 = lst[:] 或者 lst1 = [each for each in lst] 工厂函数：lst1 = list...
2020-03-29 19:23:18
139
原创 pyinstaller 打包python文件
第一步:安装命令：pip install pyinstaller第二步:将文件python.ico图标 和 p.py 文件放在同一个目录下，最好放在一个独立的文件夹下第三步:切换目录到第二步所放文件的目录：命令行的一些使用命令1、windows + R 打开命令行工具2、chdir 查看当前路径3、dir 查看当前目录下的文件和文件夹4、cd .. 后退5、c...
2020-03-19 21:29:07
253
原创 全分布式系统搭建使用的一些命令
centos7:查看ip:ip addrnmtui调出命令窗口：nmtui修改，将ipv4显示；重启网卡服务：service network restart上传文件： /rz修改主机名：vim /etc/hostname=======================================修改为静态ip：cd /etc/sysconfig/network-scr...
2020-03-08 13:54:36
168
原创 洛谷题目-去除测试数据多余符号
去除 xx.in xx.out 数据中多余的空格等冗余符号 所使用的命令：sed -i 's/\r//g' *.in
2020-02-13 10:18:23
344
原创 cents 7.0命令
常用命令centos7的网卡重启方法：systemctl restart network关闭防火墙:systemctl stop firewalld.service禁止开机启动:systemctl disable firewalld.service开启 sshd 服务: systemctl restart sshd查看版本：cat /etc/redhat-release...
2019-11-16 18:14:54
200
转载 Python常用模块学习 - time、datetime、os、sys、random、shutil
目录一、time模块：与时间相关功能二、datetime 模块：时间处理模块三、random：随机数模块3-1 random - 生成随机整形和字符，指定位数3-1 random + string - 生产随机整形+字符，随机位数四、sys 模块：python解释器系统相关模块，多用于脚本编写4-1sys模块实例 - 打印进度条五、shutil 模块：简化文件操作...
2019-09-09 11:16:34
332
原创 c++ 连续输入带空格字符串
#include <iostream>#include <stdio.h>#include <string.h>using namespace std;int main(){ char c; char arr[100]; cin>>c; char h = getchar();//输入回车 //printf("%d\n",h)...
2019-08-12 12:43:16
745
转载 C++中的输入
读取函数 gets fgets scanf getline cin 所用时间 72ms 76ms 960ms 2189ms 2275ms 我...
2019-08-12 11:00:58
467
转载 动态规划--台阶问题
有一座高度是10级台阶的楼梯，从下往上走，每跨一步只能向上1级或者2级台阶。要求用程序来求出一共有多少种走法。如果每次走1级，需要走10步，结果可以表示成（1,1,1,1,1,1,1,1,1,1）；如果每次走2级，需要走5步，结果可以表示成（2,2,2,2,2,）；思考一下，你还能写出几种……那么，共有多少种走法呢？我们可以这样想，假设我们现在还有最后一步要走，可能...
2019-07-18 16:10:56
589
转载 放苹果问题（组合数学经典）
【问题描述】把M个同样的苹果放在N个同样的盘子里，允许有的盘子空着不放，问共有多少种不同的分法？（用K表示）5，1，1和1，5，1 是同一种分法。【输入】第一行是测试数据的数目t（0 <= t <= 20）。以下每行均包含二个整数M和N，以空格分开。1<=M，N<=10。【输出】对输入的每组数据M和N，用一行输出相应的K。【问题分析】放苹果的问题...
2019-07-18 16:07:46
9052
3
原创 python面试考题精华集中整理
面试题一：写出python的10个内置函数：len()sum()min()abs()bin()range()pow()str()list()tuple()set()filter()eval()dict()del()bool()oct()open()--------------------------------------------------------...
2019-06-02 20:01:07
1264
原创 python中的IO与os模块
文件IO：1、文件读取file.readline()if __name__ == "__main__": with open("text1","r+") as file: lines = "" while True: lines= file.readline() print(lines) ...
2019-06-02 19:54:44
628
原创 python2和python3的区别
python2和python3的区别：1、通过input()解析用户的输入：（Python3中input得到的为str；Python2的input的到的为int型，Python2的raw_input得到的为str类型）统一一下：Python3中用input，Python2中用row_input，都输入为str；2、Python3中/表示真除，%表示取余，//表示地板除（结果取整）；Pyth...
2019-06-01 10:07:16
157
原创 python中的函数def
python中的函数1、关键字参数def fun(weigh,person,heigh)print("身高%f"%heigh)print("体重%f"%weigh)print("人%s"%person)fun(weigh=10,heigh=20,person="denglihua")2、def fun(weigh,heigh,person="dengl...
2019-05-31 11:28:54
9021
原创 python中re模块
正则表达式:re模块obj = re.math(pattern,string,re.I) #匹配满足以开头的obj.span()obj.stringobj.start()obj.end()obj.group()re.search(pattern,string,re.I) #匹配满足条件的，re.findall(pattern,string,re.I) #返回listre.s...
2019-05-30 13:52:40
151
原创 python中的str
python中的字符串：字符串的常用操作：字符串的替换str.replace(str1,str2)切割、拼接、split()/join()判断大写、小写、是否含有数字、islower()/isupper()/isdigint()/startswith()/endswith()转换：大写、小写、首字母大写、计算长度lower()/upper()/len()字符串的截取跟list...
2019-05-30 13:23:12
2436
原创 python中的集合set
集合：set特点：无序，不可重复元素唯一，可更改；【针对有序和无序来讲，有序有索引，无序没有索引】集合的交集、差集、并集交集：|并集：&差集：-创建集合更好使用set(list)进行创建集合可以进行添加/删除/remove(value)add(value)pop()清除所有元素:clear...
2019-05-30 12:26:52
76
原创 python数据结构字典 dict
字典：特点：无序，键值，键必须唯一，键不可变字典的创建两种：dictionary = {key:value,key:value...}dictionary = dic(key=value,key=value...)*映射函数创建字典：dictionary = dict(zip(list1,list2))创建值为空的字典：dictionary = dict.fromkeys(list...
2019-05-30 12:07:43
123
原创 python元组tuple
元组:tuplet1 = ("nihao",)注意事项：只有一个数据的时候需要加一逗点;t1 = ("nihao") 表示一个字符串;size = width,height = 200,400元组与列表的区别：元组不可更改，列表可以更改;元组与列表的操作类似;列表与元组之间可以进行相互转换;t1 = tuple(li)li1 = list(t1)...
2019-05-30 11:24:12
88
原创 python数据结构-list
列表：li = list(range(10,20,2))li2 = list(range(20,40,2))li.extend(li2)--------for index,item in enumerate(li): print(index,item)--------删除元素del li[index]remove(value)删除列表 del li判断元素出现的次...
2019-05-30 10:20:45
191
原创 redis数据库总结梳理
redis==================================最大能存储512MB数据开启服务：service redis start==================================数据类型：stringsetzsethashlist==========================================作为缓存的中间件，性能...
2019-05-30 10:19:27
97
原创 mysql知识总结梳理
drop、truncate、delete、sql的三范式====================================================================================================1、SQL语句优化1）应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。2）应尽...
2019-05-29 13:40:24
130
原创 python模块时间日期、math、random模块梳理
python常用模块：时间、日期模块：time时间戳时间格式化时间的数据类型datetime：获取年月日小时分钟秒等数据格式化日期------------------------------------------------------随机数模块:random随机整数随机小数随机字符随机奇数打乱列表中的顺序随机选择列表中的一个数据--------------...
2019-05-27 08:35:36
132
原创 python中的随机数以及验证码生成
#coding:utf-8import randomif __name__ == '__main__': print(random.randint(1,100)) #随机整数 print(random.random()) #大于0小于1的小数 print(random.uniform(0,0.1)) print(random.uniform(1,100))...
2019-05-27 08:20:25
378
原创 python时间模块总结
#coding:utf-8import timeimport datetimeif __name__ == "__main__": print(time.time()) #时间戳 print(time.gmtime()) print(time.localtime(time.time())) #对当地时间的封装 print(time.ctime(ti...
2019-05-27 07:53:00
105
原创 Linux基础
1、Linux基础整理：/根目录 /home 你其实是在告诉电脑，先从/（根目录）开始，再进入到home目录。文件目录的各个作用：/home 系统默认的用户目录etc/ 系统配置文件存放的地方bin/ 可执行二进制文件的地方lib/ 安装/tmp 临时文件/root 系统管理权限/usr ...
2019-05-26 20:56:53
75
api-ms-win-crt-process-l1-1-0.dll
2020-05-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人