- 博客(87)
- 收藏
- 关注
RSS订阅原创 【Python】Django使用GraphQL详解
为什么不用RESTRest一次只能请求一个资源，会造成太多的http请求 Rest的版本控制问题是一个痛GraphQL的关键语句query：查询，相当于GET mutation：变化，相当于POST, PUT, DELETE环境搭建win10 Python3.6 pip install django==2.0.1 pip install graphene-django==...
2019-09-27 18:14:01
1085
原创 spark中的println失效问题解决
object PrintUtiltity { def print(data:String) = { println(data) }}它为什么有效？因为Spark认为它正在调用Utility函数而不是调用print函数。Spark显然没有（实际上也没有）检查其效用函数中的每一行。...
2019-08-30 16:11:17
804
原创 mysql清空表命令：delete和truncate区别
mysql清空表可以用delete和truncate两个命令来完成： 1. delete ① 语法：delete from table_name； ② 示例：DELETE FROM `order`; 2. truncate ① 语法：truncate table table_name； ② 示...
2019-08-27 18:42:43
464
原创 Spark入门:从RDD转换得到DataFrame
Spark官网提供了两种方法来实现从RDD转换得到DataFrame，第一种方法是，利用反射来推断包含特定类型对象的RDD的schema；第二种方法是，使用编程接口，构造一个schema并将其应用在已知的RDD上。利用反射机制推断RDD模式在利用反射机制推断RDD模式时，需要首先定义一个case class，因为，只有case class才能被Spark隐式地转换为DataFrame。下...
2019-07-12 17:04:37
900
原创 rdd踩坑总结
1、常用场景（1）场景一：rdd读取指定行分隔符的数据，不以每行为单位例1：配置文件中有n个sql语句，每个sql以分号----分隔。你需要读取sql，分别从hdfs中拉取数据。可能会采取：//conf_sql_map_file 是sql配置文件val sql_rdd = sc.textFile(conf_sql_map_file)var sqls = sql_rdd.collect().mk...
2019-07-12 17:02:43
985
原创 error:value reduceByKey is not a member of Array[(String, Int)]
Scala报错value reduceByKey is not a member of Array[(String, Int)]1.原因在于在spark中，使用scala编程时，没有使用pairRDD2.错误代码示例：val book = Array(("spark",2),("hadoop",6),("hadoop",4),("spark",6))val result = boo...
2019-07-12 16:54:56
1809
原创 hive 内部表和外部表的区别和理解
-----------学而不思则罔，思而不学则殆------------1.内部表create table test (name string , age string) location '/input/table_data'; 注：hive默认创建的是内部表此时，会在hdfs上新建一个test表的数据存放地load data inpath '/input/dat...
2019-06-21 17:35:14
226
原创 linux 命令 more less
一、more命令more功能类似cat，cat命令是整个文件的内容从上到下显示在屏幕上。more会以一页一页的显示方便使用者逐页阅读，而最基本的指令就是按空白键（space）就往下一页显示，按b键就会往回（back）一页显示，而且还有搜寻字串的功能。more命令从前向后读取文件，因此在启动时就加载整个文件。1．命令格式：more[-dlfpcsu][-num][+...
2019-04-30 18:34:08
336
原创 有道云Markdown笔记导出PDF
缘由有时候我们发给别人文件的时候，为了方便他人阅览，我们需要把Markdown笔记导出PDF。但是有道云目前并不支持，所以博主经过多方测试后，得到一个最好的方法。就是用Micosoft Print to PDF。步骤1）在我们写好的md文件，右键打印![右键打印]2）选择Micosoft Print to PDF3）打印，另存为。4）测试其他方法...
2019-03-14 13:41:46
1428
原创 Win10如何安装Microsoft Print to pdf打印机
Win10如何安装Microsoft Print to pdf打印机有时候出于需要，会用到Microsoft Print to pdf虚拟打印机，那么在Windows10系统下如何安装虚拟打印机呢？下面就来看看操作方法吧。工具/原料 Windows10 方法/步骤 右键点击Windows10桌面左下角的开始按钮，在弹出菜单中点击设置菜单项 在打开的Win...
2019-03-14 13:36:05
6212
原创 MarkDownPad 2 表格样式修改
在markdownpad2里写一个表格，处理器用了markdown扩展预览边框太难看了，找了半天都没有解决方法，但是网上教程的表格都是下图这种的，请问如何才能不改html才能达到下图这种边框的效就是这一句搞定.table{border-collapse:collapse;}其实最好的是放弃markdownpad2,采用...
2019-03-14 11:09:31
2990
原创 Django 2.0及以上版本的admin无法显示图片问题
Django 2.0及以上版本的admin无法显示图片问题最近在自学Django，使用的是Django 2.0 + Python 3.6 的配置，在写一个上传下载图片应用时遇到了一个问题，就是写好数据库，业务和admin的基本配置时，能看到图片名称，图片却打不开。如图：在这个界面点击图片的链接是Django提示404 not found的，即是找不到图片路径。我的admin很常规：...
2019-03-13 15:35:06
945
1
原创 yarn spark 动态调整队列
1.3 MapReduce版本：hadoop jar app.jar -D mapreduce.job.queuename=root.etl.distcp -D mapreduce.job.priority=HIGH2、动态调整如果是已经在运行中的任务，可以动态调整任务所属队列及其优先级。2.1 调整优先级hadoop1.0及以下版本：hadoop job -set...
2019-03-07 10:44:13
2915
原创 数据库建立索引怎么利用索引查询
数据库建立索引怎么利用索引查询？精选1.合理使用索引索引是数据库中重要的数据结构，它的根本目的就是为了提高查询效率。现在大多数的数据库产品都采用IBM最先提出的ISAM索引结构。索引的使用要恰到好处，其使用原则如下：在经常进行连接，但是没有指定为外键的列上建立索引，而不经常连接的字段则由优化器自动生成索引。在频繁进行排序或分组（即进行group by或order by操作）的列上建立...
2019-03-05 11:32:04
9266
1
原创 设置Jmeter默认中文页面
下载安装好Jmeter后默认的是英文，对于我这种学渣来说简直就是受到了1000000点攻击。所以，如何把英文界面换成中文呢？方法一（从网上看到的）启动Jmeter找到 options 》choose language 》chinese（简体繁体自己选）。这样设置后界面就变成了中文，但是当我们下次打开时又恢复了英文，要再次设置，这样一来就很麻烦。那我们怎么设置默认为中文呢？请看方法二...
2019-03-04 14:55:03
173
原创 python 导入其它目录下的py windows下
由于Python 默认的模块搜索路径限制，我们在其它目录中的模块在 Windows 下的 Python 中无法正常调用。如果是解释器中运行，可以输入以下命令使得 sys.path 包括当前工作目录 import sys sys.path.append('C:\\Users\\your_username\\your_module_path') import your_...
2019-02-28 18:02:32
791
原创 python3----字符串格式化(format)
python3----字符串格式化(format)用法： 它通过{}和:来代替传统%方式1、使用位置参数要点：从以下例子可以看出位置参数不受顺序约束，且可以为{},只要format里有相对应的参数值即可,参数索引从0开，传入位置参数列表可用*列表1 >>> li = ['hoho',18]2 >>> 'my name is {} ,...
2019-02-25 10:57:45
5883
1
原创 djang02.1 ,xadmin
django2.1.5使用xadmin打造适合国人的后台管理系统python做web开发的话，flask、django是比较火的框架了，django是一个比较大的框架，也是一个快速开发利器。但是，django自带的后台admin不太好看，也不太符合我们国人的习惯，因此一个基于bootstrap的后台xadmin诞生了，效果比较适合国内使用。那么今天就来讲怎么用xadmin来作为django的后...
2019-02-22 10:21:26
198
原创 python3,django2.1,xadmin,报错
Django2.1集成xadmin管理后台所遇到的错误集锦，解决填坑django默认是有一个admin的后台管理模块，但是丑，功能也不齐全，但是大神给我们已经集成好了xadmin后台，我们拿来用即可，但是呢，django已经升级到2.1版本了，xadmin貌似跟不上节奏，那么在集成过程中咱就一步一步填坑吧，这也是一种学习的过程，遇到错误，找到错误的地方，看看django最新升级都修改了那些，去...
2019-02-21 18:20:57
498
转载 scala spark 对hdfs文件的操作
1.读取文件打印（获取）HDFS路径下所有的文件名（包括子目录下的）2018-11-20Scala HDFS前言自己有个需求，如题，需要获取HDFS路径下所有的文件名，然后根据文件名用Spark进行后续操作。想了一下用Spark好像不太容易获取到，还要递归的去获取子目录下的文件名，于是查了一下，最后用Hadoop的API搞定，这里记录下，方便以后会用到。1、数据测试路径...
2019-02-13 10:55:24
6419
原创 python list 交集,并集
1 # intersection2 intersection = list(set(a).intersection(set(b)))3 # union4 union = list(set(a).union(set(b)))5 # difference6 difference = list(set(a).difference(set(b)))
2019-01-31 11:08:13
1512
原创 django.db.utils.OperationalError: (1071, 'Specified key was too long; max key length is 767 bytes')；
在使用utf8mb4字符集的情况下，如果列存在索引，那么varchar的最大长度是191数据库版本： 在使用utf8字符集的情况下，如果列存在索引，那么varchar的最大长度是255。 在大字段上创建索引时，有时会碰到下面的错误ERROR 1709 (HY000): Index column size too large. The maximum column s...
2019-01-18 16:19:58
2921
原创 Python 时间字符串
Python 之 时间字符串、时间戳、时间差、任意时间字符串转换时间对象1. 时间字符串 --> 时间戳 1） time 模块timestring = '2016-12-21 10:22:56'print time.mktime(time.strptime(timestring, '%Y-%m-%d %H:%M:%S')) # 1482286976.0 tim...
2019-01-11 18:08:44
1573
原创 Django操作已有数据库的数据
虽然django适合从零开始构建一个项目，但有时候整合原有的数据库也在所难免，下面以django整合我的mysql作说明。mysql数据是我从京东上抓取的数据，数据表名为jd，演示如图下面将jd整合到django中，操作如下1.修改settings.pyroot@iZ28b5osxspZ:/home/jd# vim jd/settings.py...DATABA...
2018-12-25 15:04:27
6292
原创 Django 配置MySQL数据库
在settings.py中配置DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', # 数据库引擎 'NAME': 'mydb', # 你要存储数据的库名，事先要创建之 'USER': 'root', # 数据库用户...
2018-12-24 18:23:11
108
原创 Linux下使用expect实现跳板机自动跳转/免密登录/自动登录（转）
shell脚本实现ssh自动登录远程服务器示例:#!/usr/bin/expectspawn ssh [email protected] "*password:"send "123\r"expect "*#"interactExpect是一个用来处理交互的命令。借助Expect，我们可以将交互过程写在一个脚本上，使之自动化完成。形象的说，ssh登录，f...
2018-12-19 15:01:40
876
原创 python commands subprocess模块使用
commands模块用于调用shell命令有3中方法：commands.getstatus() 返回执行状态commands.getoutput() 返回执行结果commands.getstatusoutput() 返回一个元组，执行状态和执行结果需要注意的是commands模块不支持windows平台，因此该实例是在Linux平台下执行的 python...
2018-11-29 14:49:42
587
原创 python 日期格式
#!/usr/bin/env python# coding=utf-8import timefile_name="log"result = {}with open("log") as fd: for line in fd: items = line.split(",") startTime = time.strftime("%Y-%m-%d %H...
2018-11-28 18:22:00
667
原创 Linux下screen命令的基本用法
screen是一个可以在多个进程（通常是交互式shell）之间复用一个物理终端的全屏幕窗口管理器。即linux下使用多窗口常用screen参数screen -S session_name # 新建一个叫session_name的sessionscreen -ls（或者screen -list） # 列出当前所有的sessionscreen -r session_n...
2018-11-16 16:25:33
18199
2
原创 MySQL主键和外键使用及说明
一、外键约束 MySQL通过外键约束来保证表与表之间的数据的完整性和准确性。 外键的使用条件： 1.两个表必须是InnoDB表，MyISAM表暂时不支持外键（据说以后的版本有可能支持，但至少目前不支持）； 2.外键列必须建立了索引，MySQL 4.1.2以后的版本在建立外键时会自动创建索引，但如果在较早的版本则需要显示建立； 3.外键关系的两个表的列必须是数...
2018-11-08 17:38:54
586
1
原创 记录一次mysq Lock wait timeout exceeded
开发的时候断点调试，更新mysql表后然后期间抛出异常，导致对应主键记录锁住，其他线程修改一直卡住并抛出 Lock wait timeout exceeded; try restarting transaction执行 show processlist; 并未发现异常线程。然后#当前运行的所有事务mysql> SELECT * FROM information_schem...
2018-11-08 14:20:20
207
原创 Python------偏函数（Partial function）
Python的functools模块提供了很多有用的功能，其中一个就是偏函数（Partial function）。要注意，这里的偏函数和数学意义上的偏函数不一样。在介绍函数参数的时候，我们讲到，通过设定参数的默认值，可以降低函数调用的难度。而偏函数也可以做到这一点。举例如下：int()函数可以把字符串转换为整数，当仅传入字符串时，int()函数默认按十进制转换：>>>...
2018-10-29 15:57:46
222
原创 Python学习笔记——利用闭包返回一个计数器函数，每次调用它返回递增整数
利用闭包返回一个计数器函数，每次调用它返回递增整数：s = 3 #设置全局变量def createCounter(): def counter(): global s #引用全局变量 s = s+1 return s return countercounterA = createCounter()print(coun...
2018-10-29 15:49:41
3996
原创 python 装饰器二
编写一个decorator，能在函数调用的前后打印出'begin call'和'end call'的日志。def log(func): def wrapper(*args, **kw): print 'end call: %s' %func.__name__ c = func(*args, **kw) print 'begi...
2018-10-29 13:53:59
95
原创 python 装饰器
由于函数也是一个对象，而且函数对象可以被赋值给变量，所以，通过变量也能调用该函数。>>> def now():... print('2015-3-25')...>>> f = now>>> f()2015-3-25函数对象有一个__name__属性，可以拿到函数的名字：>>> now.__n...
2018-10-29 13:17:49
117
原创 Python内建了map()和reduce()函数。
如果你读过Google的那篇大名鼎鼎的论文“MapReduce: Simplified Data Processing on Large Clusters”，你就能大概明白map/reduce的概念。我们先看map。map()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。举例说明，比如我们有一个...
2018-10-29 10:17:25
307
原创 python 中 json 包用法简单总结
JSON包的引用在文件头部引用json包import json1python对象与JSON对象的互相转换json对象的类型为’str’：dic = {'b':'I', 'a':123, 'c':'100'}j1 = json.dumps(dic)print (j1)# {"b": "I", "a": 123, "c": "100"}print (type(j1))# &l..
2018-10-26 16:44:48
241
原创 Python列表解析（列表推导式）
列表解析——用来动态地创建列表[expr for iter_var in iterable if cond_expr]例子一：map(lambda x: x**2, range(6))[0, 1, 4, 9, 16, 25][x**2 for x in range(6)][0, 1, 4, 9, 16, 25]列表解析式可以取代内建的map()函数以及lambda，而且++...
2018-10-23 14:16:48
898
原创 json.loads ValueError
1、ValueError: Invalid control character at: line 1 column 8363 (char 8362)使用json.loads(json_data)时，出现： 1 ValueError: Invalid control character at: line 1 column 8363 (char 8362) ...
2018-10-10 11:29:20
1645
原创 python 代码,规范
使用 4 空格缩进，而非 TAB 在小缩进（可以嵌套更深）和大缩进（更易读）之间，4空格是一个很好的折中。TAB 引发了一些混乱，最好弃用 折行以确保其不会超过 79 个字符 这有助于小显示器用户阅读，也可以让大显示器能并排显示几个代码文件 使用空行分隔函数和类，以及函数中的大块代码 可能的话，注释独占一行 使用文档字符串 把空格放到操...
2018-09-27 11:13:27
122
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人