- 博客(30)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【FastAPI】学习笔记与记录-01-Body
FastAPI Body可选body参数设置Body参数默认值为None，则可以设置为可选参数# coding=utf-8"""通过设置Body参数的默认值为None，将body 参数设置为可选项"""from fastapi import FastAPI ,Path from pydantic import BaseModel app = FastAPI()class Item(BaseModel): name : str description : str =
2020-07-15 22:42:00
894
翻译 【Superset】00 写在之前
写在之前各位小伙伴大家好，我是一个正在学习superset的萌新。Supertset是在我寻找企业数据分析解决方案时候，在github上找到的一个开源项目。他也是github上BI相关获得Star最多的项目。他是由Airbnb团队研发，项目正处于Apache项目孵化中。原项目地址，可以访问：https://github.com/apache/incubator-superset 了解项目信息...
2020-03-08 23:44:30
272
翻译 【Superset】01 安装与配置
安装与配置开始之前为了减少维护的负担，并且使用到Python较新的特性，Superset 已经拒绝在Python **2.***版本中的支持 ，仅在 ~=3.6版本上进行支持（现在Python 3.7 也可以很好的支持了）云原生Superset拥有着很高的可用性。它是一种云原生架构可以支持超大规模、分布式环境并且在容器中可以很好的工作。同时你也可以通过一种简单便捷的方式操作Supers...
2020-03-08 23:35:21
409
原创 求一个序列之中，和最大的子序列
求一个序列之中，和最大的子序列去一个国际知名支付方式公司面试，面试的人出了这样一道题：有一个不知道长度的序列，求和最大的一个子序列，以及它的和如：[1,2,3,-4,-5,-6]它有很多子序列[1]、[1,2]、[1、2、3]等等和最大的是 [1,2,3]确定参数的范围1. 参数范围假设序列为L ，子序列为subL，那么: 子序列的起始索引的可能性，就是从0...
2018-03-28 21:58:09
474
原创 hadoop/hdfs 针对特殊用户做权限控制
hdfs文件系统，针对不同的文件夹、文件可以为不同的角色（拥有者、小组、其他人）赋予不同的权限，在一些特殊的时候，例如我们想要为其他小组的某一个成员赋权限，这样的角色分配就不能很好的满足需求。Hadoop的ACL控制这个时候我们使用hadoop自带的ACL控制就可以满足上述需求。1. getfacl 查看文件/文件夹目前权限策略指令说明：hadoop fs -getfacl 路径/文件名称例子：b
2017-12-27 17:54:56
1031
原创 【Bug记录】org.apache.hadoop.hdfs.server.namenode.SafeModeException
情况的发生启动hadoop,查看jps所有进程都是正常运行。 输入hive报错：biglucky@ubuntu:/opt/hadoop-2.7.1/sbin$ hiveSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/opt/apache-hive-2.1.0-bin/l
2017-12-27 17:29:38
1694
2
原创 sed替换^A（\001）,\002,\003等特殊字符
替换方式1. 使用编码替换例子： 替换掉文中的^A字符 sed -i "s/\x01/\t/g" test.txt2. 符号替换其中 “^A” 这个符号 ，使用组合按键“ctrl+V+A”获得sed -i "s/^A/\t/g" test.txt码表“`
2017-12-26 14:19:16
21778
原创 【Bug记录】hadoop启动失败：hadoop-config.sh: Syntax error: word unexpected (expecting ")")
Bug背景未修改任何配置的情况下，重启hadoopbiglucky@localhost>sh start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.shstart-all.sh: 112: /opt/hadoop-2.7.1/sbin/../libexec/hadoop-config.sh:
2017-12-26 10:45:15
5509
原创 【Bug记录】Hadoop的WordCount结果不合并，不累加
Bug的背景初学MR程序，一定是从WordCount开始的，跟着敲一遍，发现hadoop执行WordCount后，不对结果进行累加，这是怎么一回事呢？Bug源码package mr;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.io.Text;import org.apac
2017-12-25 17:17:06
855
1
原创 【BUG记录】集群启动后，jps没有datanode，检查发现clusterid一致
【Hadoop】集群启动后，jps没有datanode，检查发现clusterid一致问题说明像平常一样，使用./start-all.sh脚本后，发现jps没有datanode查找原因1 clusterid不一致初次启动hadoop时候，namenode与datanode的clusterid保持一致。 后来启动集群，发现jps中没有datanode，通常情况下，是namenode多次format，
2017-08-19 15:49:02
5525
1
原创 【MapReduce】Streaming Job Failed!
报错发生情况：用Python写好了一个MR程序，使用Linux环境本地测试正常。 在Hadoop环境上测试就报错。我的环境：$hadoop versionHadoop 2.5.2...执行指令：hadoop jar $HADOOP_INSTALL_HOME/contrib/streaming/hadoop-*streaming*.jar -file ./mapper.py -mapper
2017-04-13 16:15:50
4198
2
原创 【未解决】next是什么？会在原地改变对象？
有一个迭代器，使用list()强制一个真正的list列表， 生成的是[0, 1, 2, 3, 4, 5, 6, 7, 8, 9] 对这个迭代器 I 使用next后，再对其使用list（）方式生成目录。 结果不再是[0, 1, 2, 3, 4, 5, 6, 7, 8, 9] 迭代器I已经改变了。>>> R=range(10)>>> list(R)[0, 1, 2, 3, 4, 5, 6,
2017-03-03 14:07:42
271
原创 Python小程序练习---敏感词替换成*星号
小程序需求说明：敏感词文本文件 filtered_words.txt，里面的内容 和 上一题一样，当用户输入敏感词语，则用 星号 * 替换 例如当用户输入「北京是个好城市」，则变成「**是个好城市」思路及程序编写#流程以及思路确定"""1. 用户输入一串文字 ，保存到user_input中2.检查文字是否有敏感词，以及敏感词的具体位置。 2.1 文件迭代器读取敏感词
2017-02-09 17:45:11
27806
原创 Python小程序练习---敏感词测试
小程序需求说明敏感词文本文件 filtered_words.txt，里面的内容为以下内容:北京程序员公务员领导牛比牛逼你娘你妈lovesexjiangge当用户输入敏感词语时，则打印出 Freedom，否则打印出 Human Rights。思路及程序编写###流程敲定：# 1. 用户输入一句话# 2. 检查里面没有没有敏感词汇# 2.1 将敏感词汇读取出来。使用
2017-02-09 17:06:57
5725
原创 Python-Tuple元组
什么是元组元组由简单的对象构成，与列表类似，都是序列。但是元组是不可变的序列，不可以在原处对其修改，这一点与字符串一样。 元组不支持任何的方法调用，但是支持大多数的序列操作，也就是说列表、字符串等的序列操作对其都有效，具有以下的属性：任意对象的有序组合通过索引进行读取属于不可变序列的类型固定长度、异构、任意嵌套对象引用的数组如何创建一个元组元组存在的意义本Ma
2016-12-30 11:19:03
521
原创 Python-struct.error: argument for 's' must be a bytes object
问题说明：我使用的Python3.0版本，运行以下的代码的时候出现了报错。#Python 3.0F=open('data.bin','wb')import structdata=struct.pack('>i4sh',7,'spam',8)print(data)报错信息是：Traceback (most recent call last): File "C:\Users\张大福\Docum
2016-12-23 10:47:28
14569
3
原创 Python-Dictionary-创建字典的方式
字典我们创建字典的方式有很多，根据需求不同，采用合适的方式才能够事半功倍。 我使用的Python3.0 版本，所以较之2.X的版本，新增了解析式创建法。1.{}我称这个方法为一个花括号搞定法，此方法适合你知道字典中的内容已经是什么了，一次性的将字典创建出来。后期字典变化不频繁的情况。"""1. 一个花括号搞定全部法"""D={'name':'Bob','age':14,'
2016-12-14 17:55:23
5729
1
原创 Python-Dictionary-in成员检测
in成员检测key in d如果key键值对象在字典d中存在，返回true不存在，返回false。key not in d如果key键值对象在字典d中不存在，返回true存在，返回false。CODE#key in d#key not in d""" 测试该键元素是否包含在字典d中。 整个过程其实如同做has_key（）方法的调用"
2016-12-13 17:15:17
1143
原创 Python-Dictionary-pop()与popitem()
介绍pop(key[,default])如果键值key存在与字典中，删除dict[key]，返回 dict[key]的value值。key值必须给出。否则，返回default值。如果default值没有过出，就会报出KeyError异常。pop()方法至少接受一个参数，最多接受两个参数。popitem()删除，并且返回一个键值对(key,value)形式。如果字典已经为空，却调用了此方法，就
2016-12-13 17:12:09
8645
原创 Python-Dictionary-fromkeys()
dict.fromkeys(seq[,value])根据seq提供的key值与value值创建一个新的字典。 value值如果没有给出，默认为none。CODE#classmethod fromkeys() test"""dict.fromkeys(seq [ , value])"""#用seq 设置key值seq=['name','age','sex']"
2016-12-13 16:40:47
467
原创 Python练习题
#此练习题主要针对数字运算与转换#导入需要用到的方法们：求平方根sqrt(),floor()向下取数，trunc()截断from math import sqrt from math import floorfrom math import trunc#运算符的优先级"""可以看到优先级顺序： 括号 > 乘除>加减法这和我们在数学中的习惯一样。"""a=2*(3+4)p
2016-12-08 18:00:06
316
原创 Python练习题
此章节练习题主要关于字符串#字符串的find方法对于列表搜索也是不可以的！str_test='Hi,my name is Lucy'find_str=str_test.find('Lucy')print(str_test," find: " ,find_str)l=list(str_test)"""find_list=l.find("Lucy")print(l," find：
2016-12-08 16:37:47
420
原创 通过shell批量检测集群跑数据是否异常脚本
前情提要在日常集群的跑数据中，时常出现跑的过程之中出现各种情况，导致一些日期的数据没有跑成功。 而每日跑的表也是非常的多，所以有时候一张一张的去看哪些表缺数据，也会将自己的头脑弄晕。 所以想着，自己写一个脚本，然后批量的检测哪些数据目录为空。脚本功能说明输入一个查询的截止日期（例如：20161115），从截止日期当月1号（例子：20161101）开始遍历各表路径，如果路径不存在，就表示当日缺
2016-11-16 17:29:17
898
原创 Python-strip(),lstrip(),rstrip()
去掉字符串中满足要求的部分 function 含义 strip([chars]) 首尾去掉，满足chars的部分 lstrip([chars]) 从左边开始，去掉满足chars的部分 rstrip([chars]) 从右边开始，去掉满足chars的部分[chars] 如果被省略的话，默认去掉 连续的空格。我对于这个的理解有一点儿问题。而且不是很能理解，手册上面给出的例
2016-11-03 17:52:52
470
原创 Linux-虚拟机使用：真机与虚拟机ping通
目的：使用SecureCRT连接虚拟机我的目的是为了使用SecureCRT来连接虚拟机。直接使用虚拟机的朋友们都知道，直接操作虚拟机有很多的不方便。比如回滚之前的信息等。那么使用SecureCRT连接虚拟机有一个前提，那就是：真机主机与虚拟机必须ping通虚拟机与真机ping通的几个前提：1.主机与虚拟机处于同一个网段我的例子：主机：10.4.26.9 虚拟机：10.4.26.11如何配置Li
2016-11-02 11:12:27
9155
1
原创 SSH-permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)
配置无密钥登陆时候的问题在配置无密钥登陆的时候，ssh本机报错。 报错信息是：permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)报错前我的操作：为了搭建集群$ su hadoopcd /home/hadoop配置无密钥：$ ssh-keygen -t rsa然后一直按回车，选择默认的操作即可。ls -a #查
2016-10-31 14:37:16
26473
原创 Linux-SSH报错：Could not resolve hostname node1: Name or service not know
Could not resolve hostname node1: Name or service not know搭建集群的时候，使用ssh + 主机名 报错。 这个时候我已经修改了错误前配置：/etc/hostname,将主机的名字更改成了：node1 了。 这个时候会发现在显示上面，主机名字更改为了node1. ssh会出现上述报错。解决需要配置/etc/hosts文件才是关键！/et
2016-10-31 14:05:14
75449
12
原创 shell的变量功能（1）
Shell的变量功能变量是bash环境中非常重要的一个玩意儿什么是变量 某一个特定的字符串代表不固定的内容。 用一个简单的 "字眼" 来取代另一个比较复杂或者是容易变动的数据
2016-10-15 14:05:12
298
hadoop-0.20.2.tar.gz
2016-11-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人