- 博客(16)
- 收藏
- 关注
RSS订阅原创 Django+webargs:You cannot access body after reading from request’s data stream Exception
Django: 1.8.7Webargs: 1.2.0python: 2.7.9application/json:初始化WSGIRequest：不会初始化_post 不会调用_load_post_and_files（），调用webargs 去校验参数时，通过load_form方法拿不到数据，通过 load_json方法获取，仅读取一次request.body此时程序...
2020-02-02 21:39:02
2103
转载 MSSQLSERVER 中的 object_id()函数
转载于：https://www.cnblogs.com/nimorl/p/4867422.html作者：风雪江山语法：object_id('objectname')或object('objectname','type')作用：该函数会返回指定对象的ID值，可以在sysobjects表中进行验证。其中objectname数据类型为char或nchar。如果object的数据...
2019-06-28 11:44:12
712
翻译 python 命名空间及LEGB规则下的作用域范围
原文链接：http://sebastianraschka.com/Articles/2014_python_scope_and_namespaces.html本文是为了说明python 的命名空间和LEGB规则下变量的解析范围的一篇入门文章。下面的部分会提供一些简短的代码块及相关的说明和配图，你可以很方便的阅读这份入门手册，但我更推荐你能亲自运行下面的代码。目的命名空间和作用域：...
2019-03-20 20:33:03
297
原创 kafka（1.1版本）源码阅读记（二）——Kafka.Utils.VersionInfo类在kafka启动过程简介
该方法比较简单，调用AppInfoParser类中的getVersion方法和getCommitId方法。打印两个方法的返回值，随后退出。public class AppInfoParser { private static final Logger log = LoggerFactory.getLogger(AppInfoParser.class); private s...
2018-09-03 13:09:40
949
原创 kafka（1.1版本）源码阅读记——深入kafka-server-start.sh脚本
本例中使用非守护进程模式，与守护进程模式的比较会在后面介绍Kafka集群的启用只需要通过./kafka-server-start.sh ../config/server.properties来进行，可以说是非常的简单，但是这个脚本之中又作了哪些事情配置了哪些配置呢，我们一步步来看看。在kafka-server-start.sh脚本中会首先对输入的参数做合法校验，并设置当前该脚本所在文件目录...
2018-08-02 20:56:38
4106
2
原创 java使用opencv识别人脸
环境搭建见：https://blog.csdn.net/v_gbird/article/details/80299931 之前通过在java环境中使用opencv库对矩形进行了识别，本次将继续使用java语言利用opencv库对图片中的人脸进行识别。 首先在主函数中要加载本地库，否则将会抛出java.lang.UnsatisfiedLinkError异常。System.load...
2018-06-04 22:26:57
1585
翻译 Coursera：Functional Programming Principles in Scala Cheet Sheet 翻译
Cheet Sheet 注：该文章为笔者学习MOOC上SCALA课程时所对照的备忘录，原翻译时通过markdown记录在有道云笔记上，csdn取消了在编辑时输入md的功能因此格式会有些奇怪。 （evaluation：类似于加载到内存中，进行计算）Evaluation Rules求值原则Call by value: evaluates the function argumen...
2018-05-28 19:58:46
282
翻译 SparkStreaming + Kafka集成指南（Kafka版本要求0.10.0以上）
SparkStreaming集成Kafka0.10版本与集成0.8版本Kafka的直接连接方式类似。提供了简单的并行性以及Kafka分区和Spark分区之间一对一的映射，以及元数据和偏移量的访问。然而，因为使用新版本的消费者的API而不是简单方式的API造成了一些使用上的不同。当前版本的APi是试验性的，因此可能会被修改。引入对于scala或者java使用Maven或SBT的应用，...
2018-05-25 21:25:06
9489
3
翻译 SparkStreaming + Kafka集成指南（Kafka版本要求0.8.2.1以上）
注意：spark2.3版本已经取消了对kafka0.8版本的支持   这里主要对如何配置SparkStreaming程序接受kafka的数据进行介绍。目前有两种方式：较老的方式是通过使用Receivers和Kafka的高阶API，新的方式（从spark1.3版本开始）不在使用Receivers。这是两种不同的编程模型、有不同的性能特征和不同的语义，更多细节求阅...
2018-05-15 21:31:47
1723
原创 java 使用openvc识别矩形（包含环境搭建）
最近因为项目需要在图片中截取身份证照片，原始图片大致如下 在安装opencv的环境时发现opencv提供了java的依赖包以及动态链接库，为javaer来说，提供了使用opencv的方式！1.环境配置使用方式很简单：只需要从：https://opencv.org/opencv-3-4-1.html上下载opencv的自动解压安装包，在解压后生成的文件opencv\build\java目录下找...
2018-05-13 17:29:40
3556
原创 java String 类equals方法和==的比较
最近在通过阅读《深入理解Java虚拟机——JVM特性与最佳实践》这本书时，发现书中在介绍运行时常量池中有这样一段话：“运行时常量池相对于Class文件常量池的另外一个重要特征是具备动态性，Java语言并要求常量一定只有编译期才能产生，也就是并非预置入Class文件中常量池的内容才能进入方法区运行时常量池，运行期间也可能将新的常量放入池中，这种特性被开发人员利用得比较多得是String类的i...
2018-03-02 19:38:14
436
原创 Spark异常报错整理
答主是一名刚接触Hadoop，Spark的小白工程师，该文章整理答主在开发过程中遇到的一些Spark的错误，将会持续更新。1）Exit Code：13Stack trace：ExitCodeException exitCode=13： org.apache.hadoop.util.Shell.runCommand(Shell.java:545)...错误原因：任务在提
2018-01-29 20:46:32
4114
原创 SparkStreaming local模式部署下遇到的requirement failed的问题
最近在local模式下部署了一个数据筛选的sparkstreaming程序，主要是对一些用户的交易数据进行实时处理，环境配置如下： spark ：2.1.0，目前是采用单个节点的Standalone部署模式 scala：2.10.4 jdk：1.7.079 该程序在执行时没有出现异常，但是在执行一段时间之后会报 IllegalArgumentException：Requirement fa
2018-01-29 20:33:45
2448
2
原创 部署Spark环境遇到的问题
Hadoop ：2.7.2Spark ：2.1.0-bin-hadoop2.7scala：2.10.1问题：在部署环境时将jdk、scala、spark、hadoop放置于/opt目录下，因为应用需要，所以在spark/jars目录下添加了scala-library-2.10.4.jar的包，在使用start-all.sh启动spark集群时出现异常，提示NoClassDefFou
2017-12-14 20:06:20
302
原创 关于win10下搭建kafka0.10的一些坑
使用： scala版本为2.10 windows10专业版 zookeeper 3.4.8搭建kafka0.10版本在zk搭建完成后启动kafka时（启用命令为在kafka根目录下使用 bin\windows\kafka-server-start.bat config\server.properties)遇到系统命令不正确的情况，通过打开回显功能，发现该命令调用了同在windows目录下的ka
2017-10-16 23:01:31
1207
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人