- 博客(33)
- 收藏
- 关注
RSS订阅原创 Minio对象存储服务（一）：简介与安装部署
简介 MinIO是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。 MinIO是一个非常轻量的服务,可以很简单的和其他应用的结合，类似 NodeJS, Redis 或者 MySQL。环境准备Windows10操作系统Docker单节点模式部署 Minio需要配置存储空间来让数据持久化，但
2020-10-09 15:08:36
1160
原创 Dremio数据湖引擎（二）：在win10环境下的安装部署
由于博主日常使用的OS为windows10，故本文将简单展示如何在win10基于Docker容器安装部署Dremio。另外，Dremio的官网也给出诸如AWS版本、Azure版本等的安装部署包，有兴趣的话可通过以下链接前往了解：dremio deploy环境准备win10环境下的Docker容器服务拉取dremio-oss的docker镜像这里拉取下来的社区版本的Dremio镜像，商业版本的Dremio需要联系Dremio官方了。当然，作为个人开发使用，社区版本的Dremio已完全够用了。
2020-10-09 15:05:40
1427
原创 Dremio数据湖引擎（一）：简介
在进入主题前，先聊下数据湖这个概念。百度百科中对该名词有如下解释：数据湖或hub的概念最初是由大数据厂商提出的，表面上看，数据都是承载在基于可向外扩展的HDFS廉价存储硬件之上的。但数据量越大，越需要各种不同种类的存储。最终，所有的企业数据都可以被认为是大数据，但并不是所有的企业数据都是适合存放在廉价的HDFS集群之上的。 说白了，数据湖的意思就是将不同存储类型、不同种类的数据汇聚在一起，例如在一个存储集群中分别有MySQL、Mongodb、s3等等数仓数据，这个存储集群统一对外就是一个数据湖了。
2020-10-09 15:03:05
6433
2
原创 TCP有限状态机
TCP 有限状态机很多人都知道TCP协议有名的三次握手和四次挥手，实际上它们是基于TCP协议的简约版的抽象，而这两个动作的背后本质上是TCP的协议转换；TCP协议的操作流程可以使用一个包含11种状态的有限状态机（ Finite State Machine ）来表示，即下图描述了TCP有限状态机的运作流程，箭头指向表示状态之间的转换，粗实线表示客户端主动与和服务端建立连接的流程，粗虚线表示对应的...
2020-03-21 11:46:54
1989
原创 个人youtube视频观看历史分析
前两天偶然翻阅了一位blogger的文章，内容是记录了他个人油管的观看记录分析过程。然后我也心血来潮，效仿一番，在本篇文章也简单分析下我自己再youtube的观看历史，分析维度和那位blogger的基本一致（抄袭了别人的idea，惭愧~），这是原文链接。 曾几何时，还不知道有fanqiang这回事的时候，在网络上观看视频资源都只能局限于几大视频平台。后来学会了用别人的飞机场，再后来学会了自...
2020-02-10 00:28:25
3145
1
原创 《重构 既有代码的设计》笔记摘要
前言P2（页码）什么是重构？所谓重构（ refactoring）是这样一个过程：在不改变代码外在行为的前提下，对代码做出修改，以改进程序的内部结构。重构是一种经干锤百炼形成的有条不紊的程序整理方法，可以最大限度地减少整理过程中引入错误的几率。本质上说，重构就是在代码写好之后改进它的设计。P5重构技术的两位最早倡导者是 Ward Cunningham和 Kent Beck。他们很早就把重构...
2020-02-10 00:20:55
157
原创 python处理Protoc Buffers协议下的header+protobuf
项目中碰到了tcp透传下用protocol buffer协议的数据传输场景 记录下踩的坑~~协议的定义大致举例如下：数据传输协议组成部分分为header结构体和一个传输数据message体header如下，其中某个param是需要截取的message包体长度（如这里是param_3）struct header{ unsigned short param_1; // 头信息定义
2018-01-09 19:46:53
1664
原创 Windows7下PHP、apache开发环境搭建
一、准备近期需要在自己的win7机器上用php做些开发工作，奈何这台机器没搭建过php开发环境，就花了点时间搭好环境，记录总结下，这次环境安装搭建用到php7，apache2.4，mysql5.7二、组件下载php：在官网下载即可，http://www.php.net/downloads.php1，选择想要下载的版本下边的Windows downloads，然后跳转到对于资源列表页2，根据机器32位
2017-10-22 22:29:17
495
原创 python之import异常-ImportError: cannot import name xxx
bug：最近开发中遇到了import异常 目录A下的py文件B import 目录C下的py文件D抛出import异常ImportError: cannot import name Danalyze：一般情况这个exception是python找不到import进来的包或库导致的， 排查了一番后还没找到问题根源，总结了下情况：A，C目录名和B，D文件名都没写错； B，D两个py文件进行单
2017-09-21 22:07:27
27309
4
原创 python实现二叉树遍历
先用python的类表示二叉树的节点：class Node(object): def __init__(self, root=None, ltree=None, rtree=None): self.root = root self.ltree = ltree self.rtree = rtree访问树的所有结点，有且仅访问一次。按照根节点位置的
2017-03-17 12:01:12
430
原创 linux下svn的使用（整理）
一直都是习惯用git做版本控制工具，整理一下linux下svn常用的命令，便于与git做区分，windows下的svn命令与linux下的差别不大使用的linux发行版本信息**@××:~$ uname -vsLinux #87~14.04.1-Ubuntu SMP Fri Mar 3 17:32:36 UTC 2017下载安装sudo apt-get install subversion检出新文
2017-03-10 19:17:07
1206
转载 （转）Python中的map，reduce，filter，lambda内置函数
filter(function, sequence)：对sequence中的item依次执行function(item)，将执行结果为True的item组成一个List/String/Tuple（取决于sequence的类型）返回：>>> def f(x): return x % 2 != 0 and x % 3 != 0 >>> filter(f, range(2, 25)) [5, 7, 1
2017-02-20 16:34:10
456
原创 Python Booklist
一份python的阅读书籍资料清单，供参考https://www.douban.com/doulist/63694/
2017-02-20 11:49:03
409
原创 python实现常见的设计模式-简单工厂模式
《大话设计模式》这本书中各种设计模式的python代码实现。简单工厂模式的UML图 工厂模式在很多场景都可以应用，运用类的继承、多态等强大的特点可以有效减少代码冗余，提高代码的高可复用性。#! /usr/bin/env python# -*- coding:utf-8 -*-"""简单工厂模式特点：工厂可以根据情况生产不同的产品（类或类实例）例子：接受输入并能实现加减乘除的计算器"""
2017-02-19 21:13:41
1447
原创 mysql基本查询语句review
工作中很多时候都会用封装的库去操作mysql数据库，所以sql原生语句一旦长时间没有使用就会有所生疏，参考其他人的练习题，重新复习一遍基本的查询语句并记录。1.创建student和score表CREATE TABLE student (id INT(10) NOT NULL UNIQUE PRIMARY KEY ,name VARCHAR(20) NOT NULL ,sex
2017-02-18 12:47:24
903
转载 SQL基础知识整理
转载自：http://www.cnblogs.com/xinye/p/3823461.html 标准SQL资料整理 最近感觉SQL忘记的很快，于是把SQL的基础知识整理了下。使用的工具是MindManager 9。资料来自W3C School：http://www.w3school.com.cn/sql/index.asp 以及互联网上的其他资源。M
2017-02-15 10:02:52
253
转载 数组、链表、堆栈和队列
转载自：http://blog.csdn.net/amork/article/details/7258216数据结构：是指相互之间存在一种或多种特定关系的数据元素的集合。听起来是不是很抽象，简单理解：数据结构就是描述对象间逻辑关系的学科。比如：队列就是一种先进先出的逻辑结构，栈是一种先进后出的逻辑结构，家谱是一种树形的逻辑结构！（初学数据结构的时候很不理解为什么有“栈”这个东西；队列很容易理解—无
2017-02-14 16:04:35
275
原创 Python常用的几种包（库、模块）安装方式
这里整理一下常见的几种包安装方式1、pip install package_name使用pip工具安装，此方法比较常用，方便快捷，自动下载安装包到当前python环境，如果需要指定下载安装某个版本的包，只需写成这个形式pip install package_name==版本号； 另外，下载的whl格式的包安装文件也可以通过pip install安装2、pip install -r requirem
2017-01-25 19:48:51
10503
原创 flask中的secure_filename方法获取不到中文文件名
碰到以下问题： 将中文文件名传给 secure_filename 方法时所有的中文名都会被过滤掉，只剩下文件后缀名。 原因：werkzeug库的secure_filename方法中，中文被ignore或者压制导致数据缺失 解决方法： 1，要么更换或弃用中文文件名 2，视情况修改secure_filename方法的代码def secure_filename(filename): r"
2017-01-06 20:00:45
7612
转载 HTTP协议详解
以下这篇blog详细讲解了http协议，仔细阅读了一遍，写得很好，转载过来，方便查阅翻看： http://www.cnblogs.com/maanshancss/p/4503385.html
2016-09-25 12:44:26
227
原创 Django中文文档-The Django Book
Django book 2.0 的中文翻译。 http://djangobook.py3k.cn/2.0/
2016-09-24 11:29:12
752
原创 mysql--用户管理
1.用户设置如果需要添加 MySQL 用户，只需要在 mysql 数据库中的 user 表添加新用户即可。 以下为添加用户的的实例，用户名为flynn，密码为python123，并授权用户可进行 SELECT, INSERT 和 UPDATE操作权限：mysql> use mysql;Database changedmysql> INSERT INTO user (host
2016-09-19 16:03:21
277
转载 python--正则表达式学习汇总
（感谢原作者的辛勤劳作~）本文正文大部分转载自http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html1. 正则表达式基础1.1.概念介绍正则表达式是用于处理字符串的强大工具，它并不是Python的一部分。 其他编程语言中也有正则表达式的概念，区别只在于不同的编程语言实现支持的语法数量不同。 它拥有自己独特的语法以及一个独立的处理引擎
2016-09-18 22:05:28
367
转载 django中的request.META字典（部分转载）
request.META 是一个Python字典，包含了所有本次HTTP请求的Header信息，比如用户IP地址和用户Agent（通常是浏览器的名称和版本号）。
2016-06-13 19:56:13
2377
原创 【python】python中的字符串及其格式化
1，在python中，对于单一个字符的编码，Python提供了ord()函数获取字符的整数表示，chr()函数把编码转换为对应的字符，如：ord('B')或者chr(24324)2，Python对bytes类型的数据用带b前缀的单引号或双引号表示：x = b'ABC'3，以Unicode表示的str通过encode()方法可以编码为指定的bytes；反之，需要把bytes变为str，就要用decod
2016-05-12 17:47:08
378
原创 Windows下pip安装包报错：Microsoft Visual C++ 9.0 is required Unable to find vcvarsall.bat
windows环境下第一次使用pip安装mysql-python包时报错
2016-02-12 15:12:29
288
转载 PEP8 Python 编码规范
PEP8 Python 编码规范一 代码编排 1 缩进。4个空格的缩进（编辑器都可以完成此功能），不使用Tap，更不能混合使用Tap和空格。 2 每行最大长度79，换行可以使用反斜杠，最好使用圆括号。换行点要在操作符的后边敲回车。 3 类和top-level函数定义之间空两行；类中的方法定义之间空一行；函数内逻辑无关段落之间空一行；其他地方尽量不要再空行。二 文档编排 1 模块内容的顺序：模
2016-02-12 11:38:45
385
转载 python修炼—文本文件的输入输出
文本文件的输入输出Python具有基本的文本文件读写功能。Python的标准库提供有更丰富的读写功能。文本文件的读写主要通过open()所构建的文件对象来实现。1、创建文件对象我们打开一个文件，并使用一个对象来表示该文件：对象名 = open(文件名，模式)最常用的模式有：r 打开只读文件，该文件必须存在。r+ 打开可读写的文件，该
2015-11-13 20:38:10
436
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人