- 博客(34)
- 收藏
- 关注
RSS订阅
原创 2019 年度总结：努力向前，不负时光
2019年终总结年岁岁花相似，岁岁年年人不同2020 年已经开始了 10 天了，想了想，新的一年过去了还是要给自己做个年终总结。对于个人的年终总结分为工作、家庭、个人提升、副业、财富几个方面进行总结；一、工作2019 年对于我来说是全新的一年，因为从他乡回到家乡工作，当时是在外省联系的hr，来了直接面试，过几天就顺利拿到 offer 了。1、面试2019 年1月10号左右打算回贵阳找工...
2020-01-10 16:53:58
522
原创 给自己的 100 天 Flag！
凡事预则立，不预则废立下一个 Flag，不间断更文 100 天今天在这里立下一个 Flag，以此来督促自己不断向前走，不迷茫、不颓废，从今天开始，我将不间断更文 100+ 篇，时间从 2019年11月18 至 2020 年 2 月26日每天至少更新一篇。为什么要立下一个 100 天的 Flag，因为有幸加入一个 Python 作者团队写文章，这个团队的老大是之前文章提到过的微笑哥，微笑哥是...
2019-11-18 17:24:21
495
5
原创 一文吃透 Jupyter notebook
notebook 是 Jupyter项目的重要组件之一，它是一个代码、文本（有标记或无标记）、数据可视化或其它输出的交互式文档。Jupyter Notebook 需要与内核互动，内核是 Jupyter 与其它编程语言的交互编程协议。Python 的 Jupyter 内核是使用 IPython。Jupyter Notebook 是基于网页的用于交互计算的应用程序。其可被应用于全过程计算：开发、文档...
2020-04-21 13:54:17
752
原创 Python 初学 9：Python 标准库概览
Python 的标准库非常广泛，提供了各种各样的工具。该库包含内置模块（用C编写），可以访问系统功能，例如 Python 程序员无法访问的文件 I / O，以及用 Python 编写的模块，这些模块为许多问题提供标准化解决方案。其中一些模块明确地旨在通过将平台特定的内容抽象为平台中立的 API 来鼓励和增强 Python 程序的可移植性。Python 的标准库(standard library...
2020-01-17 09:21:28
321
原创 Python 初学 8：命名空间和作用域详解
命名空间定义了在某个作用域内变量名和绑定值之间的对应关系，命名空间是键值对的集合，变量名与值是一一对应关系。作用域定义了命名空间中的变量能够在多大范围内起作用。命名空间在python解释器中是以字典的形式存在的，是以一种可以看得见摸得着的实体存在的。作用域是python解释器定义的一种规则，该规则确定了运行时变量查找的顺序，是一种形而上的虚的规定。一、命名空间1、概述A namespac...
2020-01-15 18:00:59
511
原创 python 初学7：Python Set 介绍及应用
Python也包含有 集合 类型。集合是由不重复元素组成的无序的集。它的基本用法包括成员检测和消除重复元素。集合对象也支持像 联合，交集，差集，对称差分等数学运算。集合结构如下：set1 = {'hello', 'hello', 'word', 'word'}set1# 输出结果实现自动去重{'hello', 'word'}1、集合创建可以使用大括号 { } 或者 set() ...
2020-01-14 09:41:21
625
1
原创 python 初学6：python 字典详解
Python 中的字典提供了一种灵活的访问和组织数据的方式字典是由很多值组成的集合字典的索引可以是不同的数据类型，同样也不止是整数，也有字符串字典的索引被称为“键”，键及键所关联的值叫键值对（类似于Java中的Map集合）字典是另一种可变容器模型，且可存储任意类型对象。字典的每个键值 key=>value 对用冒号 : 分割，每个键值对之间用逗号 , 分割，整个字典包括在花括号 ...
2020-01-13 09:34:40
727
原创 python 初学5：python 元组详解
Python 中的数据结构是通过某种方式组织在一起的数据元素的集合，这些数据元素可以是数字、字符、甚至可以是其他数据结构在 Python 中，最基本的数据结构是序列（列表和元组），序列中的每个元素都有一个序号（元素的具体位置），这个序号叫索引，索引下标从0开始，以此类推…Python 的元组与列表类似，不同之处在于元组的元素不能修改。元组使用小括号()，列表使用方括号[]。1....
2020-01-10 17:41:54
672
原创 python 初学4：Python 列表生成式
列表生成式是 Python 内置的非常简单却强大的可以用来创建 list 的生成式。-list 生成式简单、不繁琐-可以使用一行代码代替一个 for 循环举个栗子：1、生成 [1，2,3,4…100] 的列表原始的方法是是使用循环加 rang() 函数生成，如下所示：for i in list(range(1, 101)): print(i)如果要输出 1-100 之间的偶...
2020-01-09 15:09:48
798
原创 Python 初学3：Python 列表详解
Python 中的数据结构是通过某种方式组织在一起的数据元素的集合，这些数据元素可以是数字、字符、甚至可以是其他数据结构在 Python 中，最基本的数据结构是序列（列表和元组），序列中的每个元素都有一个序号（元素的具体位置），这个序号叫索引，索引下标从0开始，以此类推…列表俗称是 Python 中的苦力，列表可变（可以改变列表的内容）列表是最常用的Python数据类型，它可以作为一个方括...
2020-01-09 10:24:17
568
原创 Python 初学2：Python 序列简述
Python 中的数据结构是通过某种方式组织在一起的数据元素的集合，这些数据元素可以是数字、字符、甚至可以是其他数据结构在 Python 中，最基本的数据结构是序列（列表和元组），序列中的每个元素都有一个序号（元素的具体位置），这个序号叫索引，索引下标从 0 开始，以此类推… 本文着重介绍 Python 的序列及其实际应用。序列概览Python 中有6种内建的序列。其中列表和元组是最常见的...
2020-01-08 15:30:44
187
原创 Python 初学1：使用 for 循环实现九九乘法表
使用双重 for 循环实现九九乘法表今天开始从 0 学习 Python，首先写的是学到 for 循环时练习的一个小案例，使用嵌套 for 循环实现九九乘法表，详细代码及结果如下：一、左下三角九九乘法表for i in range(1,10): for j in range(1,i+1): print(f'{j}x{i}={j*i}',end='\t') pri...
2020-01-07 14:36:11
12989
2
原创 穷爸爸与富爸爸读后感（3）
穷爸爸与富爸爸之如何开发自己的理财天赋？罗伯特的关于唤醒你的理财天赋的10个步骤会很有用。它们分别如下：一，我需要一个超现实的理由——精神的力量。如果你问别人是否愿意发家致富，大部人都会说“愿意”。可是一想到现实，致富之路似乎变得崎岖而漫长。相比之下，为了钱工作并把剩余的钱托付给经纪人似乎更容易一些。为什么要变得富有？你需要一个强有力的理由来说服自己，完成内在的驱动。没有强有力的理由和目标，...
2019-12-05 16:52:01
166
原创 读书笔记--正面管教
《正面管教》由2009年京华出版社出版的图书，作者（美国）尼尔森书中讲述的主要就是如何运用正面管教方法使孩子获得这种能力。带弟弟在身边上学，但是他厌恶数学，自暴自弃，让人无能为力，我一直想要寻找一种好的方法去引导他积极向上，因此无意间看到了这本书，也学到了里面的一些方法。正面管教是一种既不惩罚也不娇纵的管教孩子的方法，孩子只有在一种和善而坚定的气氛中，才能培养出自律、责任感、合作以及自己解决...
2019-12-05 16:36:17
542
原创 TiDB 学习第 7 天：TiDB 性能测试
一、工具介绍TiDB性能测试使用sysbench工具来进行压测，sysbench是数据库功能及性能测试工具，它的测试功能如下：CPU 运算性能测试磁盘 IO 性能测试调度程序性能测试内存分配及传输速度测试POSIX 线程性能测试数据库性能测试（OLTP 基准测试，需要通过 /usr/share/sysbench/ 目录中的 Lua 脚本执行，例如 oltp_read_only.lu...
2019-12-03 15:41:55
3290
原创 TiDB 学习第 6 天：全量数据同步之 mydumper&loader 工具的使用
一、全量同步Mysql数据将mysql中的数据全量同步到TiDB中**说明：**数据全量同步使用TiDB工具mydumper/loader，可以使用 mydumper 从 MySQL 导出数据，然后用 loader 将其导入到 TiDB 数据库中为了快速的迁移数据 (特别是数据量巨大的库)，可以参考以下建议：mydumper 导出数据至少要拥有 SELECT，RELOAD，LOCK TA...
2019-12-03 15:21:53
1462
原创 TiDB 学习第 5 天：TiDB 增量同步数据之 Syncer工具的使用
一、数据增量同步我们之前搞定了如何使用 mydumper/loader 将 MySQL 的数据全量导入到 TiDB，但如果后续 MySQL 的数据有更新，我们仍然希望快速导入，这时候使用全量的方式就不合适了。TiDB 提供 syncer 工具能方便的将 MySQL 的数据增量的导入到 TiDB 里面。步骤同样需要下载工具集，由于这里是测试环境，工具集已经下载了，所以直接用即可二、场景描述...
2019-12-03 14:56:51
1745
原创 TiDB 学习第 4 天：数据同步工具 DM 实践
一、部署DM集群DM集群对环境要求如下：1、部署目标机器若干，配置如下：CentOS 7.3 (64-bit) 或更高版本，x86_64 架构（AMD64）机器之间内网互通关闭防火墙，或开放服务端口2、一台中控机，配置如下：包含 Python 2.7 的 CentOS 7.3（64-bit）或更高版本Ansible 2.5 或更高版本互联网访问第一步、在中控机中安装依赖...
2019-11-28 14:10:25
966
原创 穷爸爸与富爸爸读后感 (2)
难以摆脱财务困境的 5 个原因一，很多人对可能亏钱存在着恐惧心理。每个人都会担心自己的投资会亏钱，包括富人。关键在于你如何处理对于亏钱的恐惧，处理失败的不同方式造成了人们生活的差异。富爸爸经常告诉罗伯特和迈克，大部分人在财务上失败的最大原因是他们的做法过于安全。因为太害怕失败，所以才会失败。因为害怕亏钱，大多数人连投资的勇气都没有。二，怀疑和愤世嫉俗的心理。大部分人之所以贫穷，是因为在...
2019-11-26 17:22:28
220
原创 TiDB 学习第 3 天：TIDB 正式环境 TiDB-Ansible 部署
对于生产环境，须使用 TiDB-Ansible 部署 TiDB 集群。Ansible 是一款自动化运维工具，TiDB-Ansible 是 PingCAP 基于 Ansible playbook 功能编写的集群部署工具。本文档介绍如何使用 TiDB-Ansible 部署一个完整的 TiDB 集群。一、搭建集群前提准备生产环境中搭建会有硬件检验，最适合的硬件是SSD（固盘）时间同步需要严格按...
2019-11-25 14:16:19
797
原创 TiDB 学习第 2 天：使用 Docker Compose 快速构建 TiDB 测试集群
本文档介绍如何在单机上通过 Docker Compose 快速一键部署一套 TiDB 测试集群。Docker Compose 可以通过一个 YAML 文件定义多个容器的应用服务，然后一键启动或停止。注：对于生产环境，不要使用 Docker Compose 进行部署，而应使用 Ansible 部署 TiDB 集群。准备环境确保你的机器上已安装：Docker（17.06.0 及以上版本）D...
2019-11-24 23:20:56
453
1
原创 TIDB 学习第 1 天：TiDB 数据库简介
一、数据库种类 SQL NoSQL NewSQLSQL的主要问题是它难以扩展，因为它的性能随着数据库的变大而快速下降。 分布式也是有问题，NoSQL采取最终一致性原则，而不是所有四个参数在每个事务中保持一致。 这意味着如果在特定时间段内没有特定数据项的更新，则最终对其所有的访问都将返回最后更新的值。系统通常被描述为提供基本保证的原因（基本可用，软状态，最终一致性） — 而不是ACID。虽然这...
2019-11-23 23:28:18
1538
1
原创 穷爸爸与富爸爸读后感 (1)
最近读了穷爸爸与富爸爸的书籍，两个爸爸，两种不同的人生，下面是一些小感悟，希望和大家共勉！第一部分： 别让金钱支配你的生活为金钱工作很容易，特别是当你一谈到钱就感到恐惧的时候。正是出于恐惧的心理，人们才想找一份安稳的工作。富爸爸告诉罗伯特：“大多数雇员拿到工资单的时候感觉和你一样，总觉得钱不够，而且他们还要支付税款，而你拿到的还是100%的工资。在9岁时，你已经有了为钱工作的体验了。你只需...
2019-11-21 17:45:09
691
1
原创 HBase 学习第 6 天：HBase 数据结构及 RowKey 设计原则
HBase 数据结构由RowKey、Column Family、Cell、Time Stamp、命名空间等部分组成，以下的内容对 HBase 数据结构作详细介绍。一、RowKey和关系型数据库一样，HBase 数据库中也有一个表示唯一的键，这个唯一的键是 RowKey，HBase 中管道 RowKey 是用来检索记录的主键，它具有唯一性。HBase 中行的访问方式如下：scan:全表扫描...
2019-11-20 17:43:13
442
原创 Hbase学习第 5 天：HBase 命令行操作（下）
今天继续学习 HBase 命令行操作，详细操作如下一、DML 操作语言DML 是数据操作语言，用户可以通过这些语言实现对数据的基本操作，包括数据的增删改查HBase DML 命令有 append、 count、 delete、 deleteall、 get、 get_counter、 get_splits、 incr、 put、 scan、 truncate、 truncate_preser...
2019-11-19 17:50:21
780
2
原创 Hbase学习第 4 天：HBase 命令行操作（上）
HBase 为用户提供了一个非常方便的命令行使用方式——HBase Shell。HBase Shell 提供了大多数的 HBase 命令，通过 HBase Shell，用户可以方便地创建、删除及修改表，还可以向表中添加数据。列出表中的相关信息等。本节介绍一些常用的命令和具体操作进入 HBase 命令行HBase shell在 HBase 命令行中输入 help 查看帮助文档...
2019-11-18 23:13:56
579
原创 感谢 CSDN 让我认识你 -- 一位出众的博主
今天无意间点开一个博客排名为第二名的博主，点击进去被他 的介绍吸引，“自幼受贵州大山的熏陶，养成了诚实质朴的性格。经过寒窗苦读，考入BIT，为完成自己的教师梦，放弃IT、航天等工作，成为贵财一名大学教师，并想把自己所学所感真心传授给自己的学生，帮助更多陌生人。现于武汉大学攻读博士学位。 贵州纵美路迢迢，为负劳心此一遭。收得破书三四本，也堪将去教尔曹。娜美人生，醉美生活。他和她经历风雨，慢慢变老。...
2019-11-14 11:58:46
824
2
原创 HBase 学习第 3 天：HBase 数据模型及架构详解
一、HBase 数据库是什么HBase 是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库HBase 是一个利用 HDFS 来存储数据、利用 MapReduce 来处理数据、利用 Zookeeper 作为其分布式协同服务HBase 主要用于存储非结构化和半结构化的松散数据—NoSql 数据库HBase 的数据读写是将数据作标记，删除数据时并不是将数据直接在磁盘中删除，读取的时...
2019-11-13 15:22:38
429
原创 这些关于‘钱’的技巧我们需要运用得如鱼得水
本文是阅读微笑哥的就聊挣钱电子书和小狗钱钱后的感悟心得和经典语录，写下此篇的目的是让此文时刻提醒自己，人生途中需要怀揣梦想一直走向远方，不要迷茫、不要抱怨、不要担心，而更需要的是感恩、善良、毅力、恒心和思维关于生活和梦想我们可以把自己的生活情况想象成快要溺水的状态，这样你就只会想一件事，那就是活下去，如果把生活中的事情构建成蓝图，把梦想当成是一种急切的渴望 ，这样慢慢的你就会离成功不远了。...
2019-11-11 16:04:43
308
原创 Hbase 学习第2天：Phoenix 集成 HBase
一 、Phoenix 介绍Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据进行查询.Phoenix 是 java 语言编写的，作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描，并编排执行以生成标准的JDBC结果集。直接使用HBase API...
2019-11-05 17:16:39
239
原创 HBase 学习第1天：集群搭建
HBase 是 bigtable 的开源版本。建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。 Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。Hbase 数据库的安装前需要先安装 Hadoop 和 zookeeper 集群，具体步骤如下：1. Hadoop平台搭建流程1.1 组件安装总流程安装JDK ->zooke...
2019-11-01 17:57:10
139
原创 Spark-Sql的UDF功能实际运用、Spark-Sql中使用if返回多条件查询结果、Mysql中case-when多条件查询
项目实战之Spark-Sql的UDF功能实际运用、Spark-Sql中使用if返回多条件查询结果、Mysql中case-when多条件查询1、Spark-Sql的UDF功能实际运用 通过spark.udf.register("udfName", func) 来进行注册 使用：select udfName(name) from people 来直接使用a) 注册UDF方法val sqlC...
2018-11-29 23:05:30
6689
1
原创 关于Spark Context创建的代码优化和自定义隐式转换及使用
一、关于SparkContext创建的封装封装sparkContext创建实例，使代码浏览起来更高大上1、在resource目录下创建application.conf的配置文件设置一个程序运行时的开关，控制成是否是本地运行还是集群运行模式(cluster: 集群|local:本 机) dolphin.common.power=local2、使用枚举类封...
2018-11-28 21:45:00
381
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人