longshuo1995的博客

原创 mysql 注释

1.显示所有注释：show full columns from 表名;2.添加注释（某列）alter table 表名 modify column 字段名 字段类型 comment ‘注释’;

原创 Jinja2 基本语法

1.读取字典：{{ data.xxx }}{{ data['xxx'] }}2.流程控制语句(1)if{% if data.age == 18 %}{{ data.name }}{% elif %}xxx{% else %}{% end if %}(2) for 循环{% for i in n %}当前是第 x 条{% endfor %}...

原创 flask之request

获取请求参数get 请求：from flask import requestrequest.args['key']将请求参数转换成 字典：dict_args = request.args.to_dict()post请求from flask import requestrequest.form.get('key')...

原创 flask最小原形

@app.route("/hello/")在路由后面加上 / 斜杠当用户访问到了 /hello 时， 会被重定向到 带斜杠的地址。2.开启调试状态 – 代码改动， 浏览器中打印异常等app.run(debug=True)3.注册路由的另外一种方法：app.add_url_rule(’/hello’, view_func=hello)4.app.run 参数...

原创 python 虚拟环境之 pipenv

pip install pipenv 安装pipenv shell

原创 crontab Linux 例行任务篇

crontab -e 来书写定时任务 * * * * * (命令)分（1~59 时（0~23） 日（1~31） 月（1~12） 周（1~7）每xx执行一次 */1 **/1 * * * * sh /home/a.sh每 18：01 执行一次1 18 * * * sh /...

原创 alias 自定义命令映射(别名) ~/.bashrc 以及解决每次都启动终端都需要source文件的问题

新加入一行： alias 自定义命令=\”ssh [email protected]\” 相当于 输入自定义命令的时候， 会输入对应映射的命令。例如 alias db=\”mysql -uroot -pxxxx\”

原创 部分app抓包时候，额外的证书认证解决

1.下载xpose installer（一个平台2.7版本为佳） 2.下载just Trust me 插件 https://github.com/Fuzion24/JustTrustMe/releases/tag/v.2 3.最好 可以下一个 应用变量软件（app市场搜索） 模拟不同的手机类型...

原创 Windows关闭系列

1.关闭 window defendence打开“命令提示符（管理员）”，然后输入：reg add "HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Windows Defender" /v "DisableAntiSpyware" /d 1 /t REG_DWORD /f重启电脑即可生效，从此世界清净了。...

原创 SparkSQL简介

1.why: 易学易用+受众广大2.shark hive on spark的理念， 之后种种弊端。 从入门到倒闭shark终止之后， 两个分支： hive on sparkspark on SQL n多产品

原创 Scala 的基本使用(中册)

1.函数求值策略def foo(x: Int)call by value(求值确定且一定执行一次， 一般都采用这种方法) def foo(x:=>Int)call by name(有可能执行，也有可能不执行， 每次执行的时候回调用)2.匿名函数val foo = (a:Int, b:Int) =>a*b3.List操作1.拼接：var l1...

原创 HIVE

简单 SQL语句 拓展能力 （底层是使用MapReduce， HDFS) 统一的元数据（共享例如与SparkSQL）发展历程 2014年 0.13.0版本 – 向量化查询 和 tez运行在YARN和MapReduce之上， 能将SQL翻译为Spark作业， MapReduce作业等HIVE 运行架构 RM NN DN NM ...

原创 YARN（资源调度框架）

原创 Scala 的基本使用(上册)

1.函数式编程2.变量类型 val 常量 var 变量 lazy val 惰性求值3.数据类型 AnyVal 基本数据类型： Numeric type Boolean Char Unit(void) AnyRef 引用类型4.代码块 其实函数 = 代码块代码块的格式分为下列两种， 最后一个表达式是返回值： 单行：...

原创 Linux流量检测

采用nload命令 （需要安装nload） 安装方式如下：yum install gcc gcc-c++ ncurses-develwget http://www.roland-riegel.de/nload/nload-0.7.2.tar.gztar zxvf nload-0.7.2.tar.gzcd nload-0.7.2#./configure#make &am...

原创 undefined

解锁权限 在 finder 访达中， 打开 /private （command+shift+G）目录 右击 etc 并修改该目录权限修改host /etc/hosts 的文件 修改即可

原创 Hadoop

1.大数据概述2.Hadoop三大组件： HDFS， yarn ，Map-Reduce3.Hive快速入门及使用

原创 Linux安装python3 以及 pip3

1.在Python 官网上下载 python_xxx.tgz 安装包 2.解压（下载的源码）3.cd Python_xxx4.编译# cd Python-3.6.1# ./configure --prefix=/usr/local/python3 【注意这个为个人安放Python的路径】5.安装# make# make install6.为安放Python的路径里面...

原创 Spark 部署安装

下载spark源码（或者选择合适Hadoop版本对应） spark.apache.org 一般下载源码 命令行的方式 bin/spark-shell –master local[2]提示 可视化webUI 4040/4041端口3. ...

原创 markdown编辑器

语法与快捷键一.字体加粗：二级这里是 粗体粗体 这里是斜体#加粗##二级**粗体粗体** 快捷键：ctrl/command + b*这里是斜体* ctrl/command + i二.装饰引用 引用>引用 代码块： ctrl/command + k代码块示例链接链接-百度[链接-百度](http:/...

原创 mysql使用索引， 用存储过程检验

1。索引 查看索引： show index from 表名 创建索引 当字段类型不为varchar时， 可以不必填写字符串： create index 索引名 on 表名(字段名(长度))删除索引： drop index 索引名 on 表名 2。使用存储过程，存入 test_1 –>test999999 数据，用作查询...

原创 Linux进程端口号查询搜索命令

1.例如： 查询使用python3开启的spider的端口号： ps -a|grep python3 简洁 netstat -apn|grep python3 这个命令得到的结果较多。

原创 Linux 查看端口占用网速方法

1.安装nethogs： Ubuntu：apt-get install nethogs CentOS: yum install libpcap nethogs 2.命令 参数介绍： nethogs -h 显示帮助 使用： nethogs

原创 mysql数据库基本结构命令

1.显示当前主机中所有的数据库名称：show databases;2.switch 到某数据库：use 数据库名3.创建表：后面可接参数 primary key, auto_increment not null等create table table_name( column1 type(size) primary key, column2 typ...

原创 Linux -- 解压命令介绍

tar 命令用于压缩 / 解压 后面附带2个参数 参数1 字母组合起来 x 代表解压f 必须的，没有就不行

原创 ndarray.Numpy

Numpy :多维数组:特点：类型一致 字符串 > int > boolean类型强制转换 dtype参数，–》将浮点型 转成 整型3.

原创 jupyter noteboook 的 markdown语法

1.一级标题==2.二级标题--3.多级标题######54.段落：两个换行无序列表：* a* b * c * dab cd有序列表1. xxx2. xxxabcd zz分割线---

原创 Jupyter Notebook 魔术命令

1. ①%load 载入（相当于把那块代码拷贝到单元格cell中来运行） 可以导入本地路径（相对路径，绝对路径）， ②网络导入：可以导入超链接。 ③%pwd ④%whos 包含哪些变量 ⑤%xdel 删掉变量 ⑥%reset ⑦?变量 帮助 类似于help2.执行html，css(行内样式）–>markdown格式3.python code 支持html，css，js

原创 Jupyter Notebook编辑器

打开方式： 1. win 搜索，jupyter桌面应用 –不能控制打开位置2.命令行 jupyter notebook支持 Julia Python R 三种语言 核心：快速迭代和展示。 3.Files栏，Running栏 ， upload–>导入 相当于复制。4.常见功能操作： 1.修改名字 点击标题栏的 Untitled 修改名字。 2.工具栏

原创 Spyder编辑器

Spyder: 1.view 控制 界面布局2.重置：view–》window layout –》最后一个 reset3.布局风格：view–>windows layout–>hirizontal split4.代码风格：tools–》preferences–》syntax coloring5.虽然文件在不同的路径， 但是有一个命名的公共空间路径。 Variable explorer –》

原创 python数据分析入门

1.数据分析作为 数据科学/人工智能的入门， ①使用数据科学常用软件工具 ②掌握数据基础类库2.Python数据分析三大基础库 ①Numpy：数值计算库，ndarray ②Matplotlib：绘图库，pyplot ③pandas：数据分析库，Dataframe3. 数据挖掘 = 数据分析+机器学习+大数据（hadoop spark)4.数据分析

原创 flask的基本使用

1.基本使用流程from flask import Flask# __name__ 代表的是路径，能与静态文件产生关联之类的app = Flask(__name__)# 配置路由，定义方法@app.route('/extract', methods=['POST', 'GET'])def extract(): return 'haha'if __name__ == '...

原创 Flask框架介绍

1.Flask和 Django的对比 ①Django 提供一站式解决方案，MVT模式，有ORM–》数据库操作的那个东西， 后台管理等功能。 ②Flask轻巧，简洁，可拓展性是Flask最重要的特点。Flask通过第三方拓展包的形式来帮我们实现功能。个性化，可定制。2.丰富的拓展包示例 Flask-SQLAlchemy：操作数据库 Flask-Mail ： 邮件 Flask-WTF...

原创 搭建github博客

1.创建git账号（在github官网上，sign up）2.创建一个仓库（点击右上角的 + 然后点击New repository）仓库名称 要与Owner 【用户名】保持一致。用户名.github.io 只有这样才能够生成有效的blog 提交3.点击settings 设置参数 拉这页面到最底部。选择主题

原创 crawl spider的使用

1.创建一个爬虫项目：scrapy startproject news_spider1.1 进入到项目目录里面 cd news_spider 2.创建一个爬虫scrapy genspider -t crawl 爬虫名 域名 scrapy genspider -t crawl china_report “www.chinareports.org.cn” 3.参数介绍1.allow_domain

原创 gevent协程-配合爬虫使用

协程类似于多线程，但是协程的切换是程序内部执行的，对cpu的资源消耗较少。可以想象成是多线程的升级版本。使用：①打包+猴子补丁import geventfrom gevent import monkeymonkey.patch_all()②方法封装（该方法就是异步的了）g_list = []g_list.append(gevent.spawn(方法名,参数))gevent.joinall(g

原创 asyncio/aiohttp 的协程爬虫

1.asyncio是一个写协程的。1.导包import asyncio2.1.创建方法（里面带休眠）@asyncio.coroutinedef hello(): print('Hello world') yield from asyncio.sleep(1) print('Hello again!')2.2 方法也可以这样创建async def hello(): p

原创 正则中上箭头 ^ 这个符号的用法浅析

1.表示 开头 没有在[]里面就表示开头 '^abc'表示以abc开头 2.表示 非当位于[] 里面时候，是表示非的 例如 '[^abc]' 表示 除abc以外的其他字符3 . 特殊案例来啦：那在[] 里面如何表示开头呢？ []表示的是 or 我们只需要在 []中手动加上一个 | 就可以啦 例如 匹配开头or /or ~['^|/~']...

原创 mongodb 与 python3 交互

1.开启server windows的参考命令：mongod -dbpath d:/data data文件夹存在的情况2.插入数据， 自动就能创建数据库，数据表 非常友好。from pymongo import MongoClientclient = MongoClient('127.0.0.1', 27017)db = client.db_sitesdb...

转载 windows 自动更新关闭

话不多说 参看这篇百度经验把~~ 查看如何关闭windows的强制更新