7 开心果汁

尚未进行身份认证

我要认证

大家好!我叫赖德发,欢迎您来到我的博客。

等级
TA的排名 459

【数仓 概念理解】数据仓库建设:数据分层

数据分层的目的是更好的管理数据,对数据能有一个更加清晰的掌控。数据分层使的数据具有清晰的数据结构,便于进行数据血缘追踪,能够把复杂问题简单化,减少重复开发,屏蔽原始数据的异常和业务的影响。每个企业或组织由于各自业务、规范、目标不尽相同,分层的策略可能会有一些区分,通用的数据分层结构如下图所示。DIM(维表层) 所有维度表的集合DM(数据集市层) 面向数据应用,提供决策支撑DWS(数据服务层) 面向业务分析-维度建模-解决灵活分析DWD(数据明细层) 面向业务过程-3NF建模-解决上层分析的可复用性

2020-10-14 09:18:32

【NLP 自然语言处理】自然语言处理技术难点和挑战

一、**NLP 技术对标注数据依赖性较高,难以在标注数据稀缺的任务、语言或领域内发挥作用。**此前小米首席 NLP 科学家王斌在接受 InfoQ 采访时也曾表示,获得大规模的高质量标注数据永远是个难题。当前主流方法的效果取决于标注数据的规模和质量。为解决这一问题,可以采用基于大规模无监督数据的预训练模型,或者尝试半监督或无监督的方法,包括零样本学习(Zero-Shot Learning)或小样本学习(Few-Shot Learning)方法。二、第二是轻量级优质模型问题。当前的主流模型需要消耗大量资源进

2020-10-14 09:15:52

【python docker部署】docker 部署 Flask服务

Docker是一个用于开发,发布和运行应用程序的开放平台。Docker使您能够将应用程序与基础架构分开,从而可以快速交付软件。借助Docker,您可以以与管理应用程序相同的方式来管理基础架构。通过利用Docker的方法来快速交付,测试和部署代码,您可以大大减少编写代码和在生产环境中运行代码之间的延迟。1、docker安装一键安装命令:curl -sSL https://get.daocloud.io/docker | sh2、docker 部署Flask 服务创建文件夹docker_test,执

2020-09-30 13:07:39

【linux 内存占满】linux 内存排查技巧

1、执行 free -h 查看内存使用情况(base) [root@HK-AI sinoma]# free -htotal used free shared buff/cache availableMem: 31G 24G 766M 121M 6.2G 6.3GSwap: 15G 0B 15G(base) [root@HK-AI sinoma]# 2、内存不足,查看使用top5 内存的进程,命令 :top -d 5(base) [root@HK-AI sinoma]# top -d 5

2020-09-30 08:52:32

【python 读取hbase数据】happybase 轻松读取hbase数据集

HappyBase是开发人员友好的Python库,可与Apache HBase进行交互。HappyBase设计用于标准HBase设置,并为应用程序开发人员提供了Pythonic API以与HBase进行交互。在表面之下,HappyBase使用Python Thrift库通过其Thrift网关连接到HBase ,该网关包含在标准HBase 0.9x版本中。这个包非常好用,简单高效读取。官方文档学习点这里import happybaseconnection = happybase.Connection

2020-09-27 18:54:45

【pip 错误】No module named ‘pip._internal‘ 解决

pip 坏了,先执行python -m pip install --upgrade pipcmd下,输入如下命令: curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py python get-pip.py --force-reinstall即可解决。

2020-09-27 18:33:16

【XGBoost 时间序列预测】XGBoost做时间序列预测

XGBoost是用于分类和回归问题的梯度提升集成方法的一个实现。XGBoost是为表格式数据集的分类和回归问题而设计的,也可以用于时间序列预测。通过使用滑动时间窗口表示,时间序列数据集可以适用于有监督学习。下面我们一起来学习下:1、xgboost安装:pip install xgboost也可以使用scikit-learn API中的XGBRegressor包装类2、例子讲解让我们用一个例子来具体学习。设想我们有这样一组时间序列数据:time measure1 1002 1103

2020-09-05 14:30:41

【python 3.7.5 求解二次规划】MATLAB函数quadprog的python 实现

matlab 使用quadprog 函数,求解线性规划,二次规划等问题。那么如何保持跟matlab 相同的参数,python使用习惯呢,下面定义一个函数,符合matlab用户的使用习惯。简单例子如下:import numpy as npimport cvxoptdef quadprog(H, f, L=None, k=None, Aeq=None, beq=None, lb=None, ub=None): """ Input: Numpy arrays, the forma...

2020-09-02 11:12:54

【cvxopt 二次规划求解】python3.x安装凸优化cvxopt包求解二次规划

python 版本:3.7.5一、Windows 平台安装:1、下载cvxopt-1.2.5-cp37-cp37m-win_amd64.whl 文件https://www.lfd.uci.edu/~gohlke/pythonlibs/#cvxopt2、下载 numpy-1.19.1+mkl-cp37-cp37m-win_amd64.whlhttps://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy进入cmd 命令,进入下载路径,执行如下命令:pip u

2020-08-25 15:19:37

【python openopc】python3安装OpenOPC教程

Python安装OpenOPCOPC是一个工业数据读写标准,用户开发OPC客户端,进行连接OPC服务器,访问开放的数据接口,进行读写数据。下面我们进行python3 连接 opcwindows平台:以管理员身份运行cmd在以管理员身份运行的cmd窗口中输入命令 pip install OpenOPC-Python3x ,回车即可安装OpenOPC模块成功,如下图所示。安装成功后就可以使用import OpenOPC命令导入模块,如下图所示。linux 平台:linux 平台直接用 pi

2020-08-18 13:52:10

【自然语言处理 文本纠错】10分钟了解下文本纠错框架pycorrector

1、文本纠错包安装:pip install https://github.com/kpu/kenlm/archive/master.zippip install pycorrector注意:必须先安装kenlm包,再安装pycorrector,否则安装失败2、中文文本纠错任务,常见错误类型包括:谐音字词,如 配副眼睛-配副眼镜混淆音字词,如 流浪织女-牛郎织女字词顺序颠倒,如 伍迪艾伦-艾伦伍迪字词补全,如 爱有天意-假如爱有天意形似字错误,如 高梁-高粱中文拼音全拼,如 xing

2020-07-09 17:41:04

【python 共享文件夹】python开启共享文件夹服务

进入cmd命令:cd D:\深度学习\数据集python -m http.server 6789执行命令 python -m http.server 端口号,我这里演示指定端口号为: 6789 ,执行完成在浏览器上访问:http://127.0.0.1:6789/这个搭建是不是非常简单了,但这个共享服务却是非常实用的。...

2020-06-20 16:47:47

【redis 过期清理】10分钟了解下redis key过期如何清理

在Redis中,对于过期key的清理主要有惰性清除,定时清理,内存不够时清理三种方法,下面我们就来具体看看这三种清理方法。(1)惰性清除在访问key时,如果发现key已经过期,那么会将key删除。(2)定时清理Redis配置项hz定义了serverCron任务的执行周期,默认每次清理时间为25ms,每次清理会依次遍历所有DB,从db随机取出20个key,如果过期就删除,如果其中有5个key过期,那么就继续对这个db进行清理,否则开始清理下一个db。(3)内存不够时清理当执行写入命令时,如果发现内

2020-06-09 09:06:05

【深度学习 激活函数】激活函数tensorflow使用宝典

1、总体效果比较 ELU > leaky ReLU(及其变体)> ReLU > tanh > sigmoid。如果你关心运行时性能,那么你可能喜欢 leaky ReLU超过ELU。 如果你不想调整另一个超参数,你可以使用前面提到的默认的 α 值(leaky ReLU 为 0.01,ELU 为 1)。 如果你有充足的时间和计算能力,你可以使用交叉验证来评估其他激活函数,特别是如果你的神经网络过拟合,则为RReLU; 如果您拥有庞大的训练数据集,则为 PReLU。2、详细介绍

2020-06-06 15:58:34

【Microsoft visual】Microsoft visual c++ 14.0 is required

pip install 库时报错Microsoft visual c++ 14.0 is required。python3 版本 需要 Microsoft visual c++ 14.0解决方案:因此我们需要下载visualcppbuildtools full.exe。有两种下载途径:网页下载下载完后,选择自定义安装,如图所示安装圈出来的两个组件。一直点下一步,等待安装成功即可。...

2020-06-05 10:07:57

【python 可视化】精美展示你的机器学习项目

1、包介绍Streamlit是一个开放源代码的Python库,可轻松构建用于机器学习和数据科学的精美自定义Web应用程序。要使用它,只需导入它,然后编写几行代码,然后使用运行脚本即可。Streamlit监视每次保存时的更改,并在编码时实时更新应用程序。代码从上到下运行,始终从干净状态开始,不需要回调。这是一个简单而强大的应用程序模型,可让您快速构建丰富的UI。2、包安装pip install Streamlit3、官方文档https://docs.streamlit.io/en/latest.

2020-06-02 09:51:28

【模型 图片展示】OSError: `pydot` failed to call GraphViz.Please install GraphViz

1、安装包pip install pydot-ng pip install graphviz pip install pydot 2.安装了以上模块,但是还是报错误,发现GraphViz的可执行文件没有,需要下载可执行文件。下载地址:win10下载地址下载安装好之后,配置环境变量,加入path中去。...

2020-05-28 13:51:37

【python 获取本地mac地址】python获取本地ip、mac地址

python 获取 本地mac 地址,本地ip地址# -*- encoding=utf-8 -*-# 获取本机mac地址import uuiddef get_mac_address(): mac=uuid.UUID(int = uuid.getnode()).hex[-12:] return ":".join([mac[e:e+2] for e in range(0,11,2)])import socket#获取本机电脑名myname = socket.getfqdn(s

2020-05-18 17:28:50

【python 装饰器】五分钟学会Python装饰器

一、装饰器本质本质上就是一个高阶函数 ,指的是函数的函数,类似 导数的导数一样。二、任意参数在介绍装饰器的具体使用之前,我们先来了解和熟悉一下Python当中的任意参数。Python当中支持任意参数,它写成*args, **kw。表示的含义是接受 任何形式的参数 。举个例子,比如我们定义一个函数:def exp(a, b, c='3', d='f'): print(a, b,...

2020-04-29 09:33:01

【python 加速方法】破剑式-numba 提高python速度

python一直被病垢运行速度太慢,但是实际上python的执行效率并不慢,慢的是python用的解释器Cpython运行效率太差。“一行代码让python的运行速度提高100倍”这绝不是哗众取宠的论调。下面我们来看个例子:从1一直累加到1亿。import timedef foo(x,y): tt = time.time() s = 0 for i in range(x,y): ...

2020-04-26 16:38:53

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。