- 博客(47)
- 收藏
- 关注
RSS订阅原创 企业数据资产盘点与数据标准梳理方法
数据元的属性一般分为通用属性和行业属性，通用属性目前国家针对数据元定义了22个核心属性，针对每个行业的属性，企业里面可以自行定义新的属性，上文图1和图2里面就体现了不同行业针对数据元的属性是有差异的。数据资产盘点工作，将在此数据标准的指导下展开。针对扫描的数据存储位置，需要对数据进行识别和定义，标记数据内容，并基于数据内容和存储方式，明确数据的组织结构，形成库-表-字段的数据框架，即明确库中有哪些表、表内有哪些数据，结合数据发现的成果，绘制数据资产地图，将数据的存储位置、存储内容、存储量清晰的进行呈现。
2023-07-20 13:30:13
359
原创 产品经理的技能概述
产品经理要思考团队要什么样的人，这个岗位适合谁，不同的阶段我们需要怎样的人员介入。需求分级则是为了后续的产品设计准备的，我们要明确地区分什么是核心需求，什么是重要需求，什么是次要需求，不同的需求我们所投入的资源也会相应不同。产品经理要和开发、UI、运营、内容、测试相关部门或同事紧密沟通，了解他们手上的工作情况，资源配置情况，再结合产品的要求，做出合理的排期。产品经理这个岗位已经变得越来越重要，而且产品经理是个很有前途的工作，薪资高，发展稳定，所以对产品经理有兴趣的小伙伴可参加产品经理培训，系统的学习。
2023-02-01 13:37:13
509
转载 什么是T-BOX？
T-BOX作为无线网关，通过4G远程无线通讯、GPS卫星定位、加速度传感和CAN通讯等功能，为整车提供远程通讯接口，提供包括行车数据采集、行驶轨迹记录、车辆故障监控、车辆远程查询和控制（开闭锁、空调控制、车窗控制、发送机扭矩限制、发动机启停）、驾驶行为分析、4G无线热点分享等服务。T-BOX有各种各样的接口与总线相连，不仅包括传统的控制器局域网CAN（Controller Area Network）、局域互联网络LIN （Local Interconnect Network）以及调试接口RS232/..
2021-06-22 11:07:53
6358
原创 Mysql-数据库
-- 查看可用数据库show DATABASES;-- 使用某个数据库use mysql;-- 查看该数据库所有表show tables;-- 查看数据表结构desc user;-- 查看表数据select user,host from user;
2020-10-30 17:28:41
117
转载 【深度学习】外置显卡选购及搭建环境
卷首语：由于软硬件发展迅速，本文相关信息预计有效期到2019年上半年。为什么需要显卡？显然这是一个不言自明的问题，看看用CPU训练时长的绝望。DL是个烧钱的行当。为什么是外置显卡？可以这样：也可以这样：土豪可以出门左转了。对于已有笔记本，不想再添置一个机箱的人，外置显卡是性价比最高的选择。已经有人算好经济帐：最终我选择：那款外置显卡扩展坞？我的选择Mantiz。此处应有广告费。更多关于此款外置显卡的信息可点击这里查看。...
2020-09-23 09:00:41
3378
原创 机器学习、深度学习资料汇总
深度学习入门Fast.ai 2.0上线！自带中文字幕，所有笔记、资源全部免费！：https://mp.weixin.qq.com/s/W2iau9VEEocl20XlBP1Keg课程介绍https://www.fast.ai/2020/08/21/fastai2-launch/教学视频https://course19.fast.ai/index.html亚马逊链接https://www.amazon.com/Deep-Learning-Coders-fastai-PyTorch/dp/1
2020-09-07 16:05:06
168
转载 解读正则化 LASSO回归 岭回归
在机器学习的学习过程中，我们会经常听到正则化这个词，在开始入门学习的时候还经常与标准化混淆。到底什么是正则化呢？本篇我们将由浅入深详细解读什么是正则化，以及LASSO回归和岭回归的介绍。在正式开始之前，我们先了解几个相关基本概念。▍什么是过拟合？对于一组给定的数据，我们需要通过机器学习算法去拟合得到一个模型（对应图中曲线）。根据我们对拟合的控制和调整，这个模型可以有无数多种（一条直线，或各种形状的曲线等）。这么多种当中，哪一种是我们想要的最优结果呢？哪一种最好呢？我们评判模型好坏的标准是
2020-08-28 11:18:38
4791
1
转载 ggplot2(三)|coord 系列函数坐标轴转换
coord_ 系列函数可以改变xy轴的位置，默认使用 coord_cartesian()，我们可以改变成如下几种coord_cartesian 默认情况，指定参数则控制图形特定区域放大显示coord_fixed 图形伸缩变换coord_flip 横纵坐标位置转换coord_polar 弯曲横纵坐标（画饼图可以用）coord_map 将地图变成球状展示（这个我们以后讲到地图再专门说）coord_trans 转化数据coord系列函数只影响图形展示，不影响内部数据的值。即使用原数据作
2020-08-18 15:26:15
5691
转载 R语言客户端RStudio快捷键大全
Console Description Windows & Linux Mac 将光标定位到控制台 Ctrl+2 Ctrl+2 清空控制台 Ctrl+L Command+L 将光标定位到行首 Home Command+Left ...
2020-08-14 09:47:55
1569
原创 R语言安装使用
1、R包的安装与使用：http://www.360doc.com/content/18/1012/08/53349168_794029077.shtml2、怎样找到合适的R包：http://www.360doc.com/content/18/1012/08/53349168_794029175.shtml举例：查找广义线性模型GAM> library('sos')> findFn('gam')3、R语言数据的导入、导出http://www.360doc.com/con
2020-08-14 09:45:33
354
转载 WEB开发框架性能基准测试解读与趋势分析
WEB开发框架性能基准测试解读与趋势分析TechEmpower的《Web Framework Benchmarks》性能基准测试，是关注Web开发框架发展的重要途径。但是内容数据众多，每次看都耗费大量时间。这是根据Round17(2018-10-30)测试结果做的整理笔记，以及结合多轮结果做的趋势分析。Web框架性能排名首先，根据开发为出发点，排除了纯服务器和ORM不完善的框架。每种语言也仅仅选择了一两种性能靠前，比较知名的框架。专门的resty框架，也由于差异较大，没有收录。所得...
2020-08-12 09:42:34
548
1
转载 python数据可视化与Web前端应用结合包：pyecharts
什么是pyecharts？ pyecharts 是一个用于生成 Echarts 图表的类库。 echarts是百度开源的一个数据可视化 JS 库，主要用于数据可视化。pyecharts 是一个用于生成 Echarts 图表的类库。实际上就是 Echarts 与 Python 的对接。 使用 pyecharts可以生成独立的网页，也可以在 flask , Django中集成使用。pyecharts包含的图表 Bar（柱状图/条形图） Bar3D（3D 柱状...
2020-08-11 11:16:16
4492
原创 numpy 数组shape()
import numpy as np# t1 一维数组t1 = np.arange(12)print(t1,t1.shape)# 查看数组的形状print(t1.shape)# t1 二维数组t2 = np.array([[1,2,3],[4,5,6]])print(t2,t2.shape)# t3 三维数组t3 = np.array([[[1,2,3],[4,5,6]],[[7,8,9],[10,11,12]]])print(t3,t3.shape)# 结果[ 0 .
2020-07-27 17:22:28
1061
原创 35-36Python 学习笔记 —— OS模块常用接口
文件系统模块：OS目录 的属性和方法getcmd() : 获取当前工作目录chdir() : 改变当前工作目录chroot() : 设定当前进程的根目录listdir() : 列出指定目录下的所有文件名mkdir() : 创建指定目录makedirs() : 创建多级目录rmdir() : 移除目录removedirs() : 删除多级目录文件 的属性和方法mkfifo() : 创建命名管道，先进先出管道mknod() : 创建设备文件remove() :
2020-07-19 21:52:21
180
原创 安装、使用jupyter nootbook
1.打开Windows命令行窗口cmd2.查看已安装组件：python -m pip list2.jupyter notebook安装命令：pip install jupyter如果提示 pip 不是内部语言，则要把pip加到环境变量里，path=%path%;C:\Python\Scripts3.jupyter notebook启动命令：jupyter notebook4.启动之后，会自动启动jupyter notebook的浏览器页面5.点击new按钮下的Pyt.
2020-07-19 17:51:13
613
原创 接上期
11、求每门课程的学生人数及平均分，输出课程编号、对应学生人数、平均分SELECT course_id, count( DISTINCT student_id ) AS student_count, avg( score ) AS avg_scoreFROM scoreGROUP BY course_id12、求每门课程的学生人数及平均分，输出课程名称、对应学生人数、平均分方法一SELECT co.NAME, co.cours...
2020-06-10 17:53:32
177
原创 Mysql、Hive语法对比
Mysql——————学生表——----CREATE table student(student_id varchar(4) ---学生编号,name varchar(20) ---学生姓名,birthday varchar(10) ---学生生日,sex varchar(2) ---学生性别);CREATE TABLE `student` ( `student_id` varchar(4) COLLATE utf8mb4_unicode_ci DEFAULT...
2020-06-09 16:51:26
1046
转载 数据库中Schema（模式）概念的理解
在学习SQL的过程中，会遇到一个让你迷糊的Schema的概念。实际上，schema就是数据库对象的集合，这个集合包含了各种对象如：表、视图、存储过程、索引等。为了区分不同的集合，就需要给不同的集合起不同的名字，默认情况下一个用户对应一个集合，用户的schema名等于用户名，并作为该用户缺省schema。所以schema集合看上去像用户名。 如果把database看作是一个仓库，仓库很多房间（schema），一个schema代表一个房间，table可以看作是每个房间中的储物柜，user是每个s...
2020-06-08 14:13:45
225
原创 group by 分组查询、limit分页查询
group by 分组查询1、单独使用（毫无意义），类似于去重2、与group_concat()函数一起使用按固定字段，把字符用‘，’串联起来select gradeName,group_concat(stuName) from t_studentgroup bygradeName3、与聚合函数一起使用4、与having一起使用（限制输出的结果，即将查询结果筛选条件过滤）5、与with rollup一起使用（最后加入一个总和行）（1）对于int 类型的聚合...
2020-06-07 21:00:24
1113
原创 写SQL语句的小技巧
一、SQL总结写法 SQL的写法无非就是几种,关联查询,子查询,分组函数,各种函数的使用 1.首先根据要做的需求,先分析一下,需要用到哪些查询,例如要用到关联查询,就先把用到的表列出来,比如a,b,c三个表就先写出来,select * from a,b,c 前面的内容可以先放着不用谢,然后找三张表的之间的关联关系,这里要看的连接方式是自然连接,还是左连接,右连接等 2.举例: select * from a,b,c where a.id = b.aid and b.id =..
2020-06-05 13:51:04
1172
原创 MySQL练习
昨天闲逛的时候，碰到这么一个地方：免费的编程中文书籍索引由于没有联系到作者，于是只在这里放上一个链接，该贡献里面涉及到了很多优秀的学习编程的资源，也是一样希望可以帮助到大家。既然要学习数据库，就一定要明白什么事数据库（以下来自百度百科解释） ，通俗的来说，数据库就是用来存储信息的。数据库，简单来说是本身可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据进行新增、截取、更新、删除等操作。数据库指的是以一定方式储存在一起、能为多个用户共享、具有尽可能小的冗余度的特点、是与应...
2020-06-05 10:47:48
237
转载 学习 SQL 语言大纲
https://www.zhihu.com/question/19552975首先，sql是所有数据库查询的语言，sql由于本身结构化的特点，非常容易入手。针对不同的数据库，如hivesql、mysql、sqlserver、oracle等，sql语法会有所不同，但是总体上大同小异，只是细微处的差别。如果你是数据库小白，可以先补一下数据库知识；如果你有数据库基础的，只需要找些sql查询的习题来做一下，就会很快的得到提高；接着你想提高sql水平，进阶，就要学习一些比较高级的用法和技巧。.
2020-06-05 10:17:55
313
原创 Mysql中时间、字符串、时间戳之间转换关系
1、时间→字符串date_format(日期， 格式字符串str) ,str为转换后的指定字符串格式：select date_format(NOW(),'%Y-%m-%d %H:%i:%s')select date_format(NOW(),'%Y%m%d %H:%i:%s')2、字符串→时间mysql的数据进行分析时，经常会遇到将业务意义为时间类型的变量定义为字符串的情况。如果我们需要按照时间维度进行分析的话，首先先要将字符串转换为时间类型。str_to_date(字符串str..
2020-06-03 10:59:31
338
原创 sql server分组排序并取出每组中的第一条数据
使用SQL Server数据库在【分组排序并取出每组中的第一条数据】的场景下，很容易想到的是使用GROUP BY分组子句配合聚合函数。举个简单的例子，有一个YANGGBS表，表中有NAME和AGE两个字段，要求统计出每个NAME的最大AGE。SELECT AA.*FROM YANGGBS AA INNER JOIN ( SELECT NAME, MAX(AGE) FROM YANGGBS GROUP BY NAME ) BB.
2020-06-02 17:55:03
5619
原创 mysql判断某个字符串是否包含某个字符串的3种方法查询结果对比
总结下在MySQL里判断某个字符串是否包含某个字符串的3种方法。先举个简单的场景，比如要查询user表中爱好中有yanggb的记录。方法1：使用通配符%。通配符也就是模糊匹配，可以分为前导模糊查询、后导模糊查询和全导匹配查询，适用于查询某个字符串中是否包含另一个模糊查询的场景。select * from user where hobby like "%yanggb%";使用的场景局限于找到hobby中存在yanggb的记录（hobby为多个以逗号隔开的值），反之不行。方法2：使用M
2020-06-02 14:53:27
38163
转载 sql优化之大数据量分页查询（mysql）
当需要从数据库查询的表有上万条记录的时候，一次性查询所有结果会变得很慢，特别是随着数据量的增加特别明显，这时就需要使用分页查询。对于数据库分页查询，也有很多种方法和优化的点。谈优化前的准备工作为了对下面列举的一些优化进行测试，需要使用已有的一张表作为实际例子。表名：order_history。描述：某个业务的订单历史表。主要字段：unsigned int id，tinyint(4) int type。字段情况：该表一共37个字段，不包含text等大型数据，最大为varchar(500
2020-06-02 14:30:09
1007
转载 mysql生成随机id
MySQL中生成随机ID的函数是UUID()，但是这样生成出来的随机ID是36位带【-】符号的。SELECT UUID(); -- 37747019-90a2-11e9-9806-00505683703f我们可以配合REPLACE()函数替换掉【-】符号来生成32位的不带【-】符号的随机ID。SELECT REPLACE(UUID(), '-', ''); -- 62d1556390a211e9980600505683703f我们也可以配合UPPER()函数将小写字母转换为大写。S
2020-06-02 14:08:59
4679
原创 题目： 同一年同一个月份只有一条，但是一年有多个月 分析： a1对应的smonth里面的 1。年、月为列。
题目：同一年同一个月份只有一条，但是一年有多个月分析：a1对应的smonth里面的1。年、月为列。正解：1、用case whenselect ayear,sum(case when smonth=1 then samont else 0) as a1,sum(case when smonth=2 then samont else 0) as a2,sum(case when smonth=3 then samont else 0) as a3,sum(case ...
2020-06-02 11:24:05
310
转载 mysql中的find_in_set()函数
MySQL中提供了一个find_in_set()函数，用于检索一个字符串在一个字符串集合（以逗号分隔的字符串）中的位置，如果检索到了，则返回该匹配的字符串所在的位置；如果检索不到，则返回0。find_in_set(str, strlist)简单例子：select find_in_set('yanggb1', 'yanggb1,yanggb2,yanggb6'); -- 1select find_in_set('yanggb6', 'yanggb1,yanggb2,yanggb6'); --
2020-06-02 10:42:18
265
转载 SQL语言规范参考
公司有SQL语句规范的参考，这里特别做个笔记。书写风格1. 语句关键字应全部使用小写。2. 引用字符时应使用单引号。如：update testable set idcol=’abcd’。3. 连接符或运算符or、in、and、＝、<=、>=， +，- 等前后宜加上一个空格。否则容易导致以下类似问题。例如在语句select a–b from table中，a，b均为变量，拼写该语句时，如果a = 6，b = -3，则语句变为select 6--3 from table。--被视为S
2020-06-02 09:58:45
259
原创 数据库学习
1、MySQL学习资料https://zhuanlan.zhihu.com/p/216773632、sql语句规范参考https://www.cnblogs.com/yanggb/p/11008386.html3、SQL开发规范https://help.aliyun.com/document_detail/98796.html4、MySQL教程https://www.runoob.com/mysql/mysql-tutorial.html...
2020-05-25 16:21:12
145
原创 SQL时间戳日期时间转换
1、将时间戳转换为日期格式：比如1455504268→2016-02-15 10:44:28select register_time a,FROM_UNIXTIME(register_time,'%Y-%m-%d %H:%i:%s') as registerTime from newdevice device2、DATE_ADD()MySQL的DATE_ADD() 函数向日期添加指定的时间间隔。语法： DATE_ADD(date,INTERVAL expr type)date..
2020-05-25 15:53:27
14503
转载 客户数据中台（CDP）到底是什么？
现代营销依赖于数据。所有人都想从最基本的开始做起，了解客户是谁。这似乎很简单，但客户与业务互动渠道的激增，使这个简单的目标变得极其复杂。每个业务部门依赖的是客户数据的不同方面，他们都有自己的运用场景。销售部门依赖于CRM（客户关系管理平台） 售后部门主要看客服系统 市场营销部门关心微信平台 数据分析团队使用各类数据分析工具这些工具各自产生新的、孤立的、片面的客户数据， 却无法快...
2020-05-08 17:25:17
2739
转载 CRM、DMP、CDP，都是什么？有什么区别差异？
如果您不想多花人生中宝贵的十分钟，那么不用多考虑了，上CDP吧。如果您感兴趣CRM、DMP、CDP这几个概念，那么往下看。您必须拥有良好的消费者数据，以推动成功的营销活动、精确的分析和准确的报告，这是营销中的普遍真理。如今，驱动数据支持的技术变得非常复杂，并且导致许多营销人员感到困惑。除了核心营销数据库或者说CRM数据库，营销人员现在需要数据管理平台（DMP）和客户数据平台（CDP）来正确管理...
2020-05-07 16:37:09
801
原创 tableau怎么连接hadoop
tableau连接服务器Cloudera Hadoop，直接打开tableau连接肯定不行啦工具/原料 Tableau2018.3.1（64位） VMware Workstation Ubuntu hadoop2.5.0 hive0.13.1 方法/步骤 1 cd到你的hadoop安装目录下，分别运行以下命令： sbin/ha...
2020-01-11 09:45:30
1442
转载 Python 第三方非常规库
作者：程序员客栈链接：https://www.zhihu.com/question/24590883/answer/804748986来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。整个 Python 及其库的生态系统使它成为全世界用户（初学者和高级用户）的合适选择。它的成功和流行的原因之一是它强大的第三方库的集合，这些库使它可以保持活力和高效。在本...
2020-01-10 16:07:34
179
转载 Python模块汇总(常用第三方库)
模块定义计算机在开发过程中，代码越写越多，也就越难以维护，所以为了编写可维护的代码，我们会把函数进行分组，放在不同的文件里。在python里，一个.py文件就是一个模块优点：提高代码的可维护性。提高代码的复用，当模块完成时就可以在其他代码中调用引用其他模块，包含python内置模块和其他第三方模块避免函数名和变量名等名称冲突Python语言生态Python语言提供超过...
2020-01-10 15:39:19
2618
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人