- 博客(11)
- 收藏
- 关注
RSS订阅原创 pyspark报错 TypeError: sample() got an unexpected keyword argument ‘n‘
使用pyspark连接数据库获取相应符合条件的数据，然后随机抽样。import pandas as pddf1 = spark.sql(''' SELECT spe_id,item_num,item_bare_price,0 as label FROM rm_erp_purchase_in_stock_item_source where group_id in (1001) and order_in_stock_time b
2020-11-03 10:45:43
2773
1
原创 MySQL建表并将csv文件导入表的步骤及所遇问题
MySQL建表并将csv文件导入表的步骤及所遇问题步骤一：建表dim_bi_productspe_scdDROP TABLE dim_bi_productspe_scd;CREATE TABLE IF NOT EXISTS dim_bi_productspe_scd( BIProductSpeKey BIGINT ,BIProductSpeID BIGINT ,ProductSpecId
2020-09-27 16:19:00
1829
原创 调度运行shell脚本，报错line 12: $‘\r‘: command not found
在调度任务中运行shell脚本，遇到问题：./purchase_in_stock.sh: line 12: $’\r’: command not found原因：该shelll脚本在windows系统下运行，该系统每行的结尾是\r\n，在调度任务中是linux系统，该系统每行的结尾是\r，因此会报错。解决办法：将文件转换格式改为LF~LF：unix/linux/macos (\n)CRLF: windows (\r\n)CR: classic macos (\r)...
2020-09-27 11:37:06
788
原创 将数据导入kudu表（建立临时hive表，从hive导入kudu）步骤
步骤一 hue中选择impala，建立kudu表（注意：hue中选择hive无法建立kudu表，因为hive不支持）步骤二 hue中选择hive，建立hive临时表drop table dim_bi_productspe_scd_hive;CREATE TABLE if not exists dim_bi_productspe_scd_hive( BIProductSpeKey bigint COMMENT 'BI设计统一SpeKey' ,BI
2020-09-24 23:59:11
5981
原创 python采购风控-采购异常单价logistic算法实现及打标签注意事项
项目描述现在想用机器学习中的有监督学习算法来识别采购异常单价，但是问题是缺少打标签的数据。因此，首先，使用统计学（3sigma以及箱线图）的方法分别得到异常单项，取这两种方法的交集，然后按采购人汇总，发现数据还是很多，故取交集中的前10%的数据，得到异常数据。打标签Top10%的采购人，到3sigma（或箱线图）异常表中获取这些采购人下的所有异常单项，视为error=1的，放入表格data_false;在原始表格中删去error=1的这些数据，那么得到的就是正常的数据了，放入data_true.
2020-09-24 15:04:34
355
转载 python 二维数组的创建、获取行数以及列数
方法一import numpy as np x = np.array([[1,2,5],[2,3,5],[3,4,5],[2,3,6]]) #创建数组# 输出数组的行和列数print x.shape # (4, 3)# 只输出行数print x.shape[0] # 4# 只输出列数print x.shape[1] # 3 方法二In [48]: arr = [[1,4,7,10,15], [2,5,8,12,19], [3,6,9,16,22], [10,13,14,17,24
2020-08-27 11:28:37
2820
原创 查找与排序-冒泡、选择、插入、希尔、归并排序的python实现
搜索搜索是指从元素集合中找到某个特定元素的算法过程。搜索过程通常返回True或False，分别表示元素是否存在有序搜索def orderedSequentialSearch(alist,item): #有序搜索 (自己写的，还是有问题的) i = 0 while (i < len(alist)): if alist[i] ==item: print("true") break else:
2020-08-25 15:20:42
183
原创 算法与数据结构学习心得-队列与双端队列
队列队列：先进先出队列的基本操作Queue()创建一个空队列。它不需要参数，且会返回一个空队列。enqueue(item)在队列的尾部添加一个元素。它需要一个元素作为参数，不返回任何值。dequeue()从队列的头部移除一个元素。它不需要参数，且会返回一个元素，并修改队列的内容。isEmpty()检查队列是否为空。它不需要参数，且会返回一个布尔值。size()返回队列中元素的数目。它不需要参数，且会返回一个整数。队列的python实现class Queue: #队列操作实现，其实理解原
2020-08-19 09:34:20
251
原创 算法与数据结构学习心得-栈
栈：先进后出。典型场景：浏览网页，当前正在浏览的网页位于栈的顶端，最早浏览的网页则位于底端。如果点击返回按钮，便开始反向浏览这些网页栈的基本操作isEmpty() 检查栈是否为空。它不需要参数，且会返回一个布尔值。size() 返回栈中元素的数目。它不需要参数，且会返回一个整数push(item) 将一个元素添加到栈的顶端。它需要一个参数item，且无返回值。pop()将栈顶端的元素移除。它不需要参数，但会返回顶端的元素，并且修改栈的内容。peek()返回栈顶端的元素，但是并不移除该元素。它
2020-08-13 15:58:16
939
原创 算法与数据结构学习心得-链表
算法与数据结构学习心得-链表程序=数据结构+算法算法是为解决实际问题而设计的，数据结构是算法需要处理的问题载体线性表list列表中元素可以修改；而tuple元组中元素不可以修改线性表：包括顺序表以及链表链表单向链表：每个节点包括一个信息域（元素域）和一个链接域（下一节点的指针位置）单链表的操作is_empty() 链表是否为空length()链表长度travel() 遍历整个链表add() 链表头部添加元素append() 链表尾部添加元素insert(pos,ite
2020-08-12 17:52:27
558
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人