- 博客(127)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 Oracle大规模数据快速导出文本文件
哈喽，前几久，和大家分享过如何把文本数据快速导入数据库（点击即可打开），今天再和大家分享一个小技能，将Oracle数据库中的数据按照指定分割符、指定字段导出至文本文件。首先来张图，看看导出的数据是什么样子。用到的就是Oracle的spool命令，可以将数据库数据导出一个文本文件，而且也可以指定数据分隔符，其中!^是数据之间的分隔符。首先和大家分享一下，我的这个脚本是怎么写的，其中写...
2019-11-03 21:37:35
2692
1
原创 基于Web日志挖掘的个性化推荐系统（附源码）
个性化推荐系统实现该系统主要是使用的编程语言主要是R，然后配合css在样式上进行一定优化，使用shiny开发的一款web程序，主要实现的核心功能是基于spark的ALS算法的课程个性化推荐系统。首页界面如下图所示：该系统中的所有课程名称，课程图片以及课程链接均从百度传课爬取进行汇总得到的，因此点击每个图片均可以跳转至该课程在百度传课的页面。该系统中实现的主要功能有： 首页推荐...
2018-07-29 12:36:04
9628
15
原创 基于Spark ALS算法的个性化推荐
今天来使用spark中的ALS算法做一个小推荐。需要数据的话可以点击查看初识sparklyr—电影数据分析，在文末点击阅读原文即可获取。其实在R中还有一个包可以做推荐，那就是recommenderlab。如果数据量不大的时候可以使用recommenderlab包，之前也用该包做过电影评分预测模型（点击即可查看）。如果数据量较大还是推荐使用spark来进行计算。在spark中包含...
2018-05-18 21:55:12
3504
原创 基于 TensorFlow 的图像识别（R实现）
提到机器学习，深度学习这些，大家都会立马想起Python。但R的实力也不容小觑。今天就用R来演示一个基于TensorFlow的图像识别的例子。如果你想运行这些代码，就必须先安装配置好TensorFlow，我是在Linux系统上面运行的。如何配置TensorFlow尽量看看官方文档，虽然是英文的，但是最新的，也是最准确的。废话不说，直接来看代码，在代码中我也做了详细的注释，看起来应该不是很困难。...
2018-02-11 19:42:16
11822
3
原创 mysql 8.0创建远程连接用户
在虚拟机中，连接宿主机mysql数据库时，是无法直接连接，会出现如下错误。OperationalError: (1045, "Access denied for user 'root'@'DESKTOP-5KDQS68' (using password: YES)")在MySQL8.0版本中，需要两步实现。---创建远程连接的数据库用户，这里远程连接IP可使用ipconfig查看IPV4的地址create user '用户名'@'远程连接IP' identified by '密码';-
2021-04-04 23:24:14
1104
原创 10分钟爬取A股所有上市公司超千万条股票数据
最近，在tushare官方文档中，看到这个一个方法pro.stock_basic()，作用是可以爬取A股所有上市股票基本信息。然后我就试了一下，默认条件下可以爬取到A股上市的的所有股票基本数据，共4179条数据（截止20210306），数据主要包括股票代码、公司名称、公司地点、上市板块以及上市日期。 ts_code symbol name area industry market list_date0 000001.SZ...
2021-03-07 16:30:49
5106
原创 vue代理配置（vue+django前后端分离项目）
本项目是使用webpack初始化的vue项目。 "vue": "^2.5.2", "vuex": "^3.6.0", "webpack": "^3.6.0", "webpack-dev-server": "^2.9.1",设置后端ip，修改config/index.js文件 proxyTable: { '/api': { target: 'http://127.0.0.1:8000',//设置你调用的接口域名和端口号 别忘了加
2021-01-31 15:03:02
564
原创 风险度量之[下行风险]
马上就1024了，过几天，我也会搞一次送书活动，免费送给大家，数量也会和大家参与程度决定。前一段也搞过一次送书活动，但由于公众号文章排序的调整，很多人都没有看到，这次为避免粉丝们错过这次福利，大家可以提前把公众号设为星标。设置方法如下：言归正传，现在来讨论分析一下下行风险。N久前，分享了使用方差，即通过从收益率波动性的大小来评估风险大小，今天再来分享一下下行风险（Downside Deviaton）。何为下行风险，下行风险是从低于目标收益率的收益率评估风险大小。说白了，就是量化低于你的预期收..
2020-10-18 12:53:22
5701
原创 R语言报错：Error in scan(file = file, what = what, sep = sep, quote = quote, dec = dec, : n行没有x元素
今天在使用R语言读取一个txt文件时，报如下错误。 > data <- read.table("D:\\StudentTest\\评分.txt", sep="\t",header=T, fileEncoding="CP936")Error in scan(file = file, what = what, sep = sep, quote = quote, dec = dec, : 9行没有2元素在调整各个参数后，任然还是该错误，于是怀疑是否是数据文件的问题，于是，使用not
2020-08-29 13:54:29
48628
5
原创 tushare正确爬取 指数数据
相信很搞金融数据分析的人，都知道Tushare，一个免费、开源的python财经数据接口包。可以非常简单爬取股票、宏观经济数据、新闻时事、银行间同业拆放利率、甚至电影票房数据都可以爬取，比起国外的雅虎财经，爬取的数据那是非常快，另外一个优点就是返回的绝大部分的数据格式都是pandas DataFrame类型，可以直接用 pandas直接进行处理。今天就不介绍股票数据查询，直接用6位数字代码就行，网上也是一大堆资料。主要和大家分享一下，用tushare爬取股票指数数据，比如上证指数、上证50、沪深300这
2020-07-28 22:03:37
3463
1
原创 tushare正确爬取 指数数据
相信很搞金融数据分析的人，都知道Tushare，一个免费、开源的python财经数据接口包。可以非常简单爬取股票、宏观经济数据、新闻时事、银行间同业拆放利率、甚至电影票房数据都可以爬取，比起国外的雅虎财经，爬取的数据那是非常快，另外一个优点就是返回的绝大部分的数据格式都是pandas DataFrame类型，可以直接用 pandas直接进行处理。今天就不介绍股票数据查询，直接用6位数字代码就行，网上也是一大堆资料。主要和大家分享一下，用tushare爬取股票指数数据，比如上证指数、上证50、沪深300这
2020-07-28 21:49:41
3212
2
原创 tushare 金融数据获取（R语言版）
在上次 tushare正确爬取 指数数据文章后，看到后台有人留言说是希望能分享一个R语言版，那么好，你们要的R语言版今天来了。首先，R语言只支持tushare pro，不支持tushare，因此在使用tushare获取数据之前，需要注册后才能使用。library(Tushare)pro <- pro_api(token = '********** token *********')股票数据以平安银行为例：> pro(api_name = 'daily', ts_code
2020-07-28 21:42:08
3137
2
原创 NameError: name 'go' is not defined
最近在学习fbprophet时，按照安装步骤，搭建好环境之后，使用官方教程进行学习。在执行到下面这句时报错fig = plot_plotly(m, forecast) # This returns a plotly Figure具体报错为：NameError Traceback (most recent call l...
2020-03-02 23:01:57
2885
原创 搜狗·疫情数据爬取（Python）
上周已经分享过搜狗·疫情数据爬取（R语言），这次分享一下搜狗·疫情数据爬取（Python）不说废话，直接上代码。有什么问题，可以在留言区讨论。from urllib import requestfrom lxml import etreeimport reimport pandas as pdimport jsonurl="http://sa.sogou.com/ne...
2020-02-22 16:09:35
2064
原创 R语言连接MySQL报错：could not run statement: The used command is not allowed with this MySQL version
版本说明R版本：3.5MySQL版本：8.0RMySQL版本：0.10.19情景说明：使用RMySQL成功连接到MySQL数据库，可以进行查询操作，但在插入时报错，提示信息如下：con <- dbConnect(MySQL(), host="127.0.0.1", dbname="epid", user="root", password="1234")dbWrit...
2020-02-16 12:23:55
1058
原创 凯利公式助你获得更多收益
前不久，在张丹老师博客看到了一篇凯利公式的文章，感觉很有意思，但一些核心代码，博客上（http://blog.fens.me/finance-kelly/）并没有提供，仔细学习后，用Python实现了那些核心代码，如果需要的话可以在文末点击阅读原文在我的GitHub上进行查看。凯里公式是这样的：假设有一个游戏赌局，你赢的概率是80%，输的概率是20%，赢时的净收益率是100%，输时的亏损率也是...
2019-10-20 23:35:39
2140
原创 凯利公式助你获得更多收益
前不久，在张丹老师博客看到了一篇凯利公式的文章，感觉很有意思，但一些核心代码，博客上（http://blog.fens.me/finance-kelly/）并没有提供，仔细学习后，用Python实现了那些核心代码，如果需要的话可以在文末点击阅读原文在我的GitHub上进行查看。凯里公式是这样的：假设有一个游戏赌局，你赢的概率是80%，输的概率是20%，赢时的净收益率是100%，输时的亏损率也是...
2019-10-20 23:28:58
3002
原创 定时执行R脚本
哈喽，大家有没有经常重复的执行一个脚本，每次执行是不是很烦人？今天分享的这一篇文章，就是来帮助你解决这个烦恼。方法就是在Linux下设置定时任务，定时执行脚本，这样就不用每次手动执行，而且会节省很多时间，减少很多麻烦，毕竟科技因懒人而进步。首先说说定时任务工具crontab，crontab可以设置任务执行的时间，比如每月的1号，每天晚上12点，每周一等，设置也是非常的简单。crontab设置的...
2018-12-11 23:46:27
2870
原创 sqlldr，将数据批量导入Oracle数据库
哈喽，大家好，今天分享一个如何把文本数据快速导入到Oracle数据库的一个方法。首先介绍一下sqlldr工具，它是由Oracle提供，专本用于把文本数据导入到Oracle数据库。它需要两个文件，一个是文本数据文件，另外一个是ctl文件。ctl文件主要是配置一些参数，比如文本数据的分割符，首行或其他具体行需不需要跳过，导入到哪张表，字段都哪些，这些字段都是什么属性等等。首先我设计的一个表——...
2018-11-04 14:56:09
2063
原创 centos7安装Oracle12（完整版）
Oracle凭借各种优势，在一些大型企业应用非常广泛，今天来分享一波Oracle12C 数据库安装过程，可以自己搭一个环境，练练手，学习学习。首先说说我的搭建环境： centos 7 Oracle12c Oracle数据库的安装比较麻烦，但一般分为以下几个步骤： 下载Oracle 配置系统环境（过程最为复杂） 安装Oracle 防火墙等的...
2018-11-03 16:33:05
24773
9
原创 Windows10看视频出现蓝屏重启
原因：主要是因为系统磁盘出现问题。解决方法以管理员身份运行CMD，输入：chkdsk C: /fchkdsk D: /f这分别是对C,D盘进行修复的命令，建议每个盘都修复一下。输入之后会提示安排在下一次重启时进行磁盘检查，输入Y注意：如果说提示卸载磁盘卷时建议输入N，然后重启，系统会自动修复，不过时间差不多会有三四分钟，不同电脑会有一定差异，注意电量是否充足。...
2018-08-12 10:06:47
9237
1
原创 python对象属性查看
在很多情况下，我们需要查看一个对象的属性，包括它是什么类型或者都有哪些方法？今天就总结一下在Python中有哪些函数可以查看对象属性。1. type()type函数用于基本类型的判断，比如int，str等，也可以判断该对象属于那个函数或类，但对于继承类来说不是很方便。2. isinstance()isinstance函数可以用于基本类型的判断，也可以用于对继承类的判断。3.di...
2018-08-04 15:09:03
9185
原创 安装docker之后电脑无法关机
我的电脑系统是Windows10，在安装好docker之后，发现电脑一直无法正常关机，只有强制关机才可以。解决方法：1.卸载docker。将docker安装在虚拟机上面，因为docker安装在Windows上面，真心不好用。2.关闭HYper-V。如图，在程序卸载面板，点击启用或关闭Windows功能，取消HYper-V前面的 √ 即可。...
2018-07-29 12:32:58
1942
原创 爬虫 | 正则表达式提取腾讯教育新闻链接及图片链接
前面的爬虫都是通过标签来爬取的，今天就分享一个小例子使用正则表达式来提取网页信息。如果你对正则表达式不熟悉，可以查看我之前写的R正则表达式这篇文章。它对R几个常用正则表达式进行了详尽的解释，包括参数说明，函数区别，正则表达式转义等都有介绍。今天通过爬取腾讯教育（http://edu.qq.com/）网页的所有关于教育新闻的链接，另外也爬取图片链接。提取新闻链接首先我们来分析一些教育类新闻链接的特点...
2018-05-18 18:50:29
1659
原创 R语言 赋值符号 的区别
R语言赋值可以用=或<-，一般都建议使用<-，那你知道这两个之间的区间吗？那你有没有见过‘<-’和‘=’这种赋值方法吗？今天就来和大家聊聊这基本的赋值符号都有哪些区别。首先我们来看看符号的优先级，和java,c这些编程语言的优先级类似。下面这些都取自R帮助文档，输入?Syntax即可查看，它是根据优先级从高到低排列的。:: ::: access variables in a...
2018-05-18 18:48:30
8297
原创 中文乱码，也许这个小技巧可以帮到你
我们都知道R对中文是真的很不友好。即使把encoding设置成UTF-8还是GBK等，它有时不听话的还是依旧乱码。有人说在设置里面把默认字符集编码设成utf-8，不过试了，没用！比如我原本数据是左边这种这个样子，读到R里面却成了右边这个样子。这该情何以堪啊，我待R如初恋，R却虐我千万遍。虽然在Linux系统下使用Libreoffice calc打开时，可以选择字符集类型，只要选择合适的字符是不会乱...
2018-05-18 18:44:57
4930
3
原创 安卓手机安装R
上次给大家推荐了一款学习R的APP，结果有人嫌弃不能敲代码，今天就再了给你推荐一款可以敲代码的APP——termux。该软件可以在你的手机上面直接模拟出一个Linux环境，这样你也就可以在上面安装R了。该软件安装R非常方便，打开软件，只需要输入以下几步就可以了，网速快的话四五分钟就可以装好：#建立storagetermux-setup-storageexport EDITOR=viapt edit...
2018-04-25 15:14:52
10200
1
原创 推荐一款学习R的APP
最近手机系统更新到安卓8.0，装了谷歌应用商店，走到墙外发现了许多好用的东西，今天给大家分享一款学习R比较好的APP——R programming solution。这款软件特别适合初学者，它是从R的基本操作开始（软件安装），同时配又一些简单的代码以及运行结果。由于太过详细导致截图太长（左边），所以下面只剪裁部分图片。这款软件不仅有代码例子，部分运行结果都可以显示，如上图（右边），代码绘出来的图片...
2018-04-25 13:53:30
7265
原创 R语言爬取imdb电影海报
提前声明，这不是一个好的例子，所以不要向我学习。让我先冷静一下！OK，开始，今天我们开始从下面链接爬虫。http://www.imdb.com/search/title?count=100&release_date=2016,2016&title_type=feature。打开页面如下：总共有100页，包含电影1万多部。我只爬取了2000个。（PS：等我截下面这张图时顺序已经和原来...
2018-04-25 13:48:44
1800
原创 初识sparklyr—电影数据分析
这篇文章是初次使用sparklyr扩展包来进行一些数据分析，对Spark牵扯不是很多。使用的数据是movieLens 100k，这份数据包含943个用户对1680部电影的评分数据，如需获取数据请在文末点击阅读原文。准备工作#安装sparklyr包install.packages("sparklyr")library(sparklyr)library(dplyr)sc <- spark_co...
2018-04-25 13:47:00
1041
原创 R语言日期数据处理
在处理一些数据中，我经常遇到一些日期数据，今天就来说说对于不同格式的日期数据该怎么处理。下面是一些常用来处理的函数。as.Date(x, ...)## S3 method for class 'character'as.Date(x, format, ...)## S3 method for class 'numeric'as.Date(x, origin, ...)## S3 method fo...
2018-04-25 13:45:48
19992
1
原创 Rstudio连接spark失败
在cmd下输入：spark-shell可以连接到spark，但在rstudio里面使用 sc <- spark_connect(master = "local")连接报错。这种情况是权限不足。解决办法：关闭 rstudio，重新以管理员身份打开重新连接即可。...
2018-04-18 15:04:55
1269
2
原创 搭建一款属于你自己的图像识别系统
上一篇文章是一篇关于使用TensorFlow和R语言的一个图像识别，今天就用shiny将它包装成一个小程序。shiny程序分为两个部分，一个是ui.R，一个是server.R。ui.R实现的是前端，server.R实现的是服务器端。我的ui.R是在Windows系统上面写的，准备在写server.R的时候再在Linux上面写，因为总感觉在Windows下方便许多。为了使界面更加美观，我在ui.R里...
2018-03-02 18:25:19
19489
7
原创 聚类分析简单介绍（附R对应函数介绍）
聚类分析是一种机器学习领域最常用的分类方法，它在在客户分类，文本分类，基因识别，空间数据处理，卫星图片处理，医疗图像自动检测等领域有着广泛应用。聚类就是将相同，相似的对象划分到同一个组中，聚类分析事前不需要参考任何分类信息，可以通过判断数据表特征的相似性来完成对数据的归类。在聚类分析中，观测值的类别一般情况下是未知的。我们希望将观测值聚类为合适的几个分类。聚类在机器学习中就是无监督学习。今天来介绍
2018-02-04 21:40:02
10618
原创 R语言关联分析之啤酒和尿布
关联分析概述啤酒和尿布的故事，我估计大家都听过，这是数据挖掘里面最经典的案例之一。它分析的方法就关联分析。关联分析，顾名思义，就是研究不同商品之前的关系。这里就发现了啤酒和尿布这两个看起来毫不相关的东西直接存在的微妙关系。最经典的关联分析算法之一就是Apriori算法，也是数据挖掘十大算法之一。在R中就有一个包可以做关联分析——arules和arulesViz，前者
2018-01-12 16:58:17
5168
翻译 R | 对亚马逊新总部可能位置进行可视化
前不久，亚马逊宣布在寻找一个城市建立第二个总部。 他们对这个城市的标准是超过100万人，同时这个城市也要人才济济。 在一个新闻网站上面发现，我发现了一些可能的城市名单，他们都有超过100万的人口，而且每个城市都是相当多的人才。 https://www.cbsnews.com/news/amazon-hq2-cities-location-choices-new-second-headquar...
2017-10-28 15:54:58
613
原创 R语言文件下载：谁来帮我把这个128个音频下载一下
谁来帮我把这个128个音频下载一下，一下一下点，手都发麻了。链接在这http://download.dogwood.com.cn/online/gfxz2018/index.html。让舍友帮忙下载，结果给我说他打王者荣耀输了8场，今天必须要赢一次。然后我就一个人默默的想办法。后来我在网上搜到了一个函数——download.file()，它今天可算是救了我一条命。它的作用得R可以从互联网上直接把数据
2017-09-06 01:23:52
3583
原创 一键运行R脚本
你平时都是怎么运行你的R脚本的呢？是打开R还是打开Rstudio再运行你的R脚本的呢？你不觉得这样很麻烦吗？今天就给你教一招，简单方便，也不用修改环境变量，让你的脚本像启动程序一样，点一下就自动执行了。首先我们新建一个记事本，写入下面代码。写完之后保存，将记事本的后缀.txt改成.bat保存。一. 使用R.exe程序运行你的脚本（1）当脚本与bat文
2017-08-11 16:42:10
21285
1
原创 Python导入sciry包出错
今天说来学学Python，在import scipy时出现错误。后来在网上查阅资料，说是需要安装numpy+mkl，但我从http://www.lfd.uci.edu/~gohlke/pythonlibs/下载好之后，使用pip install命令安装时出现如下错误：Traceback (most recent call last): File "d:\users\henry wang
2017-07-13 17:26:45
1036
R语言函数使用说明
2016-03-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人