- 博客(143)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 openai function call stream调用指南
对于function call，我们会调用两次openai接口，如果有function需要调用的情况下，如果没有就只会调用一次openai接口。
2024-03-25 10:33:17
862
原创 overleaf编辑表格
begin{tabular}{|c|c|c|} 和 \end{tabular} 定义了一个 tabular 环境，该环境中的每个行都是由 & 分隔的单元格，每行结束时都使用 \。在这个例子中，\begin{table}[h] 和 \end{table} 定义了一个表格环境。最后，\caption{表格的标题} 添加了一个标题， \label{tab:my_label} 添加了一个标签，以便在文档的其他地方引用该表格。{|c|c|c|} 定义了列的对齐方式和垂直线的位置。\hline 插入一条水平线。
2023-05-30 16:03:06
4587
原创 怎么样才能在Python中确保对象只能一个被实例化
单例模式是一种设计模式，它限制了一个类只能有一个实例。当整个系统中需要一个协调各个部分的唯一对象时，这种设计模式就非常有用。例如，配置管理器、日志记录器或者数据库连接池等场景都可能需要单例模式来实现。
2023-04-25 19:22:55
809
1
原创 强化学习论文解读之FinRL-Meta: Market Environments and Benchmarks for Data-Driven Financial Reinforcement Lear
FinRL-Meta是一个基于Python的金融强化学习框架，旨在帮助金融领域的研究人员和量化投资者利用数据驱动的方式来解决投资问题。本篇博客将介绍FinRL-Meta框架的设计思想、应用场景以及相关教程。该框架具有易用性、高效性和灵活性等优势，可应用于多种金融领域问题的解决，例如投资组合优化、股票预测和交易策略等。如果你是金融领域的研究人员、量化投资者或对金融机器学习感兴趣的开发者，那么本篇博客将为你提供有用的信息和实践指导。
2023-04-21 17:03:02
413
原创 强化学习论文解读之FinRL-Podracer: High Performance and Scalable Deep Reinforcement Learning for Quantitative
FinRL-Podracer是一种高性能、可扩展的深度强化学习框架，旨在帮助金融研究人员和量化交易员通过GPU云平台预测股票趋势。本篇博客将介绍FinRL-Podracer的特点和优势，并展示如何使用该框架构建深度强化学习模型来预测股票趋势。此外，本文还将探讨如何在金融领域使用MLOps（机器学习运维）来部署和管理模型。如果你是金融研究人员、量化交易员、机器学习从业者或对金融领域深度强化学习感兴趣的读者，那么本篇博客将为你提供有用的见解和实践指导。
2023-04-21 15:37:17
256
原创 强化学习论文解读之Explainable Deep Reinforcement Learning for Portfolio Management: An Empirical Approach
深度强化学习在组合管理中显示出了优异的性能，但这些模型的决策过程通常难以解释，限制了它们在实际应用中的应用。本博客将对一篇名为“可解释的深度强化学习在组合管理中的实证方法”的研究论文进行全面的概述。该论文提出了一种实证方法，用于解释深度强化学习模型在组合管理任务中的决策过程。通过将此方法应用于实际金融数据集，作者展示了该方法如何提供深度强化学习模型决策过程的洞察力。本博客将为对AI驱动的组合管理感兴趣的量化交易员、AI研究人员和金融专业人士提供有价值的信息。
2023-04-21 13:58:20
208
原创 强化学习论文解读之Deep Reinforcement Learning for Automated Stock Trading: An Ensemble Strategy-深度强化学习在自动股票交易
股票交易一直是高风险、高回报的领域，因此许多投资者都希望能够找到一种有效的自动化交易策略来获得更高的投资回报率。最近，一篇关于使用深度强化学习算法实现自动化股票交易策略的论文引起了广泛关注。本篇博客将介绍该论文的方法和实验结果，以幽默的例子讲解如何利用深度强化学习算法构建集成策略，并在股票交易中实现自动化交易。如果你是量化交易员或AI工作者，那么本篇博客将为你提供有用的思路和实践指导。
2023-04-20 10:15:00
356
原创 强化学习论文解读之FinRL: A Deep Reinforcement Learning Library for Automated Stock Trading in Quantitative
随着深度学习和强化学习的迅猛发展，自动化股票交易已成为许多量化交易员和金融工作者所关注的领域。为了帮助初学者更轻松地构建实用的DRL交易代理，FinRL库应运而生。FinRL是一种基于Python的深度强化学习库，专门用于解决量化金融问题。本篇博客将介绍FinRL库的原理和应用，并展示如何使用FinRL库轻松训练实用的DRL交易代理。如果你是量化交易员或AI工作者，那么本篇博客将为你提供有用的思路和实践指导。
2023-04-19 21:02:02
314
原创 强化学习论文解读之Practical Deep Reinforcement Learning Approach for Stock Trading-实用深度强化学习方法在股票交易中的应用
在现代金融市场中，股票交易被认为是高风险高回报的领域之一，许多投资者试图利用各种交易策略来获得更高的投资回报。而强化学习，作为一种先进的人工智能技术，已被广泛应用于股票交易中。本篇博客将介绍深度强化学习在股票交易策略优化中的实践应用。我们将深入探讨如何使用马尔可夫决策过程（MDP）和深度神经网络来构建优化的股票交易策略，从而提高投资回报率。如果你是研究生、量化交易员或AI工作者，那么本篇博客将为你提供有用的见解和实践指导。
2023-04-19 15:08:00
253
原创 解决使用Auto-GPT本地部署时无法连接Google的问题和无法连接openai的问题
在这篇博客文章中，我们将介绍如何解决使用本地部署时遇到的无法访问Google的问题。文章的目标受众为编程者和AI工作者。Command google returned: Error: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。
2023-04-16 23:54:30
4026
14
原创 强化学习中DQN算法的相关超参数背后的意义
决定智能体学习环境时使用的策略网络结构，如多层感知机策略（MlpPolicy）或卷积神经网络策略（CnnPolicy）。0表示无输出，1表示信息消息（如使用的设备或包装器），2表示调试消息。: 软更新系数（“Polyak更新”，取值范围0到1），默认值为1表示硬更新。: 用于训练的环境。: 控制计算滚动统计数据时使用的窗口大小，影响评估模型性能时的平滑程度。: 决定存储过去经验的缓冲区大小，影响智能体从历史数据中学习的能力。: 控制未来奖励的折扣程度，影响智能体对即时和未来奖励的重视程度。
2023-04-14 15:38:21
3121
2
原创 强化学习中on_plicy和off_policy最大的区别
策略更新方法可以分为两类：On-policy（在线策略）和Off-policy（离线策略）。它们之间的主要区别在于如何使用经验（状态、动作、奖励和下一个状态）来更新智能体的策略。总之，On-policy和Off-policy方法之间的最大区别在于它们如何使用经验数据来更新策略。On-policy方法仅使用当前。
2023-04-13 16:18:07
1129
1
原创 dataworks自定义函数开发环境搭建
自定义函数开发环境搭建1.根据教程搭建好客户端odpscmdhttps://help.aliyun.com/document_detail/27971.html2.用idea安装MaxCompute Studiohttps://help.aliyun.com/document_detail/50892.html3.连接dataworks项目https://help.aliyun.com/document_detail/50855.html4.编写自定义函数https://help.aliyun.co
2022-07-01 16:33:53
756
原创 datax-osswriter代码解析
首先我们先查看一下osswriter插件的目录，有个具体的印象目录下面的doc文件就是osswriter的markdown文档，可以先阅读一下。然后在src/main目录下面有assembly文件夹和java文件夹，assembly里面是打包的xml可以不用管，主要看java文件夹里面的代码里面有个util文件下面的ossutil主要用于初始化oss的客户端constant文件主要用于记录一些固定的常量，比如刚刚上面初始化oss客户端的超时时间key文件主要用于记录一些oss重要的关键字OssWriterE
2022-06-02 17:47:15
625
1
原创 一文了解Clickhouse
Clickhouse调研ClickHouse是什么ClickHouse是一个存储计算一体的工具，其与spark，flink等大数据框架不同的在于它有自己的存储层，在数据压缩，存储上做了更多的优化，所以导致它在某些数据处理能力上比其他工具快上了不少，毕竟一般框架只是在计算层面上下功夫做优化。为什么选择ClickHouseClickHouse有非常多的特点，但这里我只选择我认为比较重要的说：灵活多变：分析场景下，随着业务变化要及时调整分析维度、挖掘方法，以尽快发现数据价值、更新业务指标。而数据仓库中
2022-05-05 12:03:37
3049
原创 从0到1构建数据仓库思路
从0到1构建数据仓库思路：0.建议先和运营构建业务数据矩阵如下表，是业务数据矩阵的表示方法，其中每一列是一个业务主题，每一行是一个数据主题。业务主题：我们可以将一个业务主题理解为运营的一条业务，或者说数据仓库仓库待建设的一个数据集市。数据主题：一般来讲，我们会侧重于将数据主题理解为行为数据主题，比如说登陆、点击、下载等行为主题。如果了解了什么是业务数据矩阵，那么它的作用就很容易被理解。简单来讲：能够帮助数据仓库架构师清晰地梳理整个数据体系。能够帮助决策者（各位老板）从宏观的角度了解数据
2022-04-28 14:09:27
953
原创 修改datax，Java获取mongo，Document转换成json，遇到的类型问题，用JsonWriterSettings解决
java $numberlong 解决方法问题：我们存在mongo中带有数据类型，如图
2022-04-25 18:04:32
2108
2
原创 回忆，这一年（华师918血泪贴）
回忆，这一年（华师918血泪贴）考研前夕回想一年前，当时这个时候我应该刚通过了部门的实习答辩，拿了不错的评分，不出意外就等着签三方了，打算骑牛找马看看秋招的机会。但是双非出身的我，一直希望摆脱那种囚笼困境，需要付出比常人更多才能得到人家脱手可得的东西的感觉不好受，再加上互联网工作每天的工作量拥有处于超负荷状态，而我又是那种没做完事情全身都难受的人，每天下班前的一句话就是“每天再搞，回家了”，而不是“今天干完了，可以回家了”。自己感兴趣想研究的东西一拖再拖，我觉得可能我选择工作的话就与自己想研究的东西
2022-04-20 08:38:22
5815
16
原创 手把手教数据仓库建设dataworks（小白版）
阿里云数据仓库体系目前构建数据仓库的技术主要为开源框架，像Hadoop，hive，kafka，flink，spark等等，如果自己从0到1去搭建整个数据仓库工作量比较大，且对于性价比不高，故我们采用现成的阿里云提供的数据仓库，阿里云技术框架如下：阿里云产品介绍类比DataHub数据总线Kafka+dataxE-MapReduce开源大数据计算框架上面所说的从0到1用开源框架去搭建数据仓库，适用于已搭建了数据仓库的公司进行改造升级。MaxCompute阿里黑盒大
2022-04-15 22:38:24
5293
2
原创 大白话理解数据仓库建设
数据仓库理论是指导实践的基石，所以先过一遍理论可以为未来操作提供良好的基础。什么是数据仓库（what）构建面向分析的集成化数据环境，为企业提供决策支持。说白了就是存放很多按主题分类且不常变动数据的地方，这些数据主要有几个特征分别是面向主题，集成的，相对稳定的，反映历史变化的。数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因，数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境。为什么要用数据仓
2022-04-13 09:43:43
2029
原创 大胆一点，让Golang成为新一代科研的编程语言
大胆一点，让Golang成为新一代科研的编程语言前言路人甲：科研的编程语言不是Python，R，C这些吗，Golang是什么东西。路人乙：作者什么鬼，不会是个标题党吧。这可能是大多数点开这篇文章人的心声吧，但各位客观莫着急，我尽量用较短的语言从数据处理，性能对比等等方面来说明Golang为什么可以用于科研。Go是什么？Go语言是谷歌公司在2007年发布的静态编译型语言，其目的是为了取代c++，作为c的补充，关于这一点其实linux之父linus在2007年就说过c++是一个很糟糕的语言，主要原因
2022-04-04 22:52:12
1948
原创 Kafka分布式集群部署
Kafka分布式集群部署Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。1.下载Kafka并安装1）下载Apache版本的Kafka。2）下载Cloudera版本的Kafka。2.Kafka集群配置1）配置server.properties文件vi kafka_2.11-2.4.0#节点唯一标识broker
2022-04-03 00:27:07
495
原创 HBase分布式集群部署
HBase分布式集群部署必看配置千万条，网络第一条。配置不规范，bug改到吐。内外ip要分清，本机配置内ip，连接请用外ip1.准备HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。HBase 是Google Bigtable 的开源实现，与Google Bigtable 利用GFS作为其文件存储系统类似， HBase 利用Hadoop HDFS 作为其文件存储系统；Google 运行MapReduce 来
2022-04-03 00:15:01
842
1
原创 高频算法题（面试前刷，持续更新）
面试高频算法704. 二分查找难度简单585收藏分享切换为英文接收动态反馈给定一个 n 个元素有序的（升序）整型数组 nums 和一个目标值 target ，写一个函数搜索 nums 中的 target，如果目标值存在返回下标，否则返回 -1。示例 1:输入: nums = [-1,0,3,5,9,12], target = 9输出: 4解释: 9 出现在 nums 中并且下标为 4示例 2:输入: nums = [-1,0,3,5,9,12], target = 2输出: -1解释
2022-04-02 23:57:11
992
原创 大数据集群安装02之Hadoop配置
Hadoop配置必看配置千万条，网络第一条。配置不规范，bug改到吐。内外ip要分清，本机配置内ip，连接请用外ip1.下载上传插件rz【安装命令】：yum install -y lrzsz2.上传hadoop压缩包【上传命令】：## 上传压缩包rz## 压缩tar -zxvf [包名]3.配置hadoop(1)编辑.bashrc文件在所有节点的.bashrc文件中添加如下内容：(也可以在profile文件中添加)# jdkexport JAVA_HOME=/roo
2022-03-24 17:22:15
2619
原创 设计模式-单例模式（懒汉式，饿汉式）
设计模式1.单例模式在某个服务器程序中，该服务器的配置信息存放在一个文件中，这些配置数据由一个单例对象统一读取，然后服务进程中的其他对象再通过这个单例对象获取这些配置信息。这种方式简化了在复杂环境下的配置管理。单例的实现主要是通过以下两个步骤：将该类的构造方法定义为私有方法，这样其他处的代码就无法通过调用该类的构造方法来实例化该类的对象，只有通过该类提供的静态方法来得到该类的唯一实例；在该类内提供一个静态方法，当我们调用这个方法时，如果类持有的引用不为空就返回这个引用，如果类保持的引用为空就创
2022-03-24 17:21:14
664
原创 计算机基础常见八股问题集合（含计算机网络，操作系统，计算机组成，数据结构与算法，数据库）
计算机操作系统内核态和用户态的区别用户态可以执行cpu调用的非特权指令内核态可以执行特权指令和非特权指令用户态到内核态的切换是通过中断实现的内核态到用户态的切换是通过特权指令实现的什么是操作系统中断1.当发生中断时，cpu立即进入内核态2.当发生中断后，当前进程暂停运行，并由操作系统内核对中断进行处理3.对于不同的中断信号，会进行不同的处理4.中断分为内中断和外中断。进程控制块PCB是什么存放进程的管理和控制信息的数据结构称为进程控制块。它是进程管理和控制的最重要的数据结构，每一个进
2022-03-23 14:07:11
9726
1
原创 华南师范大学918复试复习建议05
前言到这篇博客结束，计算机核心五大件的基础理论常考问题基本就这么多了，大伙的复试准备也接近尾声了，感谢大家的一路陪伴，好多小伙伴从初试跟到复试，我这里有个不情之请，希望大家考完后可以画一些时间，来总结一下自己的经验和遇到的问题，放到csdn或者其他平台上，然后将链接私信或者评论给我，我会出一期大家链接的集合，也是为后面的师弟师妹，或者自己落榜二战做准备，谢谢啦！日常推书计算机组成原理冯诺依曼机的组成部分运算器：用来完成算术运算和逻辑运算，并将运算的中间结果暂存在运算器内。存储器：用来存放数据和
2022-03-20 19:07:04
911
3
原创 华南师范大学918复试复习建议04
前言一天一更+日常推书数据库管理索引的优缺点优点：通过创建唯一索引，可以保证数据库表中每一行数据的唯一性；可以加快检索速度缺点：开辟了物理空间创建和维护索引都需要耗费时间，在插入删除操作时，索引也需要动态调整，故耗费更多时间数据库事务的特性A 原子性 ：事务操作，要么成功，要么失败C 一致性：事务操作前后，数据一直保存合法的状态I 隔离性：事务并发操作时，互不干扰D 持久性：事务一旦提交，修改就是永久性的扩展：联系mysql来说说在MySQL中原子性主要提现在undo
2022-03-19 21:55:06
3931
原创 华南师范大学918复试复习建议03
前言日常推一本书《计算机网络自顶向下》随着复试的时间越来越近，有些xdm怕我更不完，我决定从今天开始一天一更（生产队的牛都没这么拼好吧计算机网络十一问什么是ARP每台主机都会在ARP缓冲区建立起自己的ARP列表，用来表示ip地址和mac地址之间的对应关系。主机要发送数据时，会先去ARP列表查找是否有对应的ip地址的目的主机的mac地址，如果有，则直接发送数据，如果没有，就向本网段的所有主机发送 ARP 数据包当本网络的所有主机收到该 ARP 数据包时，首先检查数据包中的 IP 地址是否是自己
2022-03-18 15:44:40
2878
2
原创 华南师范大学918复试复习建议02
前言数据结构与算法其实还有一下比较重要的点，后续会继续补充，比如常见排序的解释，最小路径等等，本期主要聊一下操作系统常见的问题，当然我们这里只是常见的八股文总结，对于一下偏和更深入的可以尝试去读一下现代操作系统，一定让你受益匪浅。还有我创建了一个互相面试模拟的群，大家可以去里面约人进行模拟面试，一起对对八股文，面试模拟互助群：979725543计算机操作系统内核态和用户态的区别用户态可以执行cpu调用的非特权指令内核态可以执行特权指令和非特权指令用户态到内核态的切换是通过中断实现的内核态到
2022-03-15 16:37:25
2893
1
原创 华南师范大学918复试复习建议01
前言分数，排名，国家线都出来了，北斗学院成为了大赢家，也不知道各位准备的如何，本人初试成绩不太理想，之前就找厂工作去了，做内容审核还蛮有意思的，也经历了十亿级数据量的洗礼，发现了编程这个东西还是得在实践中提升，没有经历那样的数据量在书本上学来的技术根本就没办法去解决问题，扯远了，后面看到排名和国家线感觉自己还有机会，所以就又又又辞职回来准备复试，所以复试的博客也准备更起来了！数据结构与算法十二问其实数据结构面试不太好问问题我这边总结了十二条比较常见的问题，回答的时候可以适当的去延伸一下，比如面试官问你
2022-03-12 15:49:30
2181
1
原创 如何构建数字签名密钥？
数字签名为保证数据传输过程中的数据真实性，完整性和不可抵赖，我们需要对数据进行数字签名，在接收接口请求后进行签名校验。签名机制如下：采用MD5 产生签名摘要。待签名原文是各请求参数的值按照文档中自上而下的顺序组拼装成的字符串，不包括 sign 本身，如果字段值为空或者字段不存在则参数不参与拼装。sign=MD5(参数1+参数2+…+参数n+key)，其中key 为用户秘钥（可以为任意字符的md5转换，也可以是其它的）。base64 编码的字符集为 UTF-8。输出结果为 32 位大写字符串
2022-03-01 18:14:47
675
原创 从上亿条数据中过滤两百万条数据信息，你会怎么做？
【业务梳理】背景就是要从上亿条数据中过滤出被封禁的用户，如何处理补充在第5部会使用must和mustnot命令过滤数据到前端展示【实现方式】本地测试环境，自己搭建了本地的elasticsearch，elasticsearch-head-master和kibana进行本地开发测试，需要加的逻辑主要在向redis拿到任务后去业务数据库中补充相关字段比如被封禁的用户信息，主贴被删的信息等等，然后在运行时发现被封禁的用户信息量在两百万左右，大量的数据信息需要做优化。一开始主要是采用了将被封禁的用户信息先
2022-02-24 11:58:22
1398
原创 Mysql分页查询优化
前提都是uid是唯一的且单调增的1.利用pagenum来分页select * from uc_members where (safety=-1 or safety=-2) and uid > pagenum *10 limit1000;存在一个问题 pagenum 如何确定，使用select count(1) 进行统计然后在for循环传入pagenum实现分页效果，那在for循环中如果遇到新增的数据怎么办？难道for到最后一个在去select count(1) 一下，如果两个不一致就进行for
2022-02-23 18:10:07
522
原创 makedown过滤标签解决黑产内容通过＜＞规避词库检测的问题
makedown过滤标签解决黑产内容通过<>规避词库检测的问题【需求背景】用户发布的内容中包含富文本内容，包括a标签，img标签等，为了提升词库检测的准确性，目前在做词库检测之前，通过hutool的HtmlUtil.cleanHtmlTag将待检测文本进行过滤。但cleanHtmlTag未校验标签的合法性，会存在误操作，比如：会将所有"<“和”>"包裹的内容全部过滤，导致被黑产利用发布违规内容。例如：<英超比赛在哪押注{C><网-Ag886.cn-网&
2022-02-23 10:26:15
347
原创 布隆过滤器总结
布隆过滤器就是把数据通过hash函数计算出来标记在不同的位置然后查找的时候也是用hash函数算出值，去找一下1，4，7上的数据是不是1，不是1的话就不存在存入布隆过滤器的缺点就是不可以删除数据，但是与set不同在于可以加入重复的数据，因为其原理就是通过hash算法分散到不同的位置进行标记，重复只不过是重复了上述过程。布隆过滤器使用场景场景一：当前需要维护一个内存，去存储uid这个字段，可是这个字段数据量比较大可能有两百万左右，那么一个integer占用16个字节，hashset要16个字节，一共
2022-02-22 14:01:01
261
2
原创 关于MySQL的like模糊查询优化情况
mysql模糊查询优化使用explain进行分析sql运行状况Filtered表示返回结果的行数占需读取行数的百分比 Filtered列的值越大越好 Filtered列的值依赖于统计信息综上所述使用来看使用like进行模糊查询效率是最低的其filtered占比只有11.11，而其他方法都是100.所以尽量不要使用like查询。...
2022-02-22 10:37:30
648
原创 Java开发校招面经
面试你好，我叫xxx，目前本科在读大四，所学专业是软件工程，在校期间也有参与一些竞赛，像中国大学生计算机设计大赛，泰迪杯数据技能大赛等等，也拿到较好的名次。在大学期间主要的方向是Java，所以做的一些项目主要是通过springBoot进行构建开发的，我的项目经验主要来自于我和同学一起做的项目，像有一些项目经验来自竞赛，像实时交通大数据可视化项目，赛题方给出了一些手机信令数据，要求我们对数据就行清理，处理，挖掘，预测，提供可视化页面帮助智慧城市决策。我们的一个实现思路是通过模拟信令数据实时传入kafka，通
2022-02-01 18:24:33
887
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人