自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

  • 博客(326)
  • 资源 (5)
  • 收藏
  • 关注

原创 《大模型AIGC系列课程》大纲

第1章:初识ChatGPT【大模型AIGC系列课程 1-1】ChatGPT与OpenAI API的应用【大模型AIGC系列课程 1-2】创建并部署自己的ChatGPT机器人第2章:LLM的第二大脑【大模型AIGC系列课程 2-1】文本向量化【大模型AIGC系列课程 2-2】大语言模型的“第二大脑”【大模型AIGC系列课程 2-3】动手为ChatGPT打造第二大脑第3章:LLM开源与定制【大模型AIGC系列课程 3-1】Meta开源大模型:羊驼系列【大模型AIGC系列课程 3

2023-09-05 11:46:30 2008

原创 ChatGPT和OpenAI API将如何颠覆我们的生活?

无论是写文章、解决问题,还是进行自然语言处理,ChatGPT和OpenAI API都可以帮助我们更快速、更准确地完成。通过Prompt Engineering,我们可以更好地理解ChatGPT的工作原理,从而更好地利用它。通过使用OpenAI API,我们可以更深入地了解人工智能的各个方面,从而更好地利用它。还有OpenAI API,这个由OpenAI公司提供的API,可以让我们轻松地实现各种人工智能应用。而且,OpenAI API还提供了各种预训练模型,你只需要简单地调用API,就能实现各种复杂的功能。

2024-03-31 16:27:30 132

原创 【毛毛讲书】【大唐狄公案】一个欧洲汉学家如何能创作出脍炙人口的侦探小说?

而在倪氏遗产争夺案中,狄公揭开了一幅画背后的秘密,找到了迷宫的路线图,最终揭开真相。在《大唐狄公案》中,高罗佩还刻画了狄公身边的一群随从,如忠诚的老家仆洪亮、勇武的马荣和乔泰,以及狡猾的陶干。他的创作不仅尊重了中国公案小说的传统,也使之符合现代读者的口味。在《大唐狄公案》中,狄公面对的不仅仅是简单的善恶对立,还时常陷入道德困境。如在《铁针案》中,狄公发现了郭夫人的罪行,但她的动机却令人同情。在《大唐狄公案》中,狄公不再是扁平的人物,而是一位有血有肉、情感丰富的侦探。他的身边,还有一群性格各异的随从。

2024-03-31 16:23:50 300

原创 【毛毛讲书】【好运】为什么有些人天生就有好运眷顾?

这个公式告诉我们,要想在人生中获得成功,不仅需要找到适合自己的核心算法(也就是怎么打自己手上的牌),还需要不断地重复做对的事,积累经验和技能。通过提高自己的信息敏感度、开放度以及人际交往能力等方面的能力,我们可以更好地把握机会、吸引贵人,从而展现出自己的“好运体质”。同时,在追求成功的过程中,我们也需要不断地重复做对的事、积累经验和技能,并相信自己一定能够成功。作者老喻,一个我们可能并不陌生的名字,他是畅销书《人生算法》《成长算法》的作者,他的那些“算法”理念,让我们对人生的不确定性有了全新的认识。

2024-03-19 16:23:06 497

原创 【毛毛讲书】【变量6:宏观世界奇遇记】对中国的经济前景感到担忧?

在《变量6》中,作者通过生动的语言和丰富的案例,向我们揭示了宏观经济的奥秘。作者通过田野调查和案例分析的方式,让我们看到了不同行业、不同阶层的人们是如何在宏观经济的大潮中寻找自己的机会的。这些故事不仅让我们感受到了中国经济的活力和韧性,也让我们看到了中国经济未来的希望和潜力。而经济增长的关键词就是信心。这样做可以增加市场上的货币供应量,提高消费者的购买力和企业的投资意愿,从而增加总需求。他不仅从宏观经济的角度分析了中国经济的问题和挑战,还从微观个体的角度探讨了如何在宏观经济中找到自己的机会和发展空间。

2024-03-19 09:26:54 298

原创 【毛毛讲书】【钱从哪里来5:微利社会】为什么钱越来越难赚了?

首先,从经济角度来看,当一个社会的经济增速从高速转入中低速时,社会的平均投资回报自然也会从暴利转向微利。其次,随着科技和经济的发展,社会财富呈现出一种K型分化的趋势。这种现象在当今社会已经越来越明显,它导致了贫富差距的扩大,也让越来越多的人感到财富增长的压力。当我们说微利社会,我们是在谈论一种经济现象,即随着经济增速的放缓,社会的平均投资回报率也在逐渐降低。然而,尽管微利社会看起来是一个充满挑战的时代,但它也为我们提供了新的机遇。微利社会并不是一个可怕的词汇,它是一个时代的标志,也是一个新的开始。

2024-03-18 13:26:31 351

原创 【毛毛讲书】【天生不同】你善于社交,还是更喜欢独处?

它基于心理学家卡尔·荣格的人格类型学说,通过迈尔斯-布里格斯类型指数(MBTI)这一人格测试工具,将我们的人格划分为16种类型,让我们能够更深入地了解自己和他人。在这个过程中,我们可以借助MBTI这一工具,更清晰地认识自己的潜能和局限,找到适合自己的成长路径。通过了解这些人格类型,我们不仅可以更好地认识自己,找到适合自己的发展道路,还能更好地理解他人,改善人际关系。在生活中,我们可以学会欣赏他人的独特之处,尊重彼此的差异,让彼此的关系更加和谐。同时,我们也能更好地理解他人,改善人际关系,让生活更加美好。

2024-03-18 13:22:56 310

原创 【毛毛讲书】【周期】市场将一片繁荣,还是会突然崩溃?

你们是否曾经遇到过这样的情况,市场一片繁荣,大家都觉得赚钱易如反掌,但突然间,一切似乎都变了,市场崩溃,财富瞬间蒸发,让你不知所措?首先,我们要明白,周期并不是什么神秘的力量,而是市场运行的一种自然规律。而了解周期,就能帮助我们更好地理解市场,把握市场的节奏,从而在投资中立于不败之地。要知道,市场总是千变万化的,只有保持冷静的头脑,才能做出明智的决策。有时候,周期可能会变长或变短,有时候,周期的幅度也可能会变大或变小。这样,即使某个领域或资产出现了周期性的波动,也不会对我们的整体投资造成太大的影响。

2024-03-05 10:53:27 355

原创 【毛毛讲书】【不老时代】我们或许能够活到150岁?

在这个时代,我们将能够使用自己的干细胞和3D打印技术来替换除大脑外的任何身体部位,多数癌症也将被治愈。想象一下,当我们的身体不再受年龄的限制,我们将拥有更多的时间和精力去追求自己的梦想。70岁以上人群的消费欲望将超过30岁以下人群,医美行业将因为人们的寿命延长而繁荣,医疗成本的降低和工作年龄的延长将带来惊人的生产力。然而,不老时代的来临不仅仅意味着延长寿命,更意味着人们将以看似不可思议的方式提高生命的质量,改变生活和工作的方式。在这个充满变革的时代,我们需要保持开放的心态,积极拥抱新技术和新思想。

2024-03-05 10:48:31 254

原创 【毛毛讲书】【繁花】原著小说的魅力

在阅读过程中,我们仿佛穿越时空,亲身经历了那个特殊时期的跌宕起伏,也感受到了90年代上海的繁华与落寞。在这部小说中,我们不仅可以看到上海的历史变迁和社会发展,更可以感受到作者对传统文化的热爱和尊重。他通过细腻的笔触,将那些无名无姓的市井往事、那些无处安放的情绪都一一展现出来,让我们重新审视那些被遗忘的历史和文化。它以独特的叙事结构、平实而细腻的语言风格以及深刻的文化内涵,吸引了无数读者的目光和心灵。他以一个作家的敏锐和洞察力,捕捉到了那个特殊时期的社会风貌和人物情感,为我们呈现了一部真实而感人的作品。

2024-03-04 15:24:55 286

原创 【毛毛讲书】【能力陷阱】一直无法升职加薪?

其次,我们要扩建人际关系网络,多与不同的人交流,接触不同的世界观。今天我要给大家解读一本名为《能力陷阱》的书,这本书将为我们揭示这些现象背后的原因,并提供一些实用的建议,帮助我们避免陷入“能力陷阱”,实现自我成长和提升。我们要学会用玩的心态去面对成长过程中的困难和挑战,关注自己的成长过程,而不仅仅是结果。总之,《能力陷阱》这本书为我们提供了一种全新的视角,让我们认识到改变自己的重要性。通过阅读这本书,我们不仅可以认识到能力陷阱的危害,还可以学到一些实用的方法,帮助我们实现自我成长和提升。

2024-03-04 11:23:21 183

原创 【毛毛讲书】【时间贫困】时间都去哪了?

在这本书中,作者分享了她自己的生活经历,以及她对现代人“时间贫困”现象的深刻洞察。在书中,作者提出了一个很有意思的问题:如果一个人辞掉工作,拥有了大把的闲暇时间,他真的会对生活更满意吗?为了回答这个问题,作者和她的团队建立了一个数据库,记录了数万美国人一天的生活和他们的生活满意度。你有没有在夜深人静的时候,躺在床上思考,为什么自己的生活总是这么忙碌,却很少有属于自己的时间?我们总是抱怨没有时间,但实际上,我们可能需要改变的是我们的时间管理方式。我相信,如果你也有类似的困惑,这本书也会给你带来同样的启发。

2024-03-01 11:12:34 408

原创 【毛毛讲书】【生命力】如何才能挖掘和增强我们内在的生命力?

我相信,只要我们学会挖掘和增强自己的生命力,我们就能够追求自己的梦想,实现自己的目标,过上自己想要的生活。最后,我想说的是,《生命力》这本书不仅是一本关于生命力的书,更是一本关于个人成长和成功的书。它告诉我们,生命力是我们最宝贵的财富,它可以帮助我们克服困难,实现梦想,过上自己想要的生活。要培养和增强生命力,我们需要学会积极面对生活中的挑战,保持乐观和积极的心态,并不断提升自己的自我认知。作者提出,生命力是驱动我们前进的力量,它来源于我们的内心深处,是我们追求梦想和目标的驱动力。

2024-03-01 09:22:12 372

原创 【毛毛讲书】【端粒:年轻、健康、长寿的新科学】是什么决定了我们的寿命?

最后,我想说的是,《端粒:年轻、健康、长寿的新科学》这本书不仅是一本关于端粒的书,更是一本关于生命和健康的书。是什么决定了我们的寿命?今天,我要为大家解读的这本书《端粒:年轻、健康、长寿的新科学》,将带我们深入探索这些问题的答案。这些故事让我们明白,端粒科学不仅仅是一门高深的生物学理论,更是与我们每个人的生活息息相关的实用知识。此外,书中还提到了一些关于端粒的科学研究和实验,比如端粒酶的作用、端粒延长的潜在风险等。此外,书中还介绍了一些关于端粒的科学研究和实验,比如端粒酶的作用、端粒延长的潜在风险等。

2024-02-29 18:31:35 483

原创 【毛毛讲书】【年龄革命】如何逆转年龄的影响?

书中介绍了一些前沿的科学研究发现,比如干细胞疗法、基因编辑技术、生物技术的发展等,这些都在为我们提供了对抗衰老的新武器。最后,我想说的是,《年龄革命》这本书不仅是一本关于衰老的书,更是一本关于生命和健康的书。你有没有想过,我们是否真的能够打破时间的束缚,延缓衰老的过程,甚至逆转年龄的影响呢?在阅读这本书的过程中,我不禁思考,这场即将到来的年龄革命,究竟会给我们每个人的生活带来怎样的变化?书中还提到了一些关于老年生活的建议,比如如何保持大脑的活力,如何处理老年时期的财务问题,以及如何保持社交活动等等。

2024-02-29 17:51:51 1013

原创 【毛毛讲书】【百岁人生】如果我们都能活到一百岁,那会是一种怎样的体验?

首先,我们的教育和职业生涯将发生根本性的变化。同时,我们的职业生涯也将变得更加灵活和多元化,我们需要在不同的领域和角色中转换,以保持竞争力和生活的充实。最后,我想说的是,《百岁人生》这本书不仅是一本关于长寿的书,更是一本关于生活的书。在长寿的时代,我们需要更加谨慎地规划我们的财务,以确保我们在退休后有足够的经济支持。这样的未来,对我们每个人来说,既是一个巨大的机会,也是一个深刻的挑战。此外,书中还介绍了一些长寿地区的案例,让我们看到了长寿不仅仅是基因的作用,更是生活方式、社会环境和文化传统共同影响的结果。

2024-02-28 09:13:38 559

原创 【毛毛讲书】【老而不衰的科学】如何越老越有活力?

首先,我们要明白,衰老并不是一夜之间的事情,而是随着时间的推移,身体各个器官和系统逐渐退化的过程。此外,适量的运动也是必不可少的,可以选择跑步、游泳、瑜伽等适合自己的运动方式,让身体保持活力。最后,我想说的是,《老而不衰的科学》这本书不仅是一本关于衰老的书,更是一本关于生活的书。那么,我们究竟该如何做,才能实现老而不衰呢?此外,书中还提到了一些关于老年生活的建议,比如如何保持大脑的活力,如何处理老年时期的财务问题,以及如何保持社交活动等等。但通过科学的方法,我们可以延缓衰老的过程,让我们的生活更加美好。

2024-02-27 11:40:16 269

原创 【毛毛讲书】【老而不衰的科学】长寿的秘诀究竟是什么?

首先,我们要明白,长寿并不是偶然的,而是与我们的生活方式密切相关。我们要养成良好的生活习惯,比如,保持良好的饮食习惯,多吃蔬菜水果,少吃油腻食物,保持营养均衡。最后,我想说的是,《长寿的活法》这本书不仅是一本关于长寿的书,更是一本关于生活的书。它告诉我们,无论我们年龄多大,都可以拥有年轻的心态,都可以追求美好的生活。此外,书中还提到了一些关于老年生活的建议,比如如何保持大脑的活力,如何处理老年时期的财务问题,以及如何保持社交活动等等。当然,我们要明白,长寿并不是唯一的目标,我们还要追求生活的质量。

2024-02-27 11:37:39 243

原创 【毛毛讲书】【没有面目的人】生活的意义何在?

它让我意识到,每个人都有自己的面目,只是有时候我们迷失在生活的忙碌和外界的压力中,忘记了真实的自我。要找到自己的面目,我们需要花时间去认识自己,去探索自己的内心世界,去发现自己的优点和不足。我相信,只要我们勇敢地面对自己,不断地探索和成长,我们就能够找到属于自己的真实面目,过上更有意义、更有价值的生活。书中通过细腻的笔触描绘了主人公的内心世界,展现了他在寻找自我的过程中所经历的挣扎和痛苦。主人公在寻找自我的过程中,逐渐认识到了自己的优点和不足,开始学会接受自己的不完美,并努力提升自己。

2024-02-26 09:36:59 316

原创 【毛毛讲书】【宝贵的人生建议】在面对人生选择时,我们该如何做出明智的决策呢?

这种灵活应对的态度,不仅有助于我们在工作中取得更好的成果,也能让我们的生活更加丰富多彩。但同时,我们也要学会在适当的时候退缩。有时候过度追求完美只会让我们陷入困境,适时地放下一些不切实际的幻想,才能让我们更加专注于眼前的事情,取得更好的成果。”这句话告诉我们,保持乐观的心态可以激发我们的潜力和创造力,但同时也要有足够的谨慎,避免因盲目乐观而陷入困境。这种平衡的思维方式,可以帮助我们在追求梦想的同时,也能够审时度势,理性决策。在《宝贵的人生建议》中,凯利以他的人生经验和智慧,为我们提供了500条宝贵的建议。

2024-02-26 09:13:35 372

原创 【毛毛讲书】【混合信号】如何更好地设计激励措施?

作者在书中提到,如果你在设置一个数量激励指标的时候,必须要考虑到它可能产生的副作用,然后增加一个辅助的激励维度,来确保质量。再比如那个古生物学家招募农民的例子,他们只按上交的化石碎片数量来给奖励,结果一些农民就砸碎了他们发现的骨化石,虽然碎片多了,收入高了,但是却大大降低了文物的科学价值。比如在那个网约车公司里,如果公司的价值观是提供优质的服务和良好的卫生环境,那么只把司机的报酬跟接单量挂钩显然是不合适的。今天,我将为你解读《混合信号》这本书,带你了解如何更好地设计激励措施,让它发挥出更大的效果。

2024-02-23 14:36:56 262

原创 【毛毛讲书】【灰度决策】你是否在人生的十字路口不知道该如何选择?

家人们,我特别想和你们分享书中的一个例子:艾伦纺织厂的老板面临一场大火后的重建决策。这个例子告诉我们,在做决策时,我们不能只考虑自己的利益,还要考虑到决策对其他人、对社会的影响。我们需要全面地分析问题,透彻地思考,才能做出真正有益的决策。这些问题看似简单,但却涵盖了灰度问题的方方面面,帮助我们更加全面地思考问题,从而做出更加明智的决策。其实,作者想要告诉我们的是,在面对灰度问题时,我们不能过分追求所谓的道德准则、宗旨等等,而是要实事求是地分析问题,从实际情况出发,找到妥善解决问题的方式方法。

2024-02-23 14:17:11 417

原创 【毛毛讲书】【以终为始的人生智慧】财务自由,真的是我们向往的终极目标吗?

有时候,简单的生活、健康的身体、亲人和朋友的陪伴,才是我们最应该珍惜的财富。首先,我们要明白,财务自由并不是一个固定的状态,而是一个动态的过程。比如说,我们需要制定明确的财务目标,并且根据自己的实际情况制定合理的财务规划。同时,我们也需要保持对市场的敏感度,学会理财和投资,让自己的财富能够持续增值。但最重要的是,我们要保持一颗平常心,不要被金钱所迷惑,要始终坚持自己的人生价值观。而且,我们也不应该把财务自由看作是终点,而应该将它看作是新的起点,是我们能够更加自由地去探索和实现自己梦想的起点。

2024-02-21 09:24:53 252

原创 【毛毛讲书】【副业赚钱】你随时有失业的风险吗?

比如,如果你是个程序员,但同时也喜欢写作,那么你可以将自己的技术知识和写作能力结合起来,成为一名科技领域的自媒体人。比如,我们可以从自己的工作中总结经验,写一些相关的文章或者开设自己的博客,分享给更多的人。这样一来,我们的副业就可以成为自己兴趣和工作的结合点,既能够增加收入,又能够提升自己的专业素养。这样一来,你的副业不仅能够增加收入,还能够提升自己的教学和沟通能力。首先,我们要明白副业的重要性。比如,你可以在工作中学习一些新的技能或者掌握一些新的知识,然后利用这些技能和知识来创造一些新的产品或者服务。

2024-02-21 09:19:21 198

原创 【大模型AIGC系列课程 5-2】视觉-语言大模型原理

在预训练阶段,Qwen-VL使用了一个大型的语言模型(LLM)作为基础组件,该模型的权重是从Qwen-7B模型中初始化的。此外,基于预训练的Qwen-7B,发布了Qwen-7B-Chat,这是一个基于大型模型的人工智能助手,通过对齐技术进行了训练。通过将Q-Former的输出连接到冻结的语言模型,并训练Q-Former使其输出的视觉表示可以被语言模型解释,从而实现视觉到语言的生成学习。总之,Qwen-VL是一种大规模视觉-语言模型,具备强大的视觉理解能力和灵活的交互能力,可应用于多种实际问题的解决。

2023-12-18 17:09:19 154

原创 【大模型AIGC系列课程 5-1】视觉编解码模型原理

Vision Encoder Decoder Models 是一种用于将图像转换为文本的模型架构。该架构的核心思想是将预训练的基于 Transformer 架构的视觉模型用作编码器(如 ViT、BEiT、DeiT、Swin),将预训练的基于语言模型的文本生成模型用作解码器(如 RoBERTa、GPT-2、BERT、DistilBERT),从而实现图像到文本的转换。

2023-11-14 13:55:49 209

原创 【大模型AIGC系列课程 4-2】AI代理行业案例:“一键成片”虚拟数字人

这一部分为用户提供了工具自定义的功能,使其能够轻松新增自定义工具,进行工具的描述、配置更新和维护。自定义的工具将被添加到工具库中,以备后续使用。这种灵活性和可定制性,使用户能够根据具体需求创建适合其任务的工具,确保了系统的适应性和多功能性。

2023-10-29 13:27:13 589

原创 【大模型AIGC系列课程 4-1】AI 代理介绍与应用

记忆流(Memory Stream)是生成式代理架构中的一个组件,它是一个长期记忆模块,记录了代理的经历和与环境的交互。记忆流以自然语言的形式呈现,包含了代理的观察、行为、对话和其他与环境相关的信息(以及长期计划(Plan)和更高层次的反思(Reflect)的输出)反应和更新计划(Reacting and Updating Plans)是指代理根据当前的情境和观察到的事件来决定是否继续执行当前的长期计划,或者需要根据新的观察进行反应和更新计划。这些复杂行为和自发事件是由代理之间的互动和环境的变化所驱动的。

2023-10-21 08:51:36 388

原创 【大模型AIGC系列课程 3-7】领域&私域对话数据收集与生成

我们可以将此方法类比为一种知识蒸馏的过程:具备最佳性能的超大参数通用语言模型充当老师的角色,通过生成的私域"对话历史"数据,来教导参数规模较小的私域大语言模型,让它们也能够从私域数据中受益。其中,"用户定义"是中小型企业对其用户群体的自然语言描述,"私域信息文本段落"是企业内部的文本数据承载的信息片段,"对话历史"是存储我们技术方案生成的历史对话的数据库。本方案通过利用企业内部已有的私域信息文本段落,构造对话指令并生成对话历史,从而生成可靠的对话训练数据,弥补了私域数据获取的难题。

2023-09-22 09:33:21 702

原创 【大模型AIGC系列课程 3-6】ChatGLM2-6B的应用

由于GPU中已经有FP16 精度模型了,直接加载会显存不足。默认情况下,模型以 FP16 精度加载,运行上述代码需要大概 13GB 显存。

2023-09-18 18:48:52 210

原创 【大模型AIGC系列课程 3-3】低成本的领域&私域大模型训练方法

如果我们不想给大模型做 “大手术”—— finetue 训练大模型(成本太高了 ==),毕竟我们仅仅想让大模型原先的基础上,再学习一小部分的领域或私域数据,原先大模型已经具备的知识不用怎么变动。相反,LoRA仅优化注入的、更小的低秩矩阵,从而使得训练更加高效。为了让训练最初输出的 h 的值 和 预训练大模型输出相同,B部分 参数的初始化为0。● LoRA的简单的“旁路”线性设计使得我们可以在部署时将可训练的矩阵与冻结的权重合并,(相比“串联”的添加额外模块)不会引入推理延迟。

2023-09-03 15:01:05 509

原创 【大模型AIGC系列课程 3-2】国产开源大模型:ChatGLM

GLM是General Language Model的缩写,是一种通用的语言模型预训练框架。它的主要目标是通过自回归的空白填充来进行预训练,以解决现有预训练框架在自然语言理解(NLU)、无条件生成和有条件生成等任务中表现不佳的问题。具体来说,GLM通过随机遮盖文本中连续的标记,并训练模型按顺序重新生成这些遮盖的部分。这种自回归的空白填充目标使得GLM能够更好地捕捉上下文中标记之间的依赖关系,并且能够处理可变长度的空白。通过添加二维位置编码和允许任意顺序预测空白,GLM改进了空白填充预训练的性能。

2023-08-27 12:20:16 435

原创 【大模型AIGC系列课程 3-1】Meta开源大模型:羊驼系列

LLaMA(由Meta推出)和GPT是两种不同的语言模型。以下是LLaMA相对于GPT的一些优点:● 架构修改:LLaMA在Transformer架构的基础上进行了一些修改。例如,LLaMA使用了预归一化(pre-normalization)而不是后归一化(post-normalization)的方法,这可以提高训练的稳定性。此外,LLaMA还引入了SwiGLU激活函数等架构修改。

2023-08-26 20:53:03 473

原创 【大模型AIGC系列课程 2-3】动手为ChatGPT打造第二大脑

!text_splitter = SpacyTextSplitter(pipeline="zh_core_web_sm", chunk_size=200) # 定义分句器parser = SimpleNodeParser(text_splitter=text_splitter) # 定义节点解析器documents = SimpleDirectoryReader('data').load_data() # 读取数据。

2023-08-25 10:47:11 3010 1

原创 【大模型AIGC系列课程 2-2】大语言模型的“第二大脑”

AI的“第二大脑”模式就是一种先搜索、后提示的方式。它需要事先建立一个外部索引,就像AI的“第二个大脑”。每次我们向AI提问,它会先查询这个“第二大脑”中的资料,然后再用自己的思维能力回答问题。很多在线应用,比如读论文、读书回答问题,都是基于这个模式。我们可以使用一个名为LlamaIndex的开源Python包来实现这个“第二大脑”模式,不必从头开始写代码。LlamaIndex基于LangChain的LLM模块,并允许定制底层的LLM。

2023-08-24 09:09:35 1728

原创 【大模型AIGC系列课程 2-1】文本向量化

词嵌入是一种表示单词的方法,它将词汇表中的每个单词表示为一个普通的向量。不同于传统的只包含0和1的One-Hot向量,词嵌入向量是一串普通的数字。这样的向量将单词嵌入到一个数学空间中,因此称为"词嵌入"。● 如何进行词嵌入?要进行词嵌入,我们需要通过神经网络进行训练,训练得到的网络权重形成的向量就是我们最终需要的词向量。● 词汇表征和语言模型自然语言处理的核心是建立语言模型,从深度学习的角度来看,我们可以将自然语言处理的语言模型视为一个监督学习问题。

2023-08-23 14:47:29 705 2

原创 【大模型AIGC系列课程 1-2】创建并部署自己的ChatGPT机器人

参考 openai 接口说明:https://platform.openai.com/docs/api-reference/chat/create。我们接下里看下,如何改造respond函数,让。根据上面ChatGPT回复,可以看出来,接下来,我们来看下,如何让ChatGPT。接下来,我们就来看下如何让机器人。让我们进一步完善,让demo。接下来,我们来看下如何定义。

2023-08-22 10:55:05 2869

原创 【大模型AIGC系列课程 1-1】ChatGPT与OpenAI API的应用

【参考资料】

2023-08-20 10:39:24 555

原创 【大模型AIGC系列课程 3-5】大模型行业案例之生物医学:“达尔文”领域大模型

达尔文大模型 指令微调(instruction tuning)训练,除了进行常规的指令(如问答、摘要等),我们基于赛业生物在多年在生物领域技术的沉淀,构造了更丰富的生物垂类领域指令进行训练。“火山方舟” 包含模型广场、模型体验、模型训练推荐以及模型应用的功能,其使命是加速大模型和大算力的应用落地,加快大模型在各行业发挥商业价值。带给大家一个好消息,“达尔文”大模型将入驻火山引擎大模型生态,上架至“火山方舟”的模型广场,补全火山引擎大模型生态的生物医疗领域,并供大家使用与反馈。

2023-07-09 15:26:57 610

原创 【stability.ai】SDXL:改进高分辨率图像合成的潜在扩散模型

近年来,深度生成建模在自然语言、音频和视觉媒体等各个数据领域取得了巨大的突破。本文将重点关注视觉媒体领域,并揭示了SDXL(Stable Diffusion的极大改进版本)的出现。Stable Diffusion是一种潜在的文本到图像扩散模型(DM),为3D分类、可控图像编辑、图像个性化、合成数据增强、图形用户界面原型设计等一系列最新进展提供了基础。令人惊讶的是,这些应用的范围非常广泛,涵盖了音乐生成和从fMRI脑部扫描中重建图像等领域。

2023-07-08 13:27:30 669

SMP2020微博情绪分类技术评测数据集

SMP2020微博情绪分类技术评测数据集 本次技术评测使用的标注数据集由哈尔滨工业大学社会计算与信息检索研究中心提供,原始数据源于新浪微博,由微热点大数据研究院提供,数据集分为两部分。     第一部分为通用微博数据集,该数据集内的微博内容是随机获取到微博内容,不针对特定的话题,覆盖的范围较广。     第二部分为疫情微博数据集,该数据集内的微博内容是在疫情期间使用相关关键字筛选获得的疫情微博,其内容与新冠疫情相关。     因此,本次评测训练集包含上述两类数据:通用微博训练数据和疫情微博训练数据,相对应的,测试集也分为通用微博测试集和疫情微博测试集。参赛成员可以同时使用两种训练数据集来训练模型。     每条微博被标注为以下六个类别之一:neutral(无情绪)、happy(积极)、angry(愤怒)、sad(悲伤)、fear(恐惧)、surprise(惊奇)。     通用微博训练数据集包括27,768条微博,验证集包含2,000条微博,测试数据集包含5,000条微博。     疫情微博训练数据集包括8,606条微博,验证集包含2,000条微博,测试数据集包含3,000

2022-12-29

jblas-1.2.4-SNAPSHOT

里MLlib库需要依赖[jblas线性代数库](http://jblas.org/),如果大家编译jblas的jar包有问题,可以获取。把jar包加到lib文件夹后,记得在spark-env.sh添加配置

2016-06-26

Spark机器学习文本处理数据集

为了说明概念,我们将使用一个非常有名的数据集,叫作20 Newsgroups;这个数据集一般用来做文本分类。这是一个由20个不同主题的新闻组消息组成的集合,有很多种不同的数据格式。对于我们的任务来说,可以使用按日期组织的数据集。

2016-06-20

Spark机器学习推荐模型数据集

我们将使用推荐引擎中使用的电影打分数据集,这个数据集主要分为三个部 分:第一个是电影打分的数据集(在u.data文件中), 第二个是用户数据(u.user),第三个是电影数据(u.item)。除此之外,我们从题材文件中获取了每个电影的题材(u.genre)。

2016-06-18

Spark机器学习回归模型数据集

为了阐述本章的一些概念,我们选择了bike sharing数据集做实验。这个数据集记录了bike sharing系统每小时自行车的出租次数。另外还包括日期、时间、天气、季节和节假日等相关信息。

2016-06-15

Spark机器学习分类模型的数据集

考虑到推荐模型中的 MovieLens 数据集和分类问题无关,本章将使用另外一个数据集。这个 数据集源自 Kaggle 比赛,由 StumbleUpon 提供。比赛的问题涉及网页中推荐的页面是短暂(短暂 存在,很快就不流行了)还是长久(长时间流行)。

2016-06-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除