vLLM 和 LangChain 的概念，他们和大模型是什么关系？ vLLMvLLM 是一个专注于部署大型语言模型的工具，旨在提高大型语言模型在实际应用中的效率和可扩展性。vLLM 主要解决了以下问题： 推理加速：通过优化技术如张量并行、流水线并行等方式提高推理速度。 内存优化：减少模型在部署过程中的内存占用。 动态批处理：支持动态批量处理请求，以提高吞吐量。 模型微调：允许用户对模型进行微调以适应特定的任务需求。 LangChainLangChain 是一... 基础入门
LLM101n：从零开始构建你的大语言模型 LLM101n 是由 Andrej Karpathy 开发的一套教程，旨在从零开始构建一个名为“Storyteller”的大型语言模型 (LLM)。这个项目的独特之处在于它不仅能让模型创作和精炼小故事，还能让用户与 AI 合作，共同享受创作过程和体验 AI 讲述故事的魅力。与现有的 AI 模型不同，Storyteller 专注于增强互动性和创造性。 ht... 基础入门
正向传播和反向传播 本文介绍了正向传播和反向传播在神经网络中的作用。正向传播是从输入到输出的计算过程，反向传播则利用链式法则计算参数梯度。在训练模型时，两者交替进行，反向传播的梯度计算用于优化模型参数。理解反向传播的基本原理——链式法则，是深度学习的关键之一。 正向传播正向传播时神经网络模型计算输出的过程。在这个阶段，输入数据通过网络的每一层，每个层的神经元会对输入进行加权求和，然后通... 基础入门
机器学习及大模型中的精度区别和对比 什么是精度想象一下，你正在玩一个填字游戏，你需要在格子里填写数字。每个格子代表不同的精度等级。 如果你使用“双精度”（FP64），就像你有一个很大的格子，可以写下很多数字。这意味着你可以写下非常详细的数字，比如 3.1415926535，这样的数字非常准确，适合做复杂的数学计算。 如果你使用“单精度”（FP32），就像你有一个中等大小的格子，可... 基础入门
GLM-4-9B-Chat 模型本地推理部署（一）项目Demo部署 本文内容参考 ChatGLM 团队发布在 B站 上的 GLM官方教程 以及 Github 上的 GLM 官方项目仓库内容编写 概要2024/6/05 GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中， GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出超越 L... GLM-4 AI Chat
