🧵 Table of Contents

今天有相当多的LLM代理可用。一些最突出的是AutoGPT、AutoGen、BabyAGI和OpenAgents。本文旨在提供这些模型的并排比较，以及我们应该和不应该在哪些用例中使用它们。

AutoGen

AutoGen是一个框架，可以使用多个代理来开发LLM应用程序，这些代理可以相互对话以解决任务。AutoGen代理是可定制的、可交谈的，并无缝地允许人类参与。它们可以在各种模式下运行，这些模式采用LLM、人工输入和工具的组合。通过能够创建可定制和可交谈的代理，AutoGen允许人类在这些多代理对话中无缝参与。

AutoGPT是一个实验性开源应用程序，展示了GPT-4语言模型的功能。该程序由GPT-4驱动，将LLM“思想”链接在一起，以自主实现您设定的任何目标。作为GPT-4完全自主运行的首批例子之一，AutoGPT突破了人工智能的极限。

LLMOps代表“大型语言模型操作”，指的是在人工智能模型的整个生命周期中加快人工智能模型开发、部署和管理的专业实践和工作流程。

LLMOps平台可以提供更高效的库管理，降低运营成本，并使更少的技术人员能够完成任务。这些操作包括数据预处理、语言模型训练、监控、微调和部署。与机器学习操作（MLOps）一样，LLMOps建立在数据科学家、DevOps工程师和IT专业人员的合作基础上。

LLM，如使用GPT-4的OpenAI的ChatGPT和谷歌的BERT，代表了一类新的、更先进的
自然语言处理（NLP）模型可以快速回答自然语言问题、提供摘要并遵循复杂指令。

LLMOps平台将数据科学和软件工程带入一个协作环境，用于数据探索、实时实验跟踪、即时工程以及模型和管道管理。LLMOps自动化了机器学习生命周期中的操作和监控任务。

LLMOps与MLOps

由于LLMOp属于机器学习操作的范围，它可能会被忽视，甚至被称为“LLM的MLOps”，但LLMOp应该单独考虑，因为它特别专注于简化LLM开发。以下是机器学习（ML）工作流和需求随LLM而具体变化的两种方式。

LMOps

LMOps is a research initiative on fundamental research and technology for building AI products w/ foundation models, especially on the general technology for enabling AI capabilities w/ LLMs and Generative AI models.

Call all LLM APIs using the OpenAI format. Use Bedrock, Azure, OpenAI, Cohere, Anthropic, Ollama, Sagemaker, HuggingFace, Replicate (100+ LLMs)

docs.litellm.ai/docs/

Call all LLM APIs using the OpenAI format [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, etc.]

LiteLLM manages:

概念
完成本教程后，您将能够：

• 理解MetaGPT的代理和环境概念
• 代理如何相互交互以及多代理协作可能是什么样子

其目的是提供对概念的直观和简化的解释，以便用户有进一步探索教程系列的背景。在我们力求清晰的同时，我们也认识到简化可能会产生不准确或遗漏。因此，我们鼓励更多地浏览后续文档，以获得完整的理解。
如果您想先动手编写代码，也可以跳到Agent101。
如果您想要更严格的解释，请查看我们的论文。

代理

学术界和工业界对“代理人”一词提出了各种定义。粗略地说，一个代理人应该能够像人类一样思考或计划，拥有记忆甚至情感，具备与环境、其他代理人和人类互动的特定技能。在综合考察中，代理人本身就是一个复杂的系统。
在我们看来，我们将代理人想象成一个环境中的数字有机体，其中

Python示例代码介绍（ft.Mistral-7b）

本文是关于在实践中使用大型语言模型（LLM）的更大系列文章的一部分。在上一篇文章中，我们看到了如何使用OpenAI对LLM进行微调。然而，这种方法的主要限制是，OpenAI的模型隐藏在其API后面，这限制了我们可以使用它们构建什么以及如何构建。在这里，我将讨论一种使用开源模型和QLoRA来微调LLM的替代方法。

微调是指我们采用现有的模型，并根据特定的用例对其进行调整。这是最近人工智能创新爆发的关键部分，催生了ChatGPT等。

尽管微调是一个简单（强大）的想法，但将其应用于LLM并不总是那么简单。关键的挑战是LLM在计算上（非常）昂贵（即它们不能在典型的笔记本电脑上进行训练）。

例如，70B参数模型的标准微调需要超过1TB的内存[1]。就上下文而言，A100 GPU具有高达80GB的内存，所以你（最多）需要十几张这样的20000美元的卡！

虽然这可能会让你构建自定义人工智能的梦想破灭，但现在还不要放弃。开源社区一直在努力使使用这些模型的建筑更容易访问。从这些努力中产生的一种流行方法是QLoRA（量化低秩自适应），这是一种在不牺牲性能的情况下微调模型的有效方法。

我们如何与LLM进行有效沟通？

除非你已经完全脱离了社交媒体和新闻中的喧嚣，否则你不太可能错过大型语言模型（LLM）带来的兴奋。