由于各种原因，一些企业倾向于在其人工智能（AI）应用中使用功能较弱但开源的大型语言模型（LLM）
做出这种决定的人通常希望节省调用API的成本或对AI服务提供商的数据保护措施不信任。 Multiable对此方法没有立场。无论如何，让我们来了解一下采用自有LLAMA的运营成本，这是目前最受欢迎的开源LLM之一。
许多人在计划在云中设置一个“可用”的LLAMA时犯了错误，特别是忽略了生产运行所需的一系列云服务。 是的，可能有1/5的IT人员倾向于使用UAT环境的成本向管理层申请预算，然后当系统实际运行时情况变得糟糕！ 事实上，在亚马逊网络服务（AWS）中托管大型语言模型架构（LLAMA）涉及与不同AWS服务相关的多个成本组成部分。
- 亚马逊EC2（弹性计算云）：
- 定价取决于所选实例类型和配置。为了托管LLAMA，建议使用如p3.2xlarge这样的GPU实例进行密集型机器学习任务。
- p3.2xlarge实例：每小时约3.06美元。
- p3.8xlarge实例：每小时约12.24美元。
- 预留实例和竞价实例可以提供显著的成本节省。
- 亚马逊S3（简单存储服务）：
- 用于存储数据集和模型检查点。
- 标准存储：每月每GB 0.023美元。
- 不频繁访问存储：每月每GB 0.0125美元。
- Glacier存储（用于归档模型）：每月每GB 0.004美元。
- 亚马逊EBS（弹性块存储）：
- 为与EC2实例一起使用的持久性块存储提供支持。
- 通用SSD（gp2）：每月每GB 0.10美元。
- 预配置IOPS SSD（io1）：基于预配置的IOPS和存储大小而变化。
- 亚马逊VPC（虚拟私有云）：
- 数据传输可能会产生费用，例如在不同服务间传输数据。
- 数据传输出站：每月前1GB免费，之后每GB 0.09美元，最多每月10TB。
- AWS Lambda：
- 处理所需的任何无服务器函数。
- Lambda函数：每1百万次请求0.20美元，加上每GB-秒的计算时间0.00001667美元。
- 亚马逊CloudWatch：
- 基础设施的监控和日志记录服务。
- 自定义指标：每月每指标0.30美元。
- 日志：每GB输入0.50美元，每GB存档0.03美元。 确定在AWS中托管和运行自有语言学习模型架构（LLAMA）的完整年度成本取决于几个因素，包括计算能力、数据存储、网络传输成本和其他辅助服务。 计算：AWS提供各种适合大型语言模型的实例，例如基于GPU的EC2实例。例如，使用p3.8xlarge实例，每小时大约12.24美元，连续运行的平均年费用约为107,136美元。
- 存储：亚马逊S3或EBS提供灵活的存储选项。高性能EBS可能每月每GB约0.10美元。假设需要10TB，存储成本可能在每年12,000美元左右。 网络传输：数据传输成本各不相同，但对于大量的数据输出和输入，估计每月500美元的费用可能导致每年6000美元。
- 附加服务：使用AWS Lambda、API Gateway或其他服务可能会增加额外的5000美元辅助成本。 以下是粗略估计。总年度成本大约为： • 计算：107,136美元 • 存储：12,000美元 • 网络传输：6,000美元 • 辅助服务：5,000美元 总估计：大约130,136美元每年。
- LAIDFU是一个由无代码方法驱动的可配置企业AI，允许用户在应用程序中采用不同的AI服务提供商，从OpenAI、百度到自有的LLAMA。用户可以自由选择最适合的LLM来运行用户定义的各种业务流程中的用例。 [了解更多关于LAIDFU]