由于多种原因，一些企业倾向于在其AI应用程序中使用较弱的开源大型语言模型（LLM）。
做出这种决策的人通常希望节省调用API的成本，或者不信任AI服务提供商的数据保护设施。
Multiable对采用任何一种私有部署的LLM没有倾向性。无论如何，让我们来看看采用自有的LLAMA（目前最受欢迎的开放源码LLM之一）在亚马逊网络服务（AWS）上运行的成本。
许多人在计划将一个“可用”的LLAMA设置在云端时常常犯错误，特别是忽略了生产运行所需的一系列云端服务。
是的，可能有五分之一的IT人员会使用UAT环境的成本来申请管理层的预算，然后当系统上线时事情变得糟糕！
事实上，在AWS上托管大型语言模型架构（LLAMA）涉及与不同AWS服务相关的多种成本组件。
1、Amazon EC2（弹性计算云）
- 价格取决于所选的实例类型和配置。建议使用GPU实例，如2xlarge进行密集的机器学习任务。
- 2xlarge实例：每小时约3.06美元
- 8xlarge实例：每小时约12.24美元
- 预留实例和Spot实例可以显着节省成本。
2、Amazon S3（简单存储服务）
- 用于存储数据集和模型检查点。
- 标准存储：每月每GB 0.023美元
- 不常访问的存储：每月每GB 0.0125美元
- Glacier存储（用于归档模型）：每月每GB 0.004美元。
3、Amazon EBS（弹性块存储）
- 为EC2实例提供持久块存储。
- 通用型SSD（gp2）：每月每GB 0.10美元
- 预置IOPS SSD（io1）：根据预置IOPS和存储大小而定
4、Amazon VPC（虚拟私有云）
- 在服务之间数据传输可能产生网络费用。
- 数据传出：每月前1GB免费，之后每GB 0.09美元（上限10TB/月）
5、AWS Lambda
- 用于处理的无服务器函数。
- Lambda函数：每百万次请求20美元，加上每GB-秒计算时间0.00001667美元
6、Amazon CloudWatch
- 为基础设施提供监控和日志服务。
- 自定义指标：每月每个指标30美元
- 日志：每GB导入50美元，每GB归档0.03美元
托管和运行自有LLAMA在AWS上的年度成本取决于多种因素，包括计算能力、数据存储、网络传输成本和其他辅助服务。
- 计算：AWS提供适用于大型语言模型的各种实例，例如基于GPU的EC2实例。使用p3.8xlarge实例，其费用约为12.24美元/小时，持续运行一年费用约为107,136美元。
- 存储：Amazon S3或EBS提供灵活的存储选项。高性能EBS每GB约0.10美元/月，假设需要10TB存储，年度费用约为12,000美元。
- 网络传输：数据传输成本因数据量而异，估计每月500美元，则年度约为6,000美元。
- 附加服务：使用AWS Lambda、API Gateway或其他服务可增加约5,000美元的辅助成本。
粗略估算的年度总成本如下：
- 计算：107,136美元
- 存储：12,000美元
- 网络传输：6,000美元
- 附加服务：5,000美元
总计：约130,136美元/年
请注意，上述费用仅涵盖AWS的云服务成本，未包括人力成本，这部分费用会根据客户的具体需求而有所不同。
LAIDFU，一个以无代码方式（No Code Approach）可配置的企业AI Agent，允许用户在其应用程序中使用不同的AI服务提供商，包括OpenAI、百度以及自己的DeepSeek或LLAMA。用户可以自由选择最合适的大型语言模型（LLM）来执行用户定义的使用案例，针对各种业务流程进行操作。