私有人工智能和本地部署的LLM人工智能可以在数据存储的地方运行。
开源语言模型(例如 Llama、Mistral 和 Qwen)可部署在您自己的服务器或私有云上,并在此基础上构建助手、搜索和文档 AI 功能。适用于数据无法发送到公共 AI 服务的组织。
- 您的服务器或私有云
- 开源模型
- 不会向人工智能供应商发送任何数据
- 访问控制和日志记录
有些数据绝对不能离开建筑物。
公共人工智能服务虽然便捷,但许多监管机构、客户和合同不允许向其发送敏感数据。私有人工智能则能让您的团队在自身范围内使用同样的工具。
保留在您的服务器或私有云上
发送给供应商,通常是国外供应商。
符合数据驻留和扇区规则
很难向监管机构证明其合理性
您的身份系统和权限
共享账户,缺乏监管
可预测的基础设施成本
按用户或按代币计费的费用不断增长
根据您的文档和语言进行调整的模型
适用于所有人的模式
所有提示和答案均已记录以供审核
有限的使用日志
设计确保提示信息和文档永远不会离开您的网络。
我们根据您的任务对模型进行基准测试,并相应地调整硬件配置。
经我们内部人工智能安全团队测试。
通过 ISO/IEC 27001:2022 认证。您的代码和数据在经过审核的控制下进行处理。
谁需要私人人工智能?
私有人工智能适用于那些希望利用人工智能助手提高生产力,但又不能将数据提供给公共服务的机构。常见的例子包括医院和诊所、银行和保险公司、律师事务所、政府机构、国防供应商以及受客户保密或数据驻留规则约束的公司。
这些买家需要什么
- 数据流向的确定性,写入架构而非供应商策略。
- 答案尊重现有权限,因此人工智能不会成为绕过访问控制的手段。
- 合规和安全团队可以查看的日志。
- 随着使用量的增长,运行成本可预测。
- 就目前开源模型能够很好地处理哪些任务提供诚实的建议。
部署选项
- 本地部署:模型在您自己的数据中心内的 GPU 服务器上运行。
- 私有云:模型在您自己的 AWS、Azure、Google Cloud 或您选择的区域的区域云帐户中运行。
- 混合模式:敏感任务在私有环境中运行,而低风险任务可以在企业条款下使用托管模式。
向任何服务提供者提出的问题
- 你们将测试哪些模型,以及测试我们哪些任务?
- 我们的使用情况下,预计硬件或云服务成本是多少?
- 如何记录和保存提示信息、答案和文档?
- 如何在不破坏现有功能的情况下更新模型?
Sigosoft 按照 ISO/IEC 27001:2022 标准进行管理,我们的内部安全团队会在 AI 系统上线前对其进行测试,以检测是否存在快速注入和数据泄露问题。
先进行基准测试,然后再购买硬件。
- 1第 1-2 周
评估
用例、数据规则以及针对您的任务的候选模型基准测试。
- 2第 3-4 周
尺寸
硬件或私有云规模估算及运行成本估算。
- 3构建
部署
模型、访问控制、日志记录和第一个应用程序。
- 4正在进行
操作
根据服务水平协议进行模型更新、评估和监控。
对于许多业务任务,例如摘要、文档回复和数据提取,当前的开源模型表现良好。在您投资之前,我们会使用您的实际任务对候选模型进行基准测试,并明确指出哪些情况下托管模型会更胜一筹。
这取决于模型规模、用户数量以及所需的响应速度。有些用例只需一台GPU服务器即可运行;而有些则需要更多。我们会根据基准测试结果来确定服务器规模,也可以部署在私有云环境中,而无需购买硬件。
是的。我们可以将应用部署到您账户和区域内的 AWS、Azure、Google Cloud 或区域性云提供商,也可以部署到您自己数据中心的服务器上。
该助手会连接到您的身份系统并遵循文档权限设置,因此用户只能看到他们有权查看的内容的答案。所有提示和答案都会被记录。
我们根据支持协议提供这项服务。新模型版本在替换当前版本之前,会先使用您的评估数据集进行测试。
让您的团队拥有人工智能,而无需承担数据风险。
告诉我们您的团队希望人工智能实现哪些目标,以及它将处理哪些数据。我们将回复您部署方案和费用范围。

