北京
NVIDIA 初创加速计划会员企业 HTZL.AI 是国内领先的企业级私有 AI 基础设施提供商，致力于企业级私有 AI 基础设施的研发，主打“数据不出企业、模型不进云端”的私有化 AI 路径，已在环保咨询机构、出海企业等对数据安全要求较高的行业落地。
随着大模型在企业场景快速渗透，落地场景正由“公有云 SaaS”扩展至“客户办公室或机房内的私有化部署”。不同于公有云场景，私有化部署对系统提出了全新挑战：业务要拥抱 120B 级大模型，但任何一份外泄都意味着商业泄密甚至法律责任，绝不能在公有云大模型中被分析、缓存以及训练。
为实现安全可靠的私有化推理，HTZL.AI 选择 NVIDIA DGX Spark 作为单机部署底座，提供媲美高端算力中心的高性价比方案。NVIDIA Grace Blackwell 架构提供 128 GB CPU/GPU 统一内存，具备更大容量的模型加载能力；包括 CUDA、TensorRT-LLM 等在内的丰富的 NVIDIA 软件生态则为多模型推理与向量并行计算提供了高质量算力支持。
依托 NVIDIA DGX Spark，HTZL.AI 为数据敏感客户带来了显著优势，实现了在客户自有办公室或者机房内对大模型推理、向量检索、业务数据与 Agent 编排的全方位自主可控。同时，在成本与能耗方面，相较于传统多卡 GPU 工作站，HTZL.AI 基于 NVIDIA DGX Spark 的方案可帮助客户将硬件投入降低约 50%，能耗降低 90% 以上。
以上为摘要内容，点击链接阅读完整内容：AI 赋能私有化大模型，HTZL.AI 实现 NVIDIA DGX Spark 全栈标准化落地 | NVIDIA 英伟达博客
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
