В эпоху, доминирующую моделями оснований и массивными наборами данных, разработчики и исследователи все чаще сталкиваются с узкими местами в доступе к вычислениям. Хотя облако предоставляет масштабируемость, проблемы с конфиденциальностью, задержкой и стоимостью заставили многих строителей искать высокопроизводительные локальные альтернативы. Венчурная капитальная компания A16z теперь представила свою специально разработанную рабочую станцию ИИ, предназначенную для обеспечения производительности уровня предприятия непосредственно на месте — с использованием новейших графических процессоров Blackwell от NVIDIA.
Полная пропускная способность для требовательных ИИ нагрузок
В основе системы лежат четыре графические процессора NVIDIA RTX 6000 Pro Blackwell Max-Q, каждый из которых оснащен 96 ГБ видеопамяти, что в сумме составляет 384 ГБ. В отличие от типичных много-GPU рабочих станций, которые распределяют полосу пропускания между картами, каждый GPU здесь подключается через собственную выделенную шину PCIe 5.0 x16. Такой дизайн обеспечивает полную полосу пропускания от GPU к CPU, что гарантирует, что обучение моделей и вывод работают без узких мест.
Система оснащена процессором AMD Ryzen Threadripper PRO 7975WX, который имеет 32 ядра и 64 потока, оптимизированный для тяжелых параллельных нагрузок. Вместе процессор и графические процессоры создают сбалансированную среду для обучения крупных языковых моделей, тонкой настройки специализированных систем и запуска многомодальных AI приложений.
Хранение и память, созданные для масштабирования
Чтобы соответствовать пропускной способности GPU, рабочая станция A16z включает четыре 2TB PCIe 5.0 NVMe SSD, обеспечивающие почти 60GB/s агрегатной пропускной способности в RAID 0. Машина также оснащена 256GB памяти ECC DDR5, расширяемой до 2TB по восьми каналам.
Это сочетание не только ускоряет обработку больших наборов данных, но и интегрирует NVIDIA GPUDirect Storage, позволяя данным перемещаться напрямую из SSD в память GPU. Обходя память CPU, этот дизайн значительно снижает задержку для рабочих нагрузок, которые зависят от быстрого перемещения данных.
Энергоэффективность и мобильность
Несмотря на свою мощь, рабочая станция удивительно экономична в потреблении энергии. Она потребляет максимум 1650W и может работать от стандартной розетки на 15 ампер. Система жидкостного охлаждения стабилизирует процессор во время длительных тренировок, а корпус включает встроенные колеса, что делает устройство переносным между лабораториями и офисами.
Разблокировка местного потенциала ИИ
Рабочая станция A16z позиционируется как гибкий инструмент как для исследователей, так и для стартапов. Она позволяет командам обучать, настраивать и разворачивать модели локально, не передавая чувствительные данные в облако. Помимо больших языковых моделей, машина поддерживает мультимодальный ИИ, позволяя одновременно обрабатывать текстовые, видеоданные и изображения.
Объединив мощность графических процессоров класса «предприятие», огромную пропускную способность хранения и практичный дизайн, рабочая станция AI от A16z предлагает убедительное видение локальной вычислительной инфраструктуры в то время, когда спрос на ресурсы ИИ никогда не был столь велик.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
A16z представляет AI-станцию, работающую на графических процессорах NVIDIA Blackwell
В эпоху, доминирующую моделями оснований и массивными наборами данных, разработчики и исследователи все чаще сталкиваются с узкими местами в доступе к вычислениям. Хотя облако предоставляет масштабируемость, проблемы с конфиденциальностью, задержкой и стоимостью заставили многих строителей искать высокопроизводительные локальные альтернативы. Венчурная капитальная компания A16z теперь представила свою специально разработанную рабочую станцию ИИ, предназначенную для обеспечения производительности уровня предприятия непосредственно на месте — с использованием новейших графических процессоров Blackwell от NVIDIA.
Полная пропускная способность для требовательных ИИ нагрузок
В основе системы лежат четыре графические процессора NVIDIA RTX 6000 Pro Blackwell Max-Q, каждый из которых оснащен 96 ГБ видеопамяти, что в сумме составляет 384 ГБ. В отличие от типичных много-GPU рабочих станций, которые распределяют полосу пропускания между картами, каждый GPU здесь подключается через собственную выделенную шину PCIe 5.0 x16. Такой дизайн обеспечивает полную полосу пропускания от GPU к CPU, что гарантирует, что обучение моделей и вывод работают без узких мест.
Система оснащена процессором AMD Ryzen Threadripper PRO 7975WX, который имеет 32 ядра и 64 потока, оптимизированный для тяжелых параллельных нагрузок. Вместе процессор и графические процессоры создают сбалансированную среду для обучения крупных языковых моделей, тонкой настройки специализированных систем и запуска многомодальных AI приложений.
Хранение и память, созданные для масштабирования
Чтобы соответствовать пропускной способности GPU, рабочая станция A16z включает четыре 2TB PCIe 5.0 NVMe SSD, обеспечивающие почти 60GB/s агрегатной пропускной способности в RAID 0. Машина также оснащена 256GB памяти ECC DDR5, расширяемой до 2TB по восьми каналам.
Это сочетание не только ускоряет обработку больших наборов данных, но и интегрирует NVIDIA GPUDirect Storage, позволяя данным перемещаться напрямую из SSD в память GPU. Обходя память CPU, этот дизайн значительно снижает задержку для рабочих нагрузок, которые зависят от быстрого перемещения данных.
Энергоэффективность и мобильность
Несмотря на свою мощь, рабочая станция удивительно экономична в потреблении энергии. Она потребляет максимум 1650W и может работать от стандартной розетки на 15 ампер. Система жидкостного охлаждения стабилизирует процессор во время длительных тренировок, а корпус включает встроенные колеса, что делает устройство переносным между лабораториями и офисами.
Разблокировка местного потенциала ИИ
Рабочая станция A16z позиционируется как гибкий инструмент как для исследователей, так и для стартапов. Она позволяет командам обучать, настраивать и разворачивать модели локально, не передавая чувствительные данные в облако. Помимо больших языковых моделей, машина поддерживает мультимодальный ИИ, позволяя одновременно обрабатывать текстовые, видеоданные и изображения.
Объединив мощность графических процессоров класса «предприятие», огромную пропускную способность хранения и практичный дизайн, рабочая станция AI от A16z предлагает убедительное видение локальной вычислительной инфраструктуры в то время, когда спрос на ресурсы ИИ никогда не был столь велик.