Cerebras бросает вызов Nvidia, запуская сервис вывода ИИ

Во вторник Cerebras Systems анонсировала решение для разработчиков на основе искусственного интеллекта. По заявлениям компании, это гораздо более быстрое решение для вывода, в 20 раз быстрее, чем предложения Nvidia.

Cerebras предоставит доступ к своим более крупным чипам для запуска приложений искусственного интеллекта, которые, по словам компании, также дешевле, чем графические процессоры Nvidia. Доступ к графическим процессорам Nvidia, являющимся отраслевыми стандартами, часто осуществляется через поставщиков облачных услуг для запуска больших языковых моделей, таких как ChatGPT. Получение доступа обычно является непростой задачей для многих мелких фирм и обходится дорого. 

Cerebras утверждает, что ее новые чипы могут обеспечить производительность, превосходящую возможности графических процессоров

Вывод ИИ — это процесс использования уже обученной модели ИИ для получения результатов, таких как ответы от чат-ботов и решение различных задач. Службы вывода являются основой современных приложений искусственного интеллекта, поскольку они полагаются на них в повседневных операциях для облегчения работы пользователей.

Церебрас заявил, что логический вывод является самым быстрорастущим сегментом индустрии искусственного интеллекта, поскольку на него приходится 40% всех связанных с искусственным интеллектом рабочих нагрузок в облачных вычислениях. Генеральный директор Cerebras Эндрю Фельдман заявил, что крупные чипы компании обеспечивают большую производительность, чем графические процессоры. По его словам, графические процессоры не могут достичь такого уровня. Фельдман дал интервью Reuters.

Добавил он,

«Мы делаем это с высочайшей точностью и предлагаем по самой низкой цене». Источник: Рейтер .

Генеральный директор сказал, что существующие услуги вывода ИИ не удовлетворяют всех клиентов. Он сообщил отдельной группе репортеров в Сан-Франциско, что компания «видит всевозможный интерес» к более быстрым и экономически эффективным решениям. 

До сих пор Nvidia доминировала на рынке вычислений искусственного интеллекта благодаря своим чипам золотого стандарта и среде программирования Compute Unified Device Architecture (CUDA). Это помогло Nvidia закрепить разработчиков в своей экосистеме, предоставив широкий набор инструментов.

Чипы Cerbras имеют в 7000 раз больше памяти, чем графические процессоры Nvidia H100.

Cerebras заявила, что ее высокоскоростной сервис вывода является поворотным моментом для индустрии искусственного интеллекта. Новые чипы компании размером с обеденную тарелку называются Wafer Scale Engines. Они могут обрабатывать 1000 токенов в секунду, что, по словам компании, сопоставимо с внедрением широкополосного Интернета.

По данным компании, новые чипы обеспечивают разную производительность для разных моделей искусственного интеллекта. Для Llama 3.1 8B новые чипы могут обрабатывать до 1800 токенов в секунду, а для Llama 3.1 70B — 450 токенов в секунду.

Cerebras предлагает услуги вывода по цене 10 центов за миллион токенов, что меньше, чем на основе графических процессоров. По мнению представителей отрасли, обычно альтернативные подходы снижают точность ради производительности, в то время как новые чипы Cerebras способны поддерживать точность, по утверждениям компании.

Cerebras заявила, что будет предлагать продукты вывода ИИ в различных формах. Компания планирует представить сервис вывода через свое облако и ключ разработчика. Фирма также будет продавать новые чипы клиентам центров обработки данных и тем, кто хочет использовать свои собственные системы.

Новые чипы Wafer Scale Engine имеют собственные интегрированные модули охлаждения и электропитания и являются частью системы центра обработки данных Cerebras под названием CS-3. По разным данным , система Cerebras CS-3 является основой службы вывода компании.

Система может похвастаться в 7000 раз большей емкостью памяти, чем графические процессоры Nvidia H100. Это также решает фундаментальную проблему пропускной способности памяти, которую пытаются решить многие производители микросхем.

Cerbras также работает над тем, чтобы стать публичной компанией. Для этого в этом месяце компания подала dent проспект в Комиссию по ценным бумагам и биржам (SEC).