Открытая экосистема высокопроизводительных, портативных и расширяемых компонентов инфраструктуры машинного обучения (ML), которые упрощают разработку машинного обучения за счет дефрагментации инструментов между интерфейсными платформами и аппаратными серверными модулями. Создано лидерами отрасли в области моделирования, программного и аппаратного обеспечения искусственного интеллекта.
Встреча сообщества 17 декабря 2024 г., 9 утра по тихоокеанскому времени.
Заметки/ссылка на Google Meet
Слайды и записи из Fall Dev Lab уже доступны! ,Слайды и записи из Fall Dev Lab теперь доступны!
Описание

XLA

XLA (Accelerated Linear Algebra) — компилятор с открытым исходным кодом для машинного обучения. Компилятор XLA берет модели из популярных платформ, таких как PyTorch, TensorFlow и JAX, и оптимизирует их для высокопроизводительного выполнения на различных аппаратных платформах, включая графические процессоры, центральные процессоры и ускорители машинного обучения.
Исходный код
XLA поставляется предварительно созданным для многих платформ машинного обучения. Информацию о том, как использовать XLA в этих случаях, см. в документации и на отдельных страницах платформы.
ДЖАКС TensorFlow PyTorch
Документация XLA охватывает ряд основных и дополнительных тем, таких как интеграция нового плагина PJRT, реализация нового серверного модуля XLA и оптимизация времени выполнения программы XLA.
Документация

СтабильныйHLO

StableHLO — это набор операций для операций высокого уровня (HLO) в моделях машинного обучения (ML). По сути, это уровень переносимости между различными платформами машинного обучения и компиляторами машинного обучения: платформы машинного обучения, создающие программы StableHLO, совместимы с компиляторами машинного обучения, использующими программы StableHLO.
Исходный код
Документация StableHLO охватывает ряд тем, таких как спецификация StableHLO OpSet и способы экспорта графиков StableHLO из распространенных платформ машинного обучения.
Документация

Шарди

Shardy — это тензорная система секционирования на основе MLIR для всех диалектов. Созданная в результате сотрудничества команд GSPMD и PartIR, она объединяет лучшее из обеих систем, а также общий опыт команд и пользователей.
Исходный код
Документация Shardy охватывает концепции сегментирования, обзор диалектов и руководства по началу работы с использованием Shardy из JAX или интеграции Shardy в собственный конвейер MLIR.
Документация

ПЙРТ

PJRT — это независимый от аппаратного обеспечения и платформы интерфейс для компиляторов и сред выполнения машинного обучения. В настоящее время он включен в дистрибутив XLA. Дополнительную информацию о том, как использовать и интегрировать PJRT, см. в XLA GitHub и документации.
Документация Исходный код

Сообщество

Присоединяйтесь к списку рассылки openxla-discuss, чтобы получать новости о выпусках, событиях и других важных обновлениях. Это также наш основной канал для обсуждения дизайна и разработки.
Вступить в группу
Присоединяйтесь к OpenXLA Discord, чтобы участвовать в чатах на темы XLA и StableHLO.
Открыть Дискорд
Встречи проводятся ежемесячно через Google Meet во 2-й или 3-й вторник в 9:00 по тихоокеанскому времени. Пожалуйста, ознакомьтесь с документом встречи или openxla-discuss, чтобы узнать конкретные даты и темы.
Заметки о последних встречах/ссылки на Google Meet Архивированные заметки о встречах
Будьте в курсе всех последних новостей и объявлений сообщества OpenXLA.
Открыть YouTube
Мы приветствуем вклад сообщества. Пожалуйста, ознакомьтесь с нашими рекомендациями по участию для получения дополнительной информации.
Рекомендации по участию

Отраслевые партнеры

Проект OpenXLA разрабатывается совместно ведущими организациями, занимающимися аппаратным и программным обеспечением машинного обучения.
Логотип Алибаба

Алибаба

«В Alibaba клиенты Elastic GPU Service используют OpenXLA для обучения и обслуживания больших моделей PyTorch. Мы наблюдали значительное улучшение производительности у клиентов, использующих OpenXLA, в частности увеличение скорости на 72 % для GPT2 и на 88 % для Swin Transformer на графических процессорах NVIDIA. Мы гордимся тем, что являемся одним из основателей проекта OpenXLA, и работаем с сообществом открытого исходного кода над разработкой усовершенствованного компилятора машинного обучения, который обеспечивает превосходную производительность и удобство использования для клиентов Alibaba Cloud». — Янцин Цзя, вице-президент по искусственному интеллекту и аналитике данных, Alibaba

Логотип веб-служб Amazon

Веб-сервисы Amazon

«Мы рады стать одним из основателей проекта OpenXLA, который демократизирует доступ к производительной, масштабируемой и расширяемой инфраструктуре искусственного интеллекта, а также дальнейшее сотрудничество внутри сообщества открытого исходного кода для стимулирования инноваций. В AWS наши клиенты масштабируют свои генеративные приложения искусственного интеллекта на AWS Trainium и Inferentia, а наш Neuron SDK использует XLA для оптимизации моделей машинного обучения для достижения высокой производительности и лучшей в своем классе производительности на ватт. Благодаря надежной экосистеме OpenXLA разработчики могут продолжать внедрять инновации и обеспечивать высокую производительность с помощью устойчивой инфраструктуры машинного обучения, а также знать, что их код переносим для использования на выбранном ими оборудовании». — Нафеа Бшара, вице-президент и заслуженный инженер AWS.

Логотип AMD

АМД

«Мы воодушевлены будущим направлением OpenXLA на широком семействе устройств AMD (ЦП, графические процессоры, AIE) и гордимся тем, что являемся частью этого сообщества. Мы ценим проекты с открытым управлением, гибкой и широкой применимостью, передовыми функциями и первоклассной производительностью и надеемся на дальнейшее сотрудничество по расширению экосистемы с открытым исходным кодом для разработчиков машинного обучения». - Алан Ли, корпоративный вице-президент по разработке программного обеспечения, AMD

Логотип любого масштаба

Любой масштаб

«Anyscale разрабатывает открытые и масштабируемые технологии, такие как Ray, чтобы помочь специалистам по искусственному интеллекту быстрее разрабатывать свои приложения и делать их доступными для большего числа пользователей. Недавно мы заключили партнерство с проектом ALPA, чтобы использовать OpenXLA для демонстрации высокопроизводительного обучения моделей на большом языке в большом масштабе. Мы рады участвовать в OpenXLA и воодушевлены тем, как этот проект с открытым исходным кодом позволяет эффективно выполнять рабочие нагрузки ИИ на более широком спектре аппаратных платформ, тем самым снижая барьер входа, сокращая затраты и быстрее развивая область ИИ». - Филипп Мориц, технический директор Anyscale

Логотип Apple

Яблоко

Apple Inc. разрабатывает, производит и продает смартфоны, персональные компьютеры, планшеты, носимые устройства и аксессуары, а также продает различные сопутствующие услуги.

Логотип руки

Рука

«Проект OpenXLA знаменует собой важную веху на пути к упрощению разработки программного обеспечения ML. Мы полностью поддерживаем миссию OpenXLA и с нетерпением ждем возможности использовать стабильность и стандартизацию OpenXLA в планах аппаратного и программного обеспечения Arm® Neoverse™». - Питер Гринхал, вице-президент по технологиям и научный сотрудник Arm.

Логотип Церебрас

Церебрас

«В Cerebras мы создаем ускорители искусственного интеллекта, которые позволяют быстро и легко обучать даже самые крупные модели искусственного интеллекта. Наши системы и программное обеспечение отвечают потребностям пользователей там, где они находятся, обеспечивая быструю разработку, масштабирование и итерацию с использованием стандартных сред машинного обучения без изменений. OpenXLA помогает расширить охват пользователей и ускорить поиск решения, предоставляя Cerebras Wafer-Scale Engine общий интерфейс для платформ машинного обучения более высокого уровня. Мы чрезвычайно рады видеть экосистему OpenXLA доступной для еще более широкого участия сообщества, внесения вклада и использования на GitHub». — Энди Хок, вице-президент и руководитель отдела продуктов Cerebras Systems

Логотип Google

Google

«Программное обеспечение с открытым исходным кодом дает каждому возможность помочь совершить прорыв в области искусственного интеллекта. В Google мы участвуем в проекте OpenXLA, чтобы продолжить нашу приверженность открытому исходному коду и способствовать внедрению инструментов искусственного интеллекта, которые повышают стандарты производительности машинного обучения, устраняют несовместимость между платформами и оборудованием и могут быть реконфигурированы для удовлетворения индивидуальных сценариев использования разработчиков. Мы рады разрабатывать эти инструменты вместе с сообществом OpenXLA, чтобы разработчики могли продвигать достижения на многих различных уровнях стека искусственного интеллекта». – Джефф Дин, старший научный сотрудник и старший вице-президент по исследованиям и искусственному интеллекту Google.

Логотип Графкора

Графкор

«Наш конвейер компилятора IPU использует XLA с момента его публикации. Благодаря независимости и стабильности платформы XLA, она обеспечивает идеальный интерфейс для разработки новых микросхем. Гибкость XLA позволила нам раскрыть новые аппаратные функции нашего IPU и достичь высочайшей производительности с помощью нескольких платформ. Миллионы запросов в день обслуживаются системами, на которых работает код, скомпилированный XLA. Мы воодушевлены направлением OpenXLA и надеемся продолжать вносить свой вклад в проект с открытым исходным кодом. Мы считаем, что он станет ключевым компонентом будущего искусственного интеллекта и машинного обучения». - Дэвид Норман, директор по разработке программного обеспечения, Graphcore

Логотип «Обнимающее лицо»

Обнимающее лицо

«Упрощение эффективного запуска любой модели на любом оборудовании — это серьезная техническая задача и важная цель нашей миссии по демократизации хорошего машинного обучения. В Hugging Face мы включили XLA для моделей генерации текста TensorFlow и добились ускорения примерно в 100 раз. Более того, мы тесно сотрудничаем с командами инженеров Intel, AWS, Habana, Graphcore, AMD, Qualcomm и Google, создавая мосты с открытым исходным кодом между платформами и каждым кристаллом, чтобы предложить конечным пользователям готовую эффективность с помощью нашей библиотеки Optimum. OpenXLA обещает стандартизированные строительные блоки, на основе которых мы сможем построить столь необходимую совместимость, и нам не терпится последовать их примеру и внести свой вклад!» - Морган Фунтович, руководитель отдела оптимизации машинного обучения, Hugging Face

Логотип Интел

Интел

«В Intel мы верим в открытый, демократизированный доступ к ИИ. Процессоры и графические процессоры Intel, ускорители Habana Gaudi и программное обеспечение искусственного интеллекта на базе oneAPI, включая OpenVINO, управляют рабочими нагрузками машинного обучения повсюду — от экзафлопсных суперкомпьютеров до крупных облачных развертываний. Вместе с другими членами OpenXLA мы стремимся поддерживать основанные на стандартах компонентные инструменты компилятора машинного обучения, которые способствуют инновациям в различных средах и аппаратных средах для ускорения меняющих мир науки и исследований». — Грег Лавендер, старший вице-президент Intel, технический директор и генеральный директор группы программного обеспечения и передовых технологий.

Мета-логотип

Мета

«В ходе исследований в Meta AI мы использовали XLA, базовую технологию проекта OpenXLA, для создания моделей PyTorch для облачных TPU и смогли добиться значительного повышения производительности в важных проектах. Мы считаем, что открытый исходный код ускоряет темпы инноваций в мире, и рады быть частью проекта OpenXLA». — Сумит Чинтала, ведущий специалист по обслуживанию, PyTorch

Логотип NVIDIA

NVIDIA

«Являясь одним из основателей проекта OpenXLA, компания NVIDIA надеется на сотрудничество в области развития искусственного интеллекта и машинного обучения с сообществом OpenXLA и уверена, что благодаря более широкому участию и принятию OpenXLA разработчики машинного обучения получат возможность использовать самые современные технологии. Инфраструктура искусственного интеллекта». - Роджер Брингманн, вице-президент по программному обеспечению компиляторов NVIDIA.