Ein offenes System aus leistungsfähigen, portablen und erweiterbaren ML-Infrastrukturkomponenten (ML), die die ML-Entwicklung vereinfachen, indem die Tools zwischen Frontend-Frameworks und Hardware-Backends defragmentiert werden. Von Branchenführern in Sachen KI-Modellierung, Software und Hardware entwickelt.
Community Meeting 2024/12/17 @9AM PT
Die Folien und Aufzeichnungen vom Dev Lab im Herbst sind jetzt verfügbar.

XLA

XLA (Accelerated Linear Algebra) ist ein Open-Source-Compiler für maschinelles Lernen. Der XLA-Compiler übernimmt Modelle aus gängigen Frameworks wie PyTorch, TensorFlow und JAX und optimiert die Modelle für eine leistungsstarke Ausführung auf verschiedenen Hardwareplattformen wie GPUs, CPUs und ML-Beschleunigern.
XLA ist für viele ML-Frameworks vorkonfiguriert. Informationen zur Verwendung von XLA in diesen Fällen finden Sie in der Dokumentation und auf den einzelnen Framework-Seiten.
Die XLA-Dokumentation behandelt eine Reihe von grundlegenden und erweiterten Themen, z. B. die Integration eines neuen PJRT-Plug-ins, die Implementierung eines neuen XLA-Back-Ends und die Optimierung der XLA-Programmlaufzeit.

StableHLO

StableHLO ist ein Vorgangssatz für High-Level-Vorgänge (HLO) in Modellen für maschinelles Lernen (ML). Im Wesentlichen handelt es sich dabei um eine Portabilitätsebene zwischen verschiedenen ML-Frameworks und ML-Compilern: ML-Frameworks, die StableHLO-Programme erstellen, sind mit ML-Compilern kompatibel, die StableHLO-Programme nutzen.
Die StableHLO-Dokumentation behandelt eine Reihe von Themen, z. B. die Spezifikation des StableHLO OpSet und den Export von StableHLO-Grafiken aus gängigen ML-Frameworks.

Shardy

Shardy ist ein MLIR-basiertes Tensor-Partitionierungssystem für alle Dialekte. Es wurde in Zusammenarbeit mit den GSPMD- und PartIR-Teams entwickelt und vereint das Beste aus beiden Systemen sowie die Erfahrungen der Teams und Nutzer.
Die Shardy-Dokumentation enthält Informationen zu Sharding-Konzepten, einen Überblick über unterschiedliche Dialekte und Anleitungen für den Einstieg in die Verwendung von Shardy über JAX oder die Einbindung von Shardy in eine benutzerdefinierte MLIR-Pipeline.

PJRT

PJRT ist eine aus Hardware und Framework unabhängige Schnittstelle für ML-Compiler und Laufzeiten. Es ist derzeit in der XLA-Distribution enthalten. Weitere Informationen zur Verwendung und Integration von PJRT findest du im XLA GitHub und in der Dokumentation.

Community

Melde dich für die Mailingliste von openxla-discuss an, um Neuigkeiten zu Veröffentlichungen, Veranstaltungen und anderen wichtigen Updates zu erhalten. Es ist auch unser primärer Kanal für Diskussionen zu Design und Entwicklung.
Tritt der OpenXLA Discord bei, um an Chats über XLA- und StableHLO-Themen teilzunehmen.
Die Besprechungen finden monatlich am 2. oder 3. Dienstag um 18:00 Uhr über Google Meet statt. Die genauen Daten und Themen findest du im Dokument des Meetings oder in openxla-discuss.
Bleiben Sie über die neuesten Nachrichten und Ankündigungen der OpenXLA-Community auf dem Laufenden.
Wir freuen uns über Beiträge von der Community. Weitere Informationen finden Sie in unseren Richtlinien für Beiträge.

Branchenpartner

Das OpenXLA-Projekt wird von führenden ML-Hardware- und -Softwareunternehmen gemeinsam entwickelt.
Logo: Alibaba

Alibaba

„Bei Alibaba wird OpenXLA von Kunden des Elastic GPU Service zum Trainieren und Bereitstellen großer PyTorch-Modelle genutzt. Für Kunden, die OpenXLA verwenden, wurden erhebliche Leistungsverbesserungen verzeichnet, insbesondere Beschleunigungen von 72% für GPT2 und 88% für Swin Transformer auf NVIDIA-GPUs. Wir sind Gründungsmitglied des OpenXLA-Projekts und arbeiten mit der Open-Source-Community an der Entwicklung eines fortschrittlichen ML-Compilers, der Alibaba Cloud-Kunden eine erstklassige Leistung und Nutzerfreundlichkeit bietet.“ – Yangqing Jia, VP, AI and Data Analytics, Alibaba

Amazon Web Services-Logo

Amazon Web Services

„Wir freuen uns, Gründungsmitglied des OpenXLA-Projekts zu sein, das den Zugang zu einer leistungsfähigen, skalierbaren und erweiterbaren KI-Infrastruktur sowie die weitere Zusammenarbeit innerhalb der Open-Source-Community ermöglicht, um Innovationen voranzutreiben. Bei AWS skalieren unsere Kunden ihre generativen KI-Anwendungen auf AWS Trainium und Inferentia. Unser Neuron SDK nutzt XLA, um ML-Modelle für hohe Leistung und branchenführende Leistung pro Watt zu optimieren. Dank eines robusten OpenXLA-Systems können Entwickler mit einer nachhaltigen ML-Infrastruktur weiter innovativ sein und erstklassige Leistung bereitstellen. Sie wissen außerdem, dass ihr Code auf die Hardware ihrer Wahl übertragbar ist.“ – Nafea Bshara, Vice President und Distinguished Engineer, AWS

Logo: AMD

AMD

„Wir freuen uns auf die zukünftige Ausrichtung von OpenXLA auf die große Familie von AMD-Geräten (CPUs, GPUs, AIE) und sind stolz darauf, Teil dieser Community zu sein. Wir schätzen Projekte mit offener Governance, flexibler und umfassender Anwendbarkeit, innovativen Funktionen und erstklassiger Leistung und freuen uns auf die weitere Zusammenarbeit zur Erweiterung des Open-Source-Ökosystems für ML-Entwickler.“ – Alan Lee, Corporate Vice President, Software Development, AMD

Logo: Anyscale

Anyscale

„Anyscale entwickelt offene und skalierbare Technologien wie Ray, um KI-Praktikern dabei zu helfen, ihre Anwendungen schneller zu entwickeln und für mehr Nutzer verfügbar zu machen. Kürzlich haben wir uns mit dem ALPA-Projekt zusammengetan, um OpenXLA zu nutzen, um das leistungsstarke Modelltraining für Large Language Models in großem Maßstab zu demonstrieren. Wir freuen uns über die Teilnahme an OpenXLA und sind begeistert, wie diese Open-Source-Initiative die effiziente Ausführung von KI-Arbeitslasten auf einer Vielzahl von Hardwareplattformen ermöglicht. Dadurch wird die Einstiegsbarriere gesenkt, die Kosten gesenkt und das Gebiet der KI schneller vorangebracht.“ – Philipp Moritz, CTO, Anyscale

Apple-Logo

Apfel

Apple Inc. entwirft, produziert und vermarktet Smartphones, PCs, Tablets, Wearables und Zubehör und vertreibt eine Vielzahl zugehöriger Dienstleistungen.

Logo: Arm

Arm

„Das OpenXLA-Projekt markiert einen wichtigen Meilenstein auf dem Weg zur Vereinfachung der ML-Softwareentwicklung. Wir unterstützen das Ziel von OpenXLA voll und ganz und freuen uns darauf, die Stabilität und Standardisierung von OpenXLA in den Hardware- und Software-Roadmaps von Arm® NeoverseTM zu nutzen.“ – Peter Greenhalgh, Vice President of Technology and Fellow, Arm

Logo: Cerebras

Zerebras

„Bei Cerebras entwickeln wir KI-Beschleuniger, mit denen selbst die größten KI-Modelle schnell und einfach trainiert werden können. Unsere Systeme und Software unterstützen die Nutzer dort, wo sie gerade sind. Sie ermöglichen eine schnelle Entwicklung, Skalierung und Iteration mit standardmäßigen ML-Frameworks ohne Änderung. Mit OpenXLA können wir unsere Nutzerreichweite erhöhen und die Zeit bis zur Lösung verkürzen. Dazu bietet es der Cerebras Wafer-Scale Engine eine gemeinsame Schnittstelle für ML-Frameworks auf höherer Ebene. Wir freuen uns sehr, dass das OpenXLA-Ökosystem auf GitHub für noch mehr Community-Interaktion, Beitrag und Nutzung verfügbar ist.“ – Andy Hock, VP and Head of Product, Cerebras Systems

Google-Logo

Google

„Open-Source-Software bietet allen die Möglichkeit, bahnbrechende Innovationen in der KI zu erzielen. Bei Google arbeiten wir im Rahmen des OpenXLA-Projekts zusammen, um unser Engagement für Open Source zu fördern und den Einsatz von KI-Tools voranzutreiben, die den Standard für ML-Leistung heben, Inkompatibilitäten zwischen Frameworks und Hardware beseitigen und sich an die spezifischen Anwendungsfälle von Entwicklern anpassen lassen. Wir freuen uns darauf, diese Tools gemeinsam mit der OpenXLA-Community zu entwickeln, damit Entwickler auf vielen verschiedenen Ebenen des KI-Stacks Fortschritte machen können.“ – Jeff Dean, Senior Fellow und SVP, Google Research and AI

Logo: Graphcore

Graphcore

„Unsere IPU-Compiler-Pipeline hat XLA seit seiner Veröffentlichung verwendet. Dank der Plattformunabhängigen und Stabilität von XLA bietet XLA ein ideales Front-End für neuartige Inhalte. Dank der Flexibilität von XLA konnten wir die neuartigen Hardwarefunktionen unseres IPU präsentieren und mit mehreren Frameworks herausragende Leistung erzielen. Millionen von Abfragen pro Tag werden von Systemen verarbeitet, auf denen von XLA kompilierter Code ausgeführt wird. Wir sind von der Ausrichtung von OpenXLA begeistert und hoffen, auch in Zukunft einen Beitrag zum Open-Source-Projekt leisten zu können. Wir glauben, dass sie eine zentrale Komponente in der Zukunft von KI/ML darstellen wird.“ – David Norman, Director of Software Design, Graphcore

Hugging Face-Logo

Hugging Face

„Jedes Modell einfach und auf jeder Hardware effizient auszuführen, ist eine große technische Herausforderung und ein wichtiges Ziel für unser Ziel, gutes maschinelles Lernen für alle zugänglich zu machen. Bei Hugging Face aktivierte XLA für TensorFlow-Textgenerierungsmodelle und erzielte eine bis zu 100-fache Beschleunigung. Darüber hinaus arbeiten wir eng mit den Engineering-Teams bei Intel, AWS, Habana, Graphcore, AMD, Qualcomm und Google zusammen und bauen Open-Source-Brücken zwischen Frameworks und jedem Silikon auf, um Endnutzer über unsere Optimum-Bibliothek sofort eine Effizienz zu bieten. OpenXLA verspricht standardisierte Bausteine, auf denen wir die dringend benötigte Interoperabilität aufbauen können. Wir können es kaum erwarten, Ihren Beitrag zu leisten!“ – Morgan Funtowicz, Head of Machine Learning Optimierung, Hugging Face

Logo: Intel

Logo: Intel

„Wir bei Intel glauben an einen offenen, demokratisierten Zugang zu KI. Intel-CPUs, GPUs, Habana-Gaudi-Beschleuniger und eine API-gestützte KI-Software wie OpenVINO fördern ML-Arbeitslasten überall, von Exascale-Supercomputern bis hin zu großen Cloud-Bereitstellungen. Gemeinsam mit anderen OpenXLA-Mitgliedern möchten wir standardbasierte, komponentenbasierte ML-Compiler-Tools unterstützen, die Innovationen in verschiedenen Frameworks und Hardwareumgebungen vorantreiben, um weltverändernde Wissenschaft und Forschung zu beschleunigen.“ – Greg Lavender, Intel SVP, CTO und GM der Software & Advanced Technology Group

Meta-Logo

Meta

„Bei der Forschung haben wir bei Meta AI XLA verwendet, eine Kerntechnologie des OpenXLA-Projekts, um PyTorch-Modelle für Cloud TPUs zu ermöglichen. Dadurch konnten wir bei wichtigen Projekten erhebliche Leistungsverbesserungen erzielen. Wir sind davon überzeugt, dass Open Source das Innovationstempo in der Welt beschleunigt, und freuen uns, ein Teil des OpenXLA-Projekts zu sein.“ – Soumith Chintala, Lead keeper, PyTorch

Logo: NVIDIA

Logo: NVIDIA

„Als Gründungsmitglied des OpenXLA-Projekts freut sich NVIDIA darauf, gemeinsam mit der OpenXLA-Community an KI-/ML-Fortschritten zu arbeiten. Wir sind der Überzeugung, dass ML-Entwickler mit mehr Engagement und Akzeptanz von OpenXLA mit der hochmodernen KI-Infrastruktur unterstützt werden.“ – Roger Bringmann, VP, Compiler Software, NVIDIA.

Kontakt

Wenn du direkte Fragen hast, wende dich an die Administratoren – Verwalter bei openxla.org.