Beschreibung
Das LLM-8850 Kit ist ein leistungsfähiges KI-Beschleuniger-Kit für Edge-KI-Anwendungen und eingebettete Computerszenarien. Es besteht aus der LLM-8850 Card, einem AI-Beschleuniger im M.2 M-Key 2242 Format, und der LLM-8850 PiHat Adapterplatine. Die Karte basiert auf dem Axera AX8850 SoC und bietet mit einer Rechenleistung von bis zu 24 TOPS bei INT8 eine kompakte Lösung für multimodale Inferenz großer Modelle sowie für die Videoanalyse. Die integrierte aktive Kühlung kombiniert ein Mikrolüftergebläse mit einem CNC-gefrästen Aluminiumkühlkörper, gesteuert über einen Embedded Controller (EC), der die Lüftergeschwindigkeit temperatur- und stromabhängig regelt. Dies sorgt für einen stabilen Betrieb bei niedriger Temperatur auch bei Dauerlast oder in geschlossenen Gehäusen. Die PiHat-Adapterplatine stellt eine 2.54-40P-Schnittstelle sowie einen USB Type-C PD-Stromeingang bereit und verbindet das System über einen PCIe-Erweiterungsadapter mit dem Raspberry Pi 5. So kann auf der Raspberry Pi Plattform ein leistungsfähiges, kompaktes Edge-KI-System aufgebaut werden.
Das Kit eignet sich zur Beschleunigung von multimodalen KI-Modellen, insbesondere in kompakten Systemen wie dem Raspberry Pi 5. Die integrierte Hardwarevideoeinheit erlaubt 8K-Videokodierung und -dekodierung bei 30 fps und unterstützt parallele Dekodierung von bis zu 16 Kanälen bei 1080P. Die Speicherarchitektur umfasst 8 GB LPDDR4x im 64-Bit-Design mit 4266 Mbps, verteilt auf zwei Speicherblöcke zu je 4 GB. Die Stromversorgung erfolgt über USB PD3.0 mit bis zu 100W, wobei das System einen intelligenten Schutz gegen Überspannung bietet. Der M.2-Beschleuniger benötigt dabei eine Mindestleistung von 9V bei 3A. Ein Sicherheitsmodul unterstützt gängige Verschlüsselungsmethoden wie AES, DES, 3DES und SHA-256. Native Unterstützung für AXCL ermöglicht die einfache Modellbereitstellung für gängige neuronale Netze, darunter CNN, Transformer, CLIP, Whisper, Llama3.2, Qwen3 und InternVL3.
Das LLM-8850 Kit kann zur Beschleunigung von KI-Anwendungen direkt auf Edge-Geräten eingesetzt werden. Die Verbindung mit dem Raspberry Pi 5 über eine PCIe-Schnittstelle ermöglicht dabei ein breites Spektrum an Anwendungen im Bereich eingebetteter Systeme. Typische Einsatzbereiche sind unter anderem multimodale Modellimplementierungen, KI-gestützte Videoanalyse und erweiterte Bildverarbeitung. Die aktive Kühlung sorgt für thermische Stabilität, auch bei langfristigem Betrieb in geschlossenen Gehäusen. Die PiHat-Platine erweitert den Funktionsumfang um standardisierte Schnittstellen sowie eine abgesicherte Stromversorgung für alle angeschlossenen Komponenten.
Der Beschleuniger basiert auf einem System-on-Chip, das mehrere Prozessorkerne mit einem neuronalen Verarbeitungseinheit (NPU) kombiniert. Die Berechnungsgeschwindigkeit erlaubt die Umsetzung komplexer KI-Modelle direkt auf der Hardware, ohne externe Serveranbindung. Über PCIe kann das Modul in ein bestehendes System eingebunden werden, um KI-Funktionen zu integrieren. Dank der mitgelieferten Adapterplatine ist eine Verwendung mit einem Raspberry Pi 5 möglich, wodurch sich das Kit besonders für kompakte und mobile KI-Projekte eignet. Die integrierte aktive Kühlung sowie die intelligente Regelung durch einen Embedded Controller ermöglichen einen stabilen Dauerbetrieb auch unter Volllastbedingungen.
Merkmale im Überblick
- Axera AX8850 SoC mit 24 TOPS Rechenleistung bei INT8
- Octa-Core Cortex-A55 CPU mit 1,7 GHz Taktfrequenz
- 8 GB LPDDR4x (2×4 GB) 64-Bit Speicher mit 4266 Mbps
- 8K H.264/H.265 Kodierung und Dekodierung bei 30 fps
- 16-Kanal 1080P parallele Dekodierung
- Aktive Kühlung mit Mikrogebläse und CNC-Aluminium-Kühlkörper
- EC-gesteuerte Temperatur-/Stromregelung
- Native Unterstützung für AXCL-Modelle wie CNN, Whisper, Llama3.2
- Sicherheitsmodul mit AES, DES, 3DES, SHA-256 Unterstützung
- M.2 M-Key 2242 Formfaktor mit PCIe 2.0 x2
- Raspberry Pi 5 (über PCIe-FPC-Anschluss)
- Systeme mit M.2 M-Key 2242 PCIe-Schnittstelle
- SoC: Axera AX8850
- CPU: Octa-core Cortex-A55, 1,7 GHz
- NPU: 24 TOPS bei INT8
- Video-Encoding: 8K bei 30 fps H.264/H.265, Skalierung und Zuschnitt
- Video-Decoding: 8K bei 30 fps H.264/H.265, 16×1080P paralleles Decoding
- Speicher: 8 GB LPDDR4x (2×4 GB), 64-Bit, 4266 Mbps
- Flash-Speicher: 32 Mbit QSPI NOR Flash (nur Bootloader)
- Formfaktor: M.2 M-Key 2242, PCIe 2.0 x2
- Kühlung: Mikrogebläse + CNC-Kühlkörper mit EC-Regelung
- Betriebstemperatur: 0 ~ 60 °C
- Temperatur bei Volllast: 70 °C bei Raumtemperatur
- Stromversorgung: USB PD3.0 (9V/12V/20V), mind. 9V@3A (27W)
- Stromausgabe Adapterplatine: 5V bei 4A (für Raspberry Pi), 3.3V@6A (für M.2-Karte)
- Leistungsaufnahme LLM-8850 Card: 7W bei 3.3V
- Produktmaße LLM-8850 Card: 42.6 × 24.0 × 9.7 mm
- Produktmaße PiHat: 65.0 × 58.0 × 12.7 mm
- Gewicht Produkt: 31.9 g
- Verpackungsgröße: 165.0 × 90.0 × 17.5 mm
- Bruttogewicht: 85.0 g
- USB PD3.0 Protokoll mit 100W Unterstützung
- Gleichzeitige Transkodierung von H.264/H.265 möglich
- 1× LLM-8850 Card (8 GB Version)
- 1× LLM-8850 PiHat Adapterplatine
- 1× 2.54-40P Female Header
- 1× Schrauben- und Abstandshalter-Set
- Produktdokumentation LLM-8850 Kit
