Microsoft’s Phi-3-Silica SLM läuft lokal auf Copilot+ PCs

Phi-3-Silica-Integration

Dieses neue SLM wird in alle Copilot+ PCs integriert, die ab Juni auf den Markt kommen sollen. Phi-3-Silica ist das kleinste Modell der Phi-Reihe und verfügt über 3,3 Milliarden Parameter.

Microsoft rühmt sich, dass der Phi-3-Silica eine Latenzzeit von 650 Token pro Sekunde hat und dabei nur 1,5 Watt Strom verbraucht. Diese Effizienz sorgt dafür, dass die CPU und GPU des PCs nicht belastet werden und sich um andere Aufgaben kümmern können. Außerdem nutzt das Modell den KV-Cache der NPU für die Token-Generierung und läuft mit einer Rate von 27 Token pro Sekunde auf der CPU.

Copilot+ PCs nutzen lokale Inferenz

Laut einem Microsoft-Sprecher, der mit VentureBeat sprach, ist Phi-3-Silica das erste lokal eingesetzte Sprachmodell von Windows. Es wurde für die NPU in Copilot+ PCs optimiert und bringt schnelle lokale Inferenzen auf die Geräte. Diese Entwicklung stellt einen bedeutenden Schritt dar, um fortschrittliche KI direkt für Drittentwickler bereitzustellen und ihnen die Möglichkeit zu geben, innovative Eigen- und Fremderlebnisse zu schaffen, die die Produktivität und Zugänglichkeit innerhalb des Windows-Ökosystems ab diesem Herbst verbessern werden.

Auswirkungen und zukünftige Entwicklungen

Die Einführung von Phi-3-Silica durch Microsoft markiert einen entscheidenden Moment in der Entwicklung von KI auf Windows-Geräten. Durch die Integration dieses Modells in Copilot+ PCs will Microsoft Entwicklern und Endnutzern fortschrittliche KI-Funktionen zur Verfügung stellen und so eine neue Ära der Produktivität und nahtloser Nutzererfahrungen einläuten. Dieser strategische Schritt unterstreicht das Engagement von Microsoft, die KI-Technologie voranzutreiben und ihre Vorteile einem breiten Publikum zugänglich zu machen.