Tether veröffentlicht plattformübergreifendes BitNet LoRA Framework, das Feinabstimmung von Milliarden-Parameter-Modellen auf Consumer-Geräten ermöglicht.

PANews berichtete am 21. März, dass Tether die Veröffentlichung eines plattformübergreifenden BitNet LoRA Fine-Tuning-Frameworks in QVAC Fabric ankündigte, das Optimierungen für das Training und die Inferenz von Microsoft BitNet (1-bit LLM) ermöglicht. Dieses Framework reduziert erheblich die Anforderungen an Rechenleistung und Speicher und ermöglicht es, Modelle mit Milliarden von Parametern auf Laptops, Consumer-GPUs und Smartphones zu trainieren und fein abzustimmen.

Diese Lösung ermöglicht erstmals das Fine-Tuning des BitNet-Modells auf mobilen GPUs (einschließlich Adreno, Mali und Apple Bionic). Tests zeigen, dass ein 125M-Parameter-Modell in etwa 10 Minuten fein abgestimmt werden kann, ein 1B-Modell in etwa 1 Stunde, und es kann sogar auf ein 13B-Parameter-Modell auf mobilen Geräten erweitert werden.

Darüber hinaus unterstützt das Framework heterogene Hardware wie Intel, AMD und Apple Silicon und erreicht erstmals 1-bit LLM LoRA Fine-Tuning auf Nicht-NVIDIA-Geräten. In Bezug auf die Leistung erreicht das BitNet-Modell Inferenzgeschwindigkeiten, die auf mobilen GPUs 2 bis 11 Mal schneller sind als auf CPUs, während die Speichernutzung im Vergleich zu traditionellen 16-bit-Modellen um bis zu etwa 77,8% reduziert wird.

Tether erklärte, dass diese Technologie das Potenzial hat, die Abhängigkeit von High-End-Rechenleistung und Cloud-Infrastruktur zu durchbrechen, die Entwicklung des KI-gesteuerten Trainings in Richtung Dezentralisierung und Lokalisierung zu fördern und eine Grundlage für neue Anwendungsszenarien wie Federated Learning zu schaffen.