QVAC de Tether présente le cadre Bitnet LoRA multiplateforme pour la formation à l’IA sur appareil

Attache a annoncé la sortie d’un nouveau framework conçu pour permettre la formation et l’inférence de grands modèles de langage sur du matériel grand public.

Le système, développé sous son Initiative Tissu QVACprésente ce que la société décrit comme le premier cadre de réglage fin LoRA multiplateforme pour les modèles BitNet de Microsoft, également connus sous le nom de modèles de langage de grande taille à 1 bit.

Le cadre vise à réduire les besoins en calcul et en mémoire généralement associés au développement et à la maintenance de modèles d’IA.

Traditionnellement, de telles charges de travail nécessitaient des GPU NVIDIA hautes performances ou une infrastructure basée sur le cloud, limitant l’accès aux organisations disposant de ressources techniques et de capitaux importants.

Selon Selon Tether, le nouveau cadre permet aux utilisateurs d’affiner et d’exécuter des modèles comportant des milliards de paramètres sur une gamme d’appareils grand public, notamment des ordinateurs portables, des smartphones et des GPU de plusieurs fournisseurs tels qu’Intel, AMD et Apple Silicon.

Le système est conçu pour prendre en charge des environnements matériels hétérogènes au-delà des systèmes basés sur NVIDIA.

Tether a signalé un réglage précis des modèles BitNet sur les GPU mobiles, avec des modèles plus petits formés en quelques minutes et des modèles plus grands en quelques heures sur les smartphones.

La société a déclaré que le cadre améliore l’efficacité de la mémoire et la vitesse d’inférence, permettant des charges de travail plus avancées sur le matériel grand public, et peut réduire la dépendance à l’égard d’une infrastructure centralisée tout en prenant en charge des approches de formation distribuées telles que l’apprentissage fédéré.

PDG de Tether Paolo Ardoino a ajouté que l’IA devrait être une force majeure qui façonne la société et qu’elle devrait être accessible plutôt que contrôlée par un petit groupe de fournisseurs.

Permettre la formation à l’IA sur les appareils quotidiens réduit la dépendance à l’égard d’une infrastructure centralisée, soutient l’innovation et permet un système plus décentralisé et inclusif, avec des efforts continus pour étendre les capacités d’IA locales sur les appareils.

Tether a noté que du matériel technique supplémentaire, notamment de la documentation de recherche, des références et des ressources de mise en œuvre, a été rendu public via Hugging Face. bloguer.