Qui n'a jamais rêve de posséder sa propre intelligence artificielle sur son ordinateur ? On connaissait déjà les assistants personnels de type SIRI ou Google Assistant mais ça, c'était avant que ChatGpt n'arrive dans le game.
Même si LLaMA est techniquement un modèle "open-source" qui a été lentement donné aux chercheurs qui ont postulé sur le site web Meta, il est important de noter que LLaMA n'est pas totalement "ouvert".
Vous devez accepter des conditions strictes pour accéder au modèle et vous n'êtes pas autorisé à l'utiliser à des fins commerciales.
Llamanon a mis LLaMA entre les mains de milliers de personnes dans le monde, qui commencent tout juste à réaliser ce qui se passe lorsque vous pouvez faire fonctionner un modèle de classe GPT-3 sur votre propre ordinateur.
Fiche d'information sur LLaMA :
Il existe quatre modèles LLaMA pré-entraînés différents, avec des paramètres de 7B (milliards), 13B, 30B et 65B. Meta indique que le modèle LLaMA-13B est plus performant que le modèle GPT-3 dans la plupart des tests de référence. Il signale également que le modèle 65B est en phase avec les meilleurs modèles au monde, tels que le PaLM-540B de Google.
LLaMA 4 bits
Quelques heures après la publication du modèle, les développeurs du monde entier ont essayé furieusement de le faire fonctionner sur leurs propres ordinateurs.
Nous pouvons désormais faire fonctionner LLaMA sur la plupart des ordinateurs grand public avec une quantification 4 bits, une technique permettant de réduire la taille des modèles afin qu'ils puissent fonctionner sur du matériel moins puissant. Cette technique permet également de réduire la taille des modèles sur le disque.
Cela fonctionne très bien !
Nous utilisons les modèles LLaMA 7B et 13B sur nos ordinateurs portables (le modèle 13B est celui qui, selon Facebook, est compétitif avec GPT-3).
Model | Taille | Vram Minimum | Exemple de carte | Ram/Swap to load |
Llama-7B | 3,5Gb | 6Gb | RTX 1660, 2060, AMD 5700xt, RTX 3050, 3060 | 16 GB |
LLaMA-13B | 6.5GB | 10GB | AMD 6900xt, RTX 2060 12GB, 3060 12GB, 3080, A2000 | 32 GB |
LLaMA-30B | 15.8GB | 20GB | RTX 3080 20GB, A4500, A5000, 3090, 4090, 6000, Tesla V100 | 64 GB |
LLaMA-65B | 31.2GB | 40GB | A100 40GB, 2×3090, 2×4090, A40, RTX A6000, 8000, Titan Ada | 128 GB |
Alors maintenant, la question qui se pose est la suivante: Avez-vous envie de l'installer sur votre ordinateur et de l'entrainer comme vous le voulez ?
Oui ? Voici un petit tuto qui vous y aidera.
Tout part d'ici: https://github.com/ggerganov/llama.cpp
Le 3 mars, l'utilisateur 'llamanon' a divulgué le modèle LLaMA de Meta sur le forum technologique /g/ de 4chan, permettant ainsi à n'importe qui de le télécharger.
Voici comment j'ai installé LLaMA sur mon Mac M1, 64GB RAM.
1- Télécharger son "cerveau"
Voici le lien magnet du torrent :
Si vous n'avez pas de client torrent, je vous recommande qBittorrent.
Vous n'êtes pas obligé de télécharger tous les modèles. Je recommande de commencer par la version 7B. (ChatGpt3 like)
2- Obtenir llama.cpp
Ouvrez votre Terminal et entrez ces commandes une à une :
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make
3- Configurer l'environnement Python
pipenv shell --python 3.10
ou alors via brew
brew install pipenv
Attention: Vous devez créer un dossier models/ dans votre répertoire llama.cpp qui contient directement le 7B (ou d'autres modèles) et les dossiers du téléchargement du modèle LLaMA.
Ensuite, installez les dépendances nécessaires au script de conversion Python.
pip install torch numpy sentencepiece
et ensuite que la magie opère
./chat.sh
Vous voilà en possession de votre propre ChatGpt. Dans les prochains jours, je vous ferai le tuto pour l'installer sur votre ordinateur Windows.
Chez D-It nous mettons tout en oeuvre afin de satisfaire nos clients, n'hésitez pas a prendre contact avec nous si vous avez des questions sur le sujet et également sur d'autres.
ความคิดเห็น