Open Assistant est un projet visant à donner à chacun accès à un grand modèle de langage basé sur le chat.
Récemment le Communauté LAION (Large-Scale Artificial Intelligence Open Network) dévoilé par une annonce la première version du projet « OpenAssistant », qui développe un chatbot d'intelligence artificielle capable de comprendre et de répondre à des questions en langage naturel, d'interagir avec des systèmes tiers et d'extraire dynamiquement les informations nécessaires.
Pour ceux qui ne connaissent pas LAION, sachez qu'il développe des outils, des modèles et des collections de données pour créer des systèmes d'apprentissage automatique libres (par exemple, la collection LAION est utilisée pour entraîner des modèles du système de synthèse d'images Stable Diffusion).
Addition code pour former et organiser le travail du bot sur votre ordinateur, il est proposé d'utiliser une collection de modèles prêts à l'emploi d'utiliser déjà formé et un modèle de langage, formé sur la base de 600 mille exemples de dialogues sous la forme d'une requête-réponse (instruction-exécution), préparé et révisé avec la participation d'une communauté de passionnés.
Un service en ligne d'évaluation de la qualité du chatbot a également été lancé, utilisant le modèle de connaissances OA_SFT_Llama_30B_6, qui couvre 30 milliards de paramètres.
Notre équipe a travaillé sans relâche au cours des derniers mois pour collecter de grandes quantités d'informations et de commentaires textuels afin de créer un ensemble de données incroyablement diversifié et unique spécialement conçu pour la formation de modèles linguistiques ou d'autres applications d'IA.
Avec plus de 600 000 points de données générés par l'homme couvrant un large éventail de sujets et de styles d'écriture, notre ensemble de données s'avérera être un outil inestimable pour tout développeur cherchant à créer des modèles pédagogiques de nouvelle génération.
Pour augmenter l'efficacité du système et éviter d'avoir à stocker de grandes quantités de paramètres prédéfinis, le projet prévoit la possibilité d'utiliser une base de connaissances mise à jour dynamiquement qui peut récupérer les informations requises via des moteurs de recherche ou des services externes.
Par exemple, lors de la génération de réponses, le bot peut accéder à des API externes pour obtenir des données supplémentaires. Parmi les fonctionnalités avancées, la prise en charge de la personnalisation est également mise en évidence, c'est-à-dire la capacité de s'adapter à un utilisateur spécifique en fonction de ses phrases précédentes.
Pour ceux qui souhaitent installer OpenAssistant, sachez que vous pouvez l'installer localement et que les modèles candidats Pythia SFT sont disponibles auprès de HuggingFace et peuvent être chargés via la bibliothèque HuggingFace Transformers. En tant que tels, il est possible qu'ils puissent être utilisés avec un matériel suffisant. Il existe également des espaces sur HF qui peuvent être utilisés pour discuter avec le candidat OA sans votre propre matériel. Cependant, ces modèles ne sont pas définitifs et peuvent produire des résultats médiocres ou indésirables.
Les modèles LLaMa SFT ne peuvent pas être publiés directement en raison de la licence Meta, mais les poids XOR seront bientôt publiés.
Il est important de mentionner que le plus petit modèle actuel (Pythia) a des paramètres 12B et est difficile à exécuter sur du matériel grand public, mais peut fonctionner sur un seul GPU professionnel. Il pourrait y avoir des modèles plus petits à l'avenir, et nous espérons faire progresser des méthodes comme la quantification entière qui peuvent aider à exécuter le modèle sur du matériel plus petit.
Le projet ne prévoit pas de s'arrêter à répéter les fonctionnalités de ChatGPT. Open-Assistant devrait stimuler le développement du développement ouvert dans le domaine de la génération de contenu et du traitement des requêtes en langage naturel, tout comme le projet open source Stable Diffusion a stimulé le développement d'outils de génération d'images.
Le code du projet est écrit en Python et est distribué sous la licence Apache 2.0. Les développements d'OpenAssistant peuvent être utilisés pour créer vos propres assistants intelligents et systèmes de dialogue qui ne sont pas liés à des API et des services externes. Le matériel grand public conventionnel suffit pour fonctionner, par exemple, il est possible de travailler sur un smartphone. Les données d'Open Assistant sont publiées sous une licence Creative Commons qui permet un large éventail d'utilisations, y compris une utilisation commerciale.
Enfin, si cela vous intéresse de pouvoir en savoir plus ainsi que de pouvoir consulter le code source, vous pouvez consulter les détails dans le lien suivant.