Des utilisateurs de Public Cloud avec un LLM ?

[ManiaKafe]

Bonjour,

Si des personnes ont des retours d'expérience sur l'utilisation de Public Cloud et d'un LLM, je suis preneur.

Je cherche à faire tourner Mistral 8x22B pour tester les appels de fonction et me demandais quelle configuration de serveur vous avez pris ? Quantité de GPU, etc...

Merci !

[ManiaKafe]

Je viens de voir qu'Infomaniak indique que le modèle 8x22B est maintenant disponible sur leur produit AI Tools. Je vais y faire un tour et vous ferrais un retour

IA souveraine : les entreprises peuvent à présent transcrire des fichiers audio et accéder à deux nouveaux modèles de langage (8x22B et Llama 3) puissants chez Infomaniak https://www.infomaniak.com/gtl/hosting.ai-tools
- Vos données sont exclusivement traitées en Suisse
- Rien n’est capté, vos données restent vos données
- 100% énergie renouvelable
- 1M de crédits pour tester cela gratuitement
Ces services IA s’adressent aussi bien aux développeurs (#AIaaS) qu’au grand public avec une interface d’utilisation intuitive. Ils sont aussi intégrés à la messagerie instantanée kChat qui est inclus avec kSuite https://infomaniak.com/ksuite