Quelques semaines seulement après que le fabricant de puces Tenstorrent ait levé près de 700 millions de dollars de financement, les développeurs peuvent désormais essayer les accélérateurs d'IA de Tenstorrent sur Koyeb. Tenstorrent vend des processeurs d'IA construits autour de l'architecture de jeu d'instructions RISC-V, et a développé sa propre bibliothèque de réseaux neuronaux open-source, TT-NN, et un modèle de programmation bas niveau open-source, TT-Metalium.
Tenstorrent fait partie d'un groupe de sociétés qui cherchent à construire des alternatives aux GPU Nvidia et à la bibliothèque CUDA de l'entreprise. Il est en concurrence avec Axelera, Etched, Groq et d'autres.
Koyeb a été fondée par d'anciens cadres de Scaleway et se concentre sur le développement d'une plateforme cloud sans serveur pour les développeurs à la recherche d'une couche d'abstraction au niveau de l'infrastructure cloud. Il est en concurrence avec des sociétés telles que Fly.io, Railway et Render.
Koyeb permet aux développeurs de déployer des applications sur plusieurs machines virtuelles à l'aide d'une interface en ligne de commande ou d'un git push après intégration avec le dépôt de code. Il prend en charge les conteneurs Docker et de nombreux langages populaires.
l'une des principales caractéristiques de Koyeb est qu'il peut mettre automatiquement à l'échelle une application jusqu'à des centaines de serveurs si nécessaire, et lorsqu'il y a moins de trafic, il peut automatiquement mettre à l'échelle l'infrastructure du serveur.
ces derniers mois, Koyeb s'est particulièrement concentré sur les applications d'IA. En raison de la nature sans serveur de sa plate-forme, il peut offrir une expérience à faible latence pour les charges de travail d'IA.
Sur le plan matériel, Koyeb a déployé des cartes PCIe de Tenstorrent dans ses centres de données. Les développeurs peuvent accéder au SDK bas niveau TT-Metalium de Tenstorrent pour écrire des programmes hôtes et noyau.
Les développeurs trouveront deux nouveaux types d'instances dans la documentation et les panneaux d'administration de Koyeb:
- L'instance TT-N300S dispose de 24 Go de mémoire GDDR6, de 192 Mo de SRAM, et offre jusqu'à 466 TFLOPS en FP8. Elle est associée à 64 Go de RAM et 4 vCPUs.
- L'instance TT-Loudbox dispose de quatre N300S. Les développeurs bénéficient de 96 Go de GDDR6, de 768 Mo de SRAM, et jusqu'à 1 864 TFLOPS en FP8. Elle est dotée de 256 Go de RAM et de 16 vCPUs.
Avec cette version, Koyeb cherche à se positionner en tant que plateforme cloud agnostique vis-à-vis du matériel. "Cela nous rappelle les débuts d'ARM sur le marché des serveurs avec des puces haute performance", a déclaré le co-fondateur et PDG de Koyeb, Yann Leger, à TechCrunch.
"Depuis que nous avons introduit ARM sur le marché avec Scaleway à l'époque, en proposant des serveurs entièrement personnalisés en 2013-2014, nous avons l'expérience de déployer diverses architectures et d'exploiter divers matériels," a-t-il ajouté.
Quant à Tenstorrent, le fabricant de puces d'IA recherche des partenaires pour construire un écosystème de développeurs autour de son modèle de programmation open-source. Il faudra tout un village pour proposer une alternative à la pile d'IA de Nvidia.
