Présentation du banc Solana
À la Fondation Solana, nous voulons financer des outils d’IA open source qui améliorent la façon dont les développeurs et les applications utilisent Solana. Le défi est de mesurer l’utilité de ces outils. Jusqu’à présent, nous n’avons pas eu de moyen simple et reproductible d’évaluer si les nouveaux outils facilitent la création et l’exécution de transactions sur Solana. Nous avons expérimenté des références de questions / réponses (trop coûteuses à entretenir), des références appelant à des outils dans les kits d’agent (trop cassants et fragmentés à travers les piles) et finançant des boîtes à outils uniques (difficile à suivre l’impact). Chaque tentative nous a appris quelque chose, mais aucune ne nous a donné une norme durable. C’est pourquoi nous introduisons le banc de Solana – deux environnements légers et ouverts conçus pour tester la compétence opérationnelle de LLMS sur Solana d’une manière qui Simple, reproductible et objectif.
- Basique – maximiser le nombre de nouvelles instructions exécuté avec succès en utilisant uniquement les SDK fondamentaux (par exemple @ solana / web3.js, ancre, etc.)
- Échanger – Même critère de réussite, mais dans une surface de conviction (Jupiter, Orca, Raydium, Phoenix, Meteora) en utilisant des invites supplémentaires sur des exemples et des SDK préinstallés
Ces environnements ne consistent pas à mesurer le profit et la perte. Ils sont à propos Compétence opérationnelle de Solana. Ces environnements récompensent la composition des transactions valides, le choix des comptes de manière appropriée, l’utilisation correcte des SDK, la récupération d’erreurs et l’exploration de l’étendue entre les programmes. Ces environnements sont inspirés par d’autres références ouvertes comme ClauDeplaySpokemon, TextQuest et Nvidia’s Voyager.