VisualWebArena: Benchmark voor Multimodale Taalagenten

VisualWebArena: Benchmark voor Multimodale Taalagenten

VisualWebArena is een benchmark voor het evalueren van multimodale autonome taalagenten op realistische visuele webtaken. Dit project, dat is gepresenteerd in een paper, biedt een diverse set van complexe webgebaseerde visuele taken die verschillende capaciteiten van autonome multimodale agenten testen. De laatste versie van de VisualWebArena, 0.0.6, werd uitgebracht op 20 juli 2024 en is een onofficiële port van de VisualWebArena benchmark. Het is ontworpen als een zelfstandige bibliotheek die gebruikers in staat stelt om multimodale agenten te evalueren in verschillende omgevingen. Het project vereist Python versie 3.7 tot 3.11 en biedt gedetailleerde installatie-instructies, inclusief het opzetten van omgevingen, het configureren van URL’s voor verschillende websites, en het genereren van configuratiebestanden voor testvoorbeelden. Gebruikers kunnen ook de agenten testen met behulp van scripts en demo’s die zijn ontwikkeld om de functionaliteit van de agenten op verschillende webpagina’s te demonstreren. Bovendien zijn er menselijke evaluaties uitgevoerd op 233 taken, wat resulteerde in een hoge succesratio van ongeveer 89%. Het project moedigt gebruikers aan om bij te dragen aan de verdere ontwikkeling en biedt de mogelijkheid om de resultaten van eerdere evaluaties te reproduceren. Voor degenen die geïnteresseerd zijn in het gebruik van de modellen of omgevingen, wordt aangeraden om de bijbehorende publicaties te citeren.

VisualWebArena is een benchmark voor het evalueren van multimodale autonome agenten op webtaken.

Bron: Pypi.org | URL