Prosjektet CrucibleBench plasserer språkmodeller i en permanent MUD-verden der NPC-er husker hendelser og tillit bygges over tid, og måler hvordan modellene håndterer skjulte sosiale mål gjennom 50 runder.
Kilde: https://cruciblebench.ai/
Prosjektet CrucibleBench plasserer språkmodeller i en permanent MUD-verden der NPC-er husker hendelser og tillit bygges over tid, og måler hvordan modellene håndterer skjulte sosiale mål gjennom 50 runder.
Kilde: https://cruciblebench.ai/