Et teknisk innlegg utforsker hvordan posisjonskodingsmetoden ALiBi kan etterlignes ved hjelp av RoPE, to av de mest brukte strategiene språkmodeller bruker for å forstå hvor ulike token befinner seg.
Kilde: https://alexlitzenberger.com/blog/emulating_alibi_with_rope