El rànquing
Aquí no hi ha cap taula de bancs de proves. esfis encara no s'ha mesurat contra LongMemEval ni contra res que s'hi assembli, i mentre no ho hàgim fet, el que hi pot haver és com decideix què torna i què no.
Dos senyals
Cada recall puntua tots els records actius del magatzem amb dues mesures i les combina. Cap de les dues no basta sola.
BM25 hi posa la precisió. Una paraula rara —«esfis», «Netim», el nom d'algú— pesa molt més que una de comuna, i una pregunta sobre una cosa que no li has dit mai no encaixa amb res. Els tokens es pleguen sense accents i es tallen a sis caràcters, perquè la morfologia romànica (desplego, desplega, desplegar) col·lapsi en un sol senyal, i les paraules buides del català, el castellà i l'anglès no compten.
Els vectors hi posen les paraules que no has fet servir literalment. Surten de NLEmbedding, els models que ja porta el sistema: no costen res i no surten de la màquina.
El detall que importa: els cosinus de NLEmbedding s'amunteguen en una banda estreta —tot s'assembla a tot— i per tant no serveixen com a llindar absolut. Es puntuen relatius a la resta del magatzem per aquesta pregunta concreta. La meitat lèxica és la que després diu si el millor candidat val alguna cosa o si simplement era el menys dolent.
Al final se'n seleccionen entre tres i vuit. Si la pregunta no toca res, no en surt cap, i això és el comportament correcte: un mig fet que hi tingui a veure de lluny costa context i de tant en tant despista.
Els números que tenim
Són pocs i són honestos:
| Mesura | Valor | Condicions |
|---|---|---|
| Una recuperació sencera | 20–30 ms | Procés arrencat de zero: obrir SQLite, carregar el model de vectors, puntuar i imprimir. MacBook, magatzem de 29 records. |
| Cost per recuperació | 0 € | Cap crida a cap model. No hi ha xarxa pel mig. |
| Records que tornen | 3–8 | Més les instruccions permanents, que van sempre al davant. |
| Mida del magatzem | Una taula | El rànquing recorre tots els records actius a cada pregunta: el cost creix linealment amb el magatzem. |
Aquest últim punt és el que trencarà primer. Amb desenes de records puntuar-ho tot a cada pregunta és més barat que qualsevol índex; amb desenes de milers, no. Quan arribi el moment hi haurà un índex, i llavors valdrà la pena mesurar-ho de debò.
On perd
- El català no té model de vectors al sistema
- macOS no en porta cap per al català. S'hi fa servir el del castellà, que s'hi assembla prou perquè la meitat lèxica compensi la resta, però és una crossa i es nota amb les preguntes que no comparteixen cap paraula amb el record.
- Saber quan no recuperar
- Posar memòria en una pregunta que no en necessita costa context i de tant en tant despista. Avui la defensa és el llindar lèxic, i no està mesurada.
- Contradiccions que ningú no resol
supersedesdepèn que l'assistent se n'adoni. Si dues converses diferents desen coses incompatibles i cap no substitueix l'altra, totes dues es queden actives irecallles retorna juntes.- Oblidar a propòsit
- No hi ha decaïment. Un record del 2024 que ja no és veritat hi és fins que algú el desactiva.