Jeg tænker nu at det kan være fint nok hvis de ansatte lærer at prompte dem ordentligt, og LLM’en bliver trænet korrekt. De er hurtigere til at strikke forskellige dokumenter sammen til en enkelt sag, i stedet for at de ansatte skal sidde og klippe og klistre i dokumenter og søge 30 forskellige steder efter de ting der skal bruges til deres afgørelser. Der er trods alt rigtig meget af det arbejde som det offentlige laver hvor der er blevet lavet noget lignende tusinder af gange før.
De skal bare huske at LLM’en skal trænes igen hvis der sker ændringer i reglerne, og at de ansatte skal læse tingene ordentligt igennem inden de sendes ud. Ellers bliver det noget juks.
Sprogmodellen behøver ikke nødvendigvis at blive trænet igen. Den kan udbygges med et værktøj som Retrieval Augmented Generation (RAG), hvor den henter ekstern data ind, kort fortalt.
Så kan man nøjes med at holde sine alm. filer opdateret, uden at skulle fin-tune eller gentræne sprogmodellen.
De ansatte skal læse tingene ordentligt igennem inden de sendes ud
*LLM læser produktblad.docx, som er blevet opdateret siden sidst*
Inde bagved er det i virkeligheden mere kompliceret alt efter hvilket setup, man har - noget med data, der omdannes til vektorer og gemmes i flere dimensioner: https://www.3blue1brown.com/lessons/mlp
Jeg har set videoerne allerede. Det jeg betvivler er bare om man kun kan tilføje flere af disse vektorer så der er flere kombinationer man kan lave, hvilket giver flere mulige outputs, eller om man også kan undgå at de forældede data bliver brugt. Det er jo ikke sådan at hver vektor gemmer hvert sit datapunkt, men i stedet er hvert datapunkt man har trænet på fordelt ud over alle vektorerne. Der er forskel på at tilføje nye informationer og at skulle fjerne gamle som er blandet sammen med alt det andet.
Det hjælper jo ikke hvis LLM’en kan komme frem til tekst fra både det gamle og det nye datablad når det gamle ikke er gyldigt længere.
Jeg tænker nu at det kan være fint nok hvis de ansatte lærer at prompte dem ordentligt, og LLM’en bliver trænet korrekt. De er hurtigere til at strikke forskellige dokumenter sammen til en enkelt sag, i stedet for at de ansatte skal sidde og klippe og klistre i dokumenter og søge 30 forskellige steder efter de ting der skal bruges til deres afgørelser. Der er trods alt rigtig meget af det arbejde som det offentlige laver hvor der er blevet lavet noget lignende tusinder af gange før.
De skal bare huske at LLM’en skal trænes igen hvis der sker ændringer i reglerne, og at de ansatte skal læse tingene ordentligt igennem inden de sendes ud. Ellers bliver det noget juks.
Sprogmodellen behøver ikke nødvendigvis at blive trænet igen. Den kan udbygges med et værktøj som Retrieval Augmented Generation (RAG), hvor den henter ekstern data ind, kort fortalt.
Så kan man nøjes med at holde sine alm. filer opdateret, uden at skulle fin-tune eller gentræne sprogmodellen.
Ja, hav altid et human-in-the-loop.
Den skal jo også fjerne de data der ikke passer mere. Det ved jeg ikke om RAG kan.
Jo da. 🙂 Lidt forenklet:
Inde bagved er det i virkeligheden mere kompliceret alt efter hvilket setup, man har - noget med data, der omdannes til vektorer og gemmes i flere dimensioner: https://www.3blue1brown.com/lessons/mlp
Jeg har set videoerne allerede. Det jeg betvivler er bare om man kun kan tilføje flere af disse vektorer så der er flere kombinationer man kan lave, hvilket giver flere mulige outputs, eller om man også kan undgå at de forældede data bliver brugt. Det er jo ikke sådan at hver vektor gemmer hvert sit datapunkt, men i stedet er hvert datapunkt man har trænet på fordelt ud over alle vektorerne. Der er forskel på at tilføje nye informationer og at skulle fjerne gamle som er blandet sammen med alt det andet.
Det hjælper jo ikke hvis LLM’en kan komme frem til tekst fra både det gamle og det nye datablad når det gamle ikke er gyldigt længere.