LLMy opierają się na prostej zasadzie. Jaki powinien być dlaszy ciąg tekstu? Będąc bardziej precyzyjnym: jaki token powinien pojawić się jako następny?
Najpierw szybko zobaczmy, czym w ogóle są tokeny, czyli jak GPT widzi tekst. Jest do tego bardzo fajne narzędzie: https://platform.openai.com/tokenizer
Wpisując tam tekst możemy łatwo zobaczyć jak gpt dzieli słowa na tokeny oraz jakie ID dane tokeny posiadają w słowniku modelu.
Temperatura.
Do zabawy z temperaturą polecam ten stary model daVinci: https://platform.openai.com/playground/p/3aygR2WOaEXgz6f4l2zA9Kbq?model=text-davinci-003
w jego playground możemy ustawić opcję Show probabilities na wartość Full spectrum . Po wygenerowaniu przez model wiadomości, każdy token zostanie podświetlony kolorem odpowiadającym prawdopodobieństwu jego wyświetlenia, a po najechaniu myszą zobaczymy jakie inne opcje do wyboru miał model.
Im wyższą ustawimy temperaturę, tym chętniej model wybierze tokeny z mniejszym prawdopodobieństwem i tym więcej będzie tokenów podświetlonych na pomarańczowo lub czerwono.