Wdrażanie LLM do zadań projektowych to w większości praca z danymi.
Aby móc zastosować model najpierw trzeba zebrać potrzebne dane w jednymi miejscu, zorganizować je (np uwspólnić format danych, czy uszeregować wg ważności). Model nie jest również w stanie na raz przyjąć za dużo danych, więc wymaga to od nas wygenerowania podsumowań, a może dodanie możliwości dociągania jakiś szczegółów bezpośrednio z witryn www.
W efekcie celem jest to, aby model pracował na jak najmniejszych porcjach danych, aby ograniczać koszty oraz nie „rozpraszać” modelu, co może odciągać go od głównego celu.
Największą jednak trudnością jest odpowiednie zabezpieczenie promptu, przed Prompt Injection. Pierwszą implementacją o której myślimy przy modelu LLM jest rodzaj asystenta, pomocnika, generalnie odpowiadanie na pytania użytkownika. Wydaje się, że tego typu model jak GPT nadaje się do tego idealnie. Cóż możliwe, że nawet za idealnie.
Niezwykle trudnym zadaniem jest takie zabezpieczenie aplikacji, aby ta wykonywała zawsze to do czego została stworzona. Wprowadzając bowiem do prompta bezpośrednio niezweryfikowany input użytkownika, może on w łatwy spsób przejąć kontrolę nad modelem i sprawić, że zacznie on działać zupełnie inaczej niż planowaliśmy.
Na deser bardzo ciekawe i jednocześnie dość trudne ćwiczenie, którym mogę się podzielić. Na tej stronce można spróbować swoich sił, aby włamać się do prompta, w celu poznania sekretnego słowa:
https://game.aidevs.pl/
Dajcie znać, jeśli komuś się uda. Nie zdradzajcie od razu jakich promptów użyliście, aby nie psuć zabawy innym.