Zijn er (gekende) veiligheidsrisico’s gelinkt aan een lokaal gehost LLM. Is het sowieso good practice om modellen zoals R1 in een sandbox te draaien? Of zijn risico’s verwaarloosbaar?
Iemand nuttige inzichten?
voor zover ik weet, en mijn slimmere collega die daar ook iets meer voor gestudeerd heeft bevestigde dit, is een model zoals je dat bvb van huggingface niet meer dan een “hoop getallekes”. Lees: parameters of vectoren of “tensors”, de namen variëren. Dus zo’n model doet niets. Je moet dat uit laten voeren door wat ik vaak noem “een engine” (de meeste mensen zijn dan mee in het verhaal). Zo’n engine kan bvb Ollama zijn, of vLLM en die dingen bieden dan vaak een API aan (die vaak identiek is aan de API zoals OpenAI die aanbiedt), zodat je daar mee kan “chatten”.
Dus het risico zit in de engine want die “voert uit”, niet in het model dat je download. Als je een opensource product gebruikt zoals ollama, of hugging face libraries of vLLM, dan zit je in principe safe omdat die software safe is. Natuurlijk, alles is safe tot er een lek wordt vastgesteld maar goed, dan zijn er toch wel heel veel mensen gesjareld in de wereld dus ik ga er van uit dat die dingen safe zijn.
Gebruik je een andere minder bekende of closed source engine, heb je geen idee wat er gebeurt met je data. Die kan dan naar overal gaan. Maar dat is in theorie zo bij elke applicatie die je op je PC installeert waarvan je de code niet kent.
TLDR; een model zelf is enkel maar parameters, geen uitvoerbare code, en kan op zich geen risico zijn.
(onder voorbehoud en mocht ik mis zijn leer ik heel graag bij!)