Performance and scaling study of a RAG system with language models on Kubernetes infrastructure
Year: 2026
Type: dissertation
Abstract: Σελίδα 4 Περίληψη Η αυξανόμενη αξιοποίηση των Μεγάλων Γλωσσικών Μοντέλων (Large Language Models, LLMs) σε εφαρμογές παραγωγικής λειτουργίας δημιουργεί σημαντικές απαιτήσεις ως προς την εξυπηρέτηση μοντέλων, τη διαχείριση υπολογιστικών πόρων και την αυτόματη κλιμάκωση.Η παρούσα πτυχιακή εργασία μελετά τη σχεδίαση, την υλοποίηση και την πειραματική αξιολόγηση ενός συστήματος Παραγωγής Επαυξημένης με Ανάκτηση (Retrieval-Augmented Generation, RAG) σε υποδομή Kubernetes, με έμφαση στην αυτόματη κλιμάκωση, την ψυχρή εκκίνηση και την απόδοση σε υποδομή αποκλειστικής χρήσης κεντρικών μονάδων επεξεργασίας (CPU).Αναπτύχθηκε ο γνωσιακός βοηθός Atlas Systems, βασισμένος σε συνθετική εταιρική γνωσιακή βάση.Το σύστημα αποτελείται από υπηρεσία FastAPI, διανυσματική βάση δεδομένων ChromaDB, Ollama για την εξυπηρέτηση των μοντέλων και διεπαφή χρήστη Gradio.Η γνωσιακή βάση περιλαμβάνει δεδομένα για υπαλλήλους, έργα, τμήματα, πολιτικές, τεχνική υποστήριξη, συναντήσεις, μηνιαία πλάνα και αγγελίες θέσεων εργασίας.Αξιολογήθηκαν τα μοντέλα Phi-3 Mini και Mistral 7B μέσω δοκιμών φόρτου με το Locust
Author: Θεοφιλογιαννάκος, Βασίλειος Α.
Language: Greek
Subfield: Information Systems
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7172363628