Local Large Language Model Deployment : model size, quantization, and performance trade-offs
Year: 2026
Type: dissertation
Abstract: Tekoäly on kehittynyt viime vuosina nopeasti ja vakiinnuttanut asemansa keskeisenä teknologiana useilla eri aloilla. Kehitystä ovat vauhdittaneet erityisesti suuret kielimallit, jotka ovat saavuttaneet laajan yleisön pääasiassa pilvipalveluiden, kuten OpenAI:n ChatGPT:n ja Microsoftin Copilotin kautta. Näitä palveluita käytettäessä käyttäjien syöttämä tieto välittyy palveluntarjoajalle, mikä on lisännyt kiinnostusta paikallisia ratkaisuja kohtaan erityisesti tilanteissa, joissa tietoturva ja tiedon hallinta ovat keskeisiä. Tässä opinnäytetyössä tarkastellaan, miten mallin koko ja kvantisointi vaikuttavat samanaikaisten pyyntöjen käsittelyyn sekä suorituskyvyn, energiatehokkuuden ja tarkkuuden välisiin kompromisseihin paikallisesti käyttöönotetuissa suurissa kielimalleissa. Tutkimus toteutettiin empiirisesti Qwen3-malliperheen 32B- ja 8B-malleilla BF16-tarkkuudella sekä AWQ 4-bittisinä kvantisoituina versioina. Mallit ajettiin vLLM-palvelinmoottorilla kahden NVIDIA H100 -näytönohjaimen järjestelmässä, ja suorituskykyä mitattiin samanaikaisuustasoilla 1, 8 ja 32 pyyntöä. Päättelytehokkuutta, energiankulutusta ja laitteistokuormitusta mitattiin ShareGPT-aineistolla vLLM bench serve -työkalua käyttäen, ja mallien laatua arvioitiin MMLU-, GSM8K-, HellaSwag- ja ARC Challenge -arviointikokonaisuuksilla lm-evaluation-harness-työkalun avulla. Tulokset osoittavat, että AWQ-kvantisointi parantaa merkittävästi 32B-mallin läpimenokykyä ja energiatehokkuutta sekä vähentää muistikaistanleveyden käyttöä yhden käyttäjän tilanteessa, keskimääräisen tarkkuuden heikentyessä vain hieman. Sen sijaan mallin koon pienentäminen 32B:stä 8B:hen tuottaa vielä suuremmat tehokkuusedut, mutta tarkkuus heikkenee huomattavammin. Kaikki mallit skaalautuvat tehokkaasti kuorman kasvaessa, ja läpimenokyky kasvaa jopa 20 yhden käyttäjän ja 32 samanaikaisen käyttäjän välillä. Tulosten perusteella kvantisointi on kustannustehokas optimointikeino paikalliseen kielimallin käyttöönottoon, kun taas mallin kokovalinta tulisi perustaa tehtäväkohtaisiin vaatimuksiin. Tutkimus tarjoaa käytännön tietoa organisaatioille tai yksilöille, jotka harkitsevat turvallista ja resurssitehokasta paikallista kielimalliratkaisua.
Source: Theseus (Ammattikorkeakoulujen)
Author: Soininen, Jere
Language: English
Subfield: Computer Vision and Pattern Recognition
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7148215146