LLuMi
Meertalige intelligentie opnieuw gedefinieerd. LLuMi is een state-of-the-art 70B-model dat robuuste instruction tuning combineert met door DeepSeek-R1 geïnspireerde redeneerpatronen voor ongeëvenaarde prestaties in de praktijk.
1. Introductie
We introduceren LLuMi, een state-of-the-art meertalig large language model (LLM) gebouwd op de robuuste Llama 3.3 70B-architectuur. LLuMi is instruction-tuned om uit te blinken in praktijktoepassingen, met name in meertalige dialoog en complexe redeneertaken.
Door gebruik te maken van geavanceerde verfijningen en distillation-technieken geïnspireerd op het DeepSeek-R1-framework, behoudt LLuMi niet alleen de kernkrachten van zijn Llama 3.3-fundament, maar levert het ook verbeterde prestaties en efficiëntie. Door grootschalige reinforcement learning rechtstreeks op het basismodel te integreren, vertoont LLuMi geavanceerd chain-of-thought-gedrag, verbeterde zelfverificatie en verminderde problemen zoals herhaling en taalvermenging.
Distillation
We tonen aan dat de geavanceerde redeneerpatronen van grotere modellen kunnen worden gedistilleerd naar kleinere, efficiëntere modellen. Deze aanpak levert betere prestaties op in vergelijking met de redeneerstrategieën die uitsluitend via reinforcement learning op kleinere modellen worden verkregen. Het open source DeepSeek-R1-framework — en de bijbehorende API — speelt hierbij een cruciale rol.
Post-Training
We passen reinforcement learning (RL) rechtstreeks toe op het LLuMi-basismodel, zonder als voorbereidende stap te vertrouwen op supervised fine-tuning (SFT). Deze aanpak stelt LLuMi in staat om geavanceerde chain-of-thought-mogelijkheden (CoT) te verkennen voor het aanpakken van complexe problemen.
2. Modeldistillation & architectuur
Het LLuMi 70B-model is zorgvuldig ontwikkeld met behulp van de geavanceerde technieken van DeepSeek-R1 Distill Llama 3.3 70B. Daarnaast hebben we onze kleinere LLuMi 8B- en 3B-modellen voorzien van een unieke denkeigenschap door het gebruik van GRPO (Group Relative Policy Optimization).
Ontworpen om verbeterde redeneerpatronen te ontdekken en het model af te stemmen op menselijke voorkeuren.
Dient als de fundamentele seed voor zowel de redenerende als de niet-redenerende mogelijkheden van het model.
3. Model-downloads
LLuMi Think-modellen
| Model | Basismodel | Download |
|---|---|---|
| LLuMi Think 3B | Qwen2.5-3B-Instruct | 🤗 HuggingFace |
| LLuMi Think 8B | Llama-3.1-8B-Instruct | 🤗 HuggingFace |
| LLuMi Think 70B | Llama-3.3-70B-Instruct | 🤗 HuggingFace |
4. Gebruik
Deze repository bevat drie versies van de LLuMi Think LLM-modellen, voor gebruik met transformers en de bitsandbytes-codebase.
Gebruik met transformers
Vanaf transformers >= 4.48.3 en later kunt u conversationele inference uitvoeren met de Transformers pipeline-abstractie of door de Auto classes te gebruiken met de generate()-functie.
import transformersimport torch model_id = "thellumi/LLuMi_Think_70B" pipeline = transformers.pipeline( "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto",) messages = [ {"role": "user", "content": "Why are tomatoes red?"},] outputs = pipeline( messages, max_new_tokens=256,)print(outputs[0]["generated_text"][-1])Gebruik bitsandbytes
De model-checkpoints kunnen in 8-bit en 4-bit worden gebruikt voor verdere geheugenoptimalisaties met bitsandbytes en transformers.
import torchfrom transformers import AutoModelForCausalLM, AutoTokenizer model_id = "thellumi/LLuMi_Think_70B"quantization_config = BitsAndBytesConfig(load_in_8bit=True) quantized_model = AutoModelForCausalLM.from_pretrained( model_id, device_map="auto", torch_dtype=torch.bfloat16, quantization_config=quantization_config) tokenizer = AutoTokenizer.from_pretrained(model_id)input_text = "Why are tomatoes red?"input_ids = tokenizer(input_text, return_tensors="pt").to("cuda") output = quantized_model.generate(**input_ids, max_new_tokens=10) print(tokenizer.decode(output[0], skip_special_tokens=True))Om in 4-bit te laden, geeft u eenvoudigweg load_in_4bit=True
5. Gebruiksaanbevelingen
We raden aan om de volgende configuraties aan te houden bij het gebruik van de DeepSeek-R1-modellenreeks, inclusief benchmarking, om de verwachte prestaties te behalen:
- Stel de temperature in binnen het bereik van 0.5-0.7 (0.6 wordt aanbevolen) om eindeloze herhalingen of onsamenhangende outputs te voorkomen.
- Voeg geen System-Prompt toe; alle instructies moeten in de User-Prompt staan.
- Voor wiskundige problemen is het raadzaam om een instructie in uw prompt op te nemen zoals: "Please reason step by step, and put your final answer within \boxed{}".
- Bij het evalueren van modelprestaties wordt aanbevolen om meerdere tests uit te voeren en de resultaten te middelen.
Daarnaast heeft DeepSeek waargenomen dat de DeepSeek-R1-modellenreeks de neiging heeft om het denkpatroon te omzeilen (d.w.z. het uitvoeren van "<think>\n\n</think>") bij het beantwoorden van bepaalde queries, wat de prestaties van het model nadelig kan beïnvloeden.Om ervoor te zorgen dat het model grondig redeneert, raden we aan om af te dwingen dat het model zijn antwoord begint met "<think>\n" aan het begin van elke output.
6. Trainingsdata
LLuMi is gebouwd op de robuuste Llama 3.3-architectuur, die is voorgetraind op ongeveer 15 biljoen tokens afkomstig uit openbaar beschikbare datasets. Voor fine-tuning maakt LLuMi gebruik van een combinatie van openbaar beschikbare instruction-datasets en meer dan 10 miljoen voorbeelden afkomstig van Hugging Face. Dit uitgebreide trainingscorpus is samengesteld om hoge prestaties in verschillende talen te garanderen, met speciale ondersteuning voor het Turks en andere talen.
De pretraining-data bevat content tot een cutoff-datum van aug. 2024, waardoor LLuMi is afgestemd op recente taaltrends en -ontwikkelingen.
7. Benchmarks
| Model | AIME 2024 (pass@1) | MATH-500 (pass@1) | GPQA Diamond | LiveCodeBench | CodeForces |
|---|---|---|---|---|---|
| Claude-3.5-Sonnet-1022 | 16.0 | 78.3 | 65.0 | 38.9 | 717 |
| OpenAI o1-1217 | 79.2 | 96.4 | 75.7 | 63.4 | 2061 |
| OpenAI o1-mini | 63.6 | 90.0 | 60.0 | 53.8 | 1820 |
| OpenAI GPT-4o-0513 | 9.3 | 74.6 | 49.9 | 32.9 | 759 |
| QwQ-32B-Preview | 44.0 | 90.6 | 54.5 | 41.9 | 1316 |
| DeepSeek R1 | 79.8 | 97.3 | 71.5 | 65.9 | 2209 |
| LLuMi Think 70B | 69.3 | 94.1 | 64.8 | 56.9 | 1603 |
Opmerking bij de benchmarkresultaten: vanwege hardwarebeperkingen konden geen volledige benchmark-tests worden uitgevoerd en kunnen de resultaten variëren. We blijven volledig transparant over deze beperkingen en werken actief aan het veiligstellen van de benodigde middelen om in de nabije toekomst uitgebreide evaluaties uit te voeren.
8. Verantwoordelijkheid & veiligheid
Bij LLuMi zetten we ons in voor het bevorderen van een verantwoord en ethisch gebruik van onze technologie. We erkennen dat large language models inherente risico's en een potentieel voor misbruik met zich meebrengen, en we hebben verschillende maatregelen genomen om deze uitdagingen te beperken:
- Bias-mitigatie:We hebben tijdens de training verschillende strategieën geïmplementeerd om bias in modeloutputs te minimaliseren. Gebruikers moeten zich er echter van bewust zijn dat er ondanks deze inspanningen af en toe nog steeds bias of onbedoelde outputs kunnen optreden.
- Gebruiksrichtlijnen:LLuMi is ontworpen voor onderzoek en verantwoorde inzet. We moedigen gebruikers sterk aan om zich bij het gebruik van het model te houden aan ethische richtlijnen, toepasselijke wetgeving en best practices. Het genereren van schadelijke, misleidende of aanstootgevende content is ten strengste verboden.
- Veiligheidsmaatregelen:Gebruikers die LLuMi in praktijktoepassingen inzetten, moeten aanvullende veiligheidsfilters en monitoringmechanismen implementeren. We raden regelmatige audits en evaluaties aan om ervoor te zorgen dat de outputs van het model binnen aanvaardbare ethische grenzen blijven.
- Community-betrokkenheid:We nodigen de community uit om feedback te geven over eventuele veiligheids- of ethische kwesties die tijdens het gebruik worden aangetroffen. Deze gezamenlijke aanpak is essentieel om het model continu te verfijnen en potentiële risico's aan te pakken.
- Transparantie en verantwoording:Door LLuMi open source te maken, willen we transparantie en verantwoording bevorderen. We committeren ons aan doorlopend onderzoek en updates die gericht zijn op het verbeteren van de veiligheid en ethische prestaties van het model.
Door LLuMi te gebruiken, gaat u ermee akkoord deze richtlijnen te volgen en bij te dragen aan een veiliger, verantwoorder AI-ecosysteem.