NVIDIA NeMo Çərçivəsi

Spesifikasiyalar

• Məhsulun adı: NVIDIA NeMo Çərçivəsi
• Təsirə məruz qalan platformalar: Windows, Linux, macOS
• Təsirə məruz qalan versiyalar: 24-dən əvvəlki bütün versiyalar
• Təhlükəsizlik Zəifliyi: CVE-2025-23360
• Riskin Qiymətləndirilməsi Baza Hesabı: 7.1 (CVSS v3.1)

Məhsuldan İstifadə Təlimatları

Təhlükəsizlik Yeniləməsinin quraşdırılması:
Sisteminizi qorumaq üçün bu addımları yerinə yetirin:

1. GitHub-da NeMo-Framework-Launcher Releases səhifəsindən ən son buraxılışı yükləyin.
2. Əlavə məlumat üçün NVIDIA Məhsul Təhlükəsizliyinə keçin.

Təhlükəsizlik Yeniləmə Təfərrüatları:
Təhlükəsizlik yeniləməsi NVIDIA NeMo Çərçivəsində kodun icrasına və məlumatların işlənməsinə səbəb ola biləcək zəifliyi aradan qaldırır.ampsəhv etmək.

Proqramın yenilənməsi:
Əvvəlki filial buraxılışından istifadə edirsinizsə, təhlükəsizlik problemini həll etmək üçün ən son filial buraxılışına yüksəltmək tövsiyə olunur.

Bitdiview

NVIDIA NeMo Framework, üzərində işləyən tədqiqatçılar və tərtibatçılar üçün qurulmuş genişlənə bilən və bulud-doğma generativ AI çərçivəsidir. Böyük Dil Modelləri, Multimodal və Nitq AI (məs Avtomatik Nitqin Tanınması və Mətndən nitqə). O, istifadəçilərə mövcud koddan və əvvəlcədən öyrədilmiş model yoxlama məntəqələrindən istifadə etməklə yeni generativ AI modellərini səmərəli şəkildə yaratmağa, fərdiləşdirməyə və yerləşdirməyə imkan verir.

Quraşdırma Təlimatları: NeMo Framework quraşdırın

Böyük Dil Modelləri və Multimodal Modellər
NeMo Framework Böyük Dil Modelləri (LLM) və Multimodal Modelləri (MM) inkişaf etdirmək üçün uçdan-uca dəstək verir. O, yerli, məlumat mərkəzində və ya seçdiyiniz bulud provayderi ilə istifadə etmək üçün çevikliyi təmin edir. O, həmçinin SLURM və ya Kubernetes aktiv mühitlərində icranı dəstəkləyir.

Məlumatların korrasiyası
NeMo Kuratoru [1] data mining və sintetik məlumatların yaradılması üçün modullar dəstini özündə birləşdirən Python kitabxanasıdır. Onlar miqyaslana bilir və GPU-lar üçün optimallaşdırılıb, bu da onları LLM-ləri öyrətmək və ya tənzimləmək üçün təbii dil məlumatlarını düzəltmək üçün ideal hala gətirir. NeMo Curator ilə siz geniş xammaldan yüksək keyfiyyətli mətni səmərəli şəkildə çıxara bilərsiniz web məlumat mənbələri.

Təlim və Fərdiləşdirmə

NeMo Framework effektiv təlim və fərdiləşdirmə üçün alətlər təqdim edir LLM-lər və multimodal modellər. O, hesablama klasterinin qurulması, məlumatların endirilməsi və yeni verilənlər dəstləri və modelləri öyrətmək üçün tənzimlənə bilən model hiperparametrləri üçün standart konfiqurasiyaları ehtiva edir. Əvvəlcədən təlimə əlavə olaraq, NeMo LoRA, Ptuning və s. kimi həm Nəzarət Edilən İncə Tənzimləmə (SFT) və Parameter Efficient Fine-Tuning (PEFT) üsullarını dəstəkləyir.

NeMo-da təlimə başlamaq üçün iki seçim mövcuddur – NeMo 2.0 API interfeysindən istifadə etməklə və ya NeMo Run ilə.

• NeMo Run ilə (tövsiyə olunur): NeMo Run müxtəlif hesablama mühitlərində eksperimentlərin konfiqurasiyasını, icrasını və idarə olunmasını sadələşdirmək üçün interfeys təqdim edir. Buraya iş stansiyanızda yerli və ya böyük klasterlərdə işlərin işə salınması daxildir – həm SLURM aktivdir, həm də bulud mühitində Kubernetes.
  • NeMo Run ilə ilkin məşq və PEFT Quickstart
• NeMo 2.0 API istifadə edərək: Bu üsul kiçik modelləri əhatə edən sadə quraşdırma ilə yaxşı işləyir və ya öz fərdi məlumat yükləyicinizi, təlim döngələrini yazmaq və ya model təbəqələrini dəyişdirmək istəyirsinizsə. O, sizə konfiqurasiyalar üzərində daha çox çeviklik və nəzarət verir və konfiqurasiyaları proqramlı şəkildə genişləndirməyi və fərdiləşdirməyi asanlaşdırır.
  • TraNeMo 2.0 API ilə Quickstart
  • NeMo 1.0-dan NeMo 2.0 API-ə köçürmə

Hizalanma

• NeMo-Aligner [1] modelin səmərəli uyğunlaşdırılması üçün miqyaslana bilən alətlər dəstidir. Alətlər dəsti SteerLM, DPO, İnsan Əlaqəsindən Gücləndirici Öyrənmə (RLHF) və daha çox kimi ən müasir model uyğunlaşdırma alqoritmlərini dəstəkləyir. Bu alqoritmlər istifadəçilərə dil modellərini daha təhlükəsiz, zərərsiz və faydalı olmaq üçün uyğunlaşdırmağa imkan verir.
• Bütün NeMo-Aligner yoxlama məntəqələri NeMo ekosistemi ilə çarpaz uyğunluq təşkil edir, bu da əlavə fərdiləşdirməyə və nəticə çıxarmağa imkan verir.

Kiçik GPT-2B modelində RLHF-nin hər üç fazasının addım-addım iş axını:

• SFT təlimi
• Mükafat modeli təlimi
• PPO təlimi

Bundan əlavə, biz müxtəlif digər yeni hizalama üsullarına dəstək nümayiş etdiririk:

• DPO: daha sadə itki funksiyası ilə RLHF ilə müqayisədə yüngül hizalama alqoritmi.
• Öz-özünə oyun İncə Tənzimləmə (SPIN)
• SteerLM: idarə edilə bilən çıxışla şərtləndirilmiş-SFT-yə əsaslanan texnika.

Daha çox məlumat üçün sənədlərə baxın: Hizalama Sənədləri

Multimodal modellər

• NeMo Framework bir neçə kateqoriya üzrə ən müasir multimodal modelləri öyrətmək və yerləşdirmək üçün optimallaşdırılmış proqram təminatı təqdim edir: Multimodal Dil Modelləri, Vizyon-Language Foundations, Text-to-Image modelləri və Neyral Radiance Fields (NeRF) istifadə edərək 2D Nəsildən kənar.
• Hər bir kateqoriya mətn, şəkillər və 3D modellər daxil olmaqla geniş çeşidli məlumat növlərini idarə etmək üçün qabaqcıl modellərdən istifadə edərək, bu sahədə xüsusi ehtiyacları və irəliləyişləri təmin etmək üçün nəzərdə tutulmuşdur.

Yerləşdirmə və Nəticə
NeMo Framework müxtəlif yerləşdirmə ssenarilərinə və performans ehtiyaclarına cavab verən LLM nəticəsinə müxtəlif yollar təqdim edir.

NVIDIA NIM ilə yerləşdirin

• NeMo Framework NVIDIA NIM vasitəsilə korporativ səviyyəli model yerləşdirmə alətləri ilə mükəmməl inteqrasiya edir. Bu inteqrasiya NVIDIA TensorRT-LLM tərəfindən dəstəklənir və optimallaşdırılmış və genişlənə bilən nəticəni təmin edir.
• NIM haqqında daha çox məlumat üçün NVIDIA-ya baş çəkin websayt.

TensorRT-LLM və ya vLLM ilə yerləşdirin

• NeMo Framework, modelləri iki nəticə çıxarmaq üçün optimallaşdırılmış kitabxanalara, TensorRT-LLM və vLLM-ə ixrac etmək və ixrac edilmiş modeli NVIDIA Triton İnference Server ilə yerləşdirmək üçün skriptlər və API-lər təklif edir.
• Optimallaşdırılmış performans tələb edən ssenarilər üçün NeMo modelləri NVIDIA GPU-larda LLM nəticəsini sürətləndirmək və optimallaşdırmaq üçün ixtisaslaşdırılmış kitabxana olan TensorRT-LLM-dən istifadə edə bilər. Bu proses NeMo modellərinin nemo.export modulundan istifadə edərək TensorRT-LLM ilə uyğun formata çevrilməsini nəzərdə tutur.
  • LLM Yerləşdirmə Bitdiview
  • NIM ilə NeMo Böyük Dil Modellərini yerləşdirin
  • TensorRT-LLM ilə NeMo Böyük Dil Modellərini yerləşdirin
  • NeMo Böyük Dil Modellərini vLLM ilə yerləşdirin

Dəstəklənən Modellər

Böyük Dil Modelləri

Böyük Dil Modelləri

Böyük Dil Modelləri	Ön hazırlıq və SFT	PEFT	Hizalanma	FP8 Təlim Konvergensiyası	TRT/TRTLLM	Qucaqlayan Üzə Dönüştürün	Qiymətləndirmə
Llama3 8B/70B, Llama3.1 405B	Bəli	Bəli	x	Bəli (qismən doğrulanıb)	Bəli	Hər ikisi	Bəli
Mixtral 8x7B/8x22B	Bəli	Bəli	x	Bəli (təsdiqlənməmiş)	Bəli	Hər ikisi	Bəli
Nemotron 3 8B	Bəli	x	x	Bəli (təsdiqlənməmiş)	x	Hər ikisi	Bəli
Nemotron 4 340B	Bəli	x	x	Bəli (təsdiqlənməmiş)	x	Hər ikisi	Bəli
Baichuan2 7B	Bəli	Bəli	x	Bəli (təsdiqlənməmiş)	x	Hər ikisi	Bəli
ChatGLM3 6B	Bəli	Bəli	x	Bəli (təsdiqlənməmiş)	x	Hər ikisi	Bəli
Gemma 2B/7B	Bəli	Bəli	x	Bəli (təsdiqlənməmiş)	Bəli	Hər ikisi	Bəli
Gemma2 2B/9B/27B	Bəli	Bəli	x	Bəli (təsdiqlənməmiş)	x	Hər ikisi	Bəli
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	Bəli	Bəli	x	Bəli (təsdiqlənməmiş)	x	x	Bəli
Phi3 mini 4k	x	Bəli	x	Bəli (təsdiqlənməmiş)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	Bəli	Bəli	x	Bəli (təsdiqlənməmiş)	Bəli	Hər ikisi	Bəli
StarCoder 15B	Bəli	Bəli	x	Bəli (təsdiqlənməmiş)	Bəli	Hər ikisi	Bəli
StarCoder2 3B/7B/15B	Bəli	Bəli	x	Bəli (təsdiqlənməmiş)	Bəli	Hər ikisi	Bəli
BERT 110M/340M	Bəli	Bəli	x	Bəli (təsdiqlənməmiş)	x	Hər ikisi	x
T5 220M/3B/11B	Bəli	Bəli	x	x	x	x	x

 

Vizyon Dil Modelləri

 

Yerləşdirmə Modelləri

 

Dünya Vəqf Modelləri

Qeyd
NeMo həm diffuziya, həm də avtoreqressiv arxitekturalar üçün ilkin hazırlığı dəstəkləyir text2world təməl modelləri.

Nitq AI

Danışıq süni intellekt modellərinin hazırlanması müəyyən domenlər daxilində modellərin müəyyənləşdirilməsini, qurulmasını və öyrədilməsini əhatə edən mürəkkəb bir prosesdir. Bu proses adətən yüksək dəqiqlik səviyyəsinə çatmaq üçün bir neçə təkrarlama tələb edir. O, tez-tez yüksək dəqiqliyə nail olmaq, müxtəlif tapşırıqlar və domenə xas məlumatlarda dəqiq tənzimləmə, təlim performansını təmin etmək və nəticə çıxarmaq üçün modellərin hazırlanmasını əhatə edir.

NeMo Framework Speech AI modellərinin təlimi və fərdiləşdirilməsi üçün dəstək verir. Buraya avtomatik nitqin tanınması (ASR) və mətndən nitqə (TTS) sintezi kimi tapşırıqlar daxildir. O, NVIDIA Riva ilə müəssisə səviyyəsində istehsal yerləşdirməsinə rəvan keçid təklif edir. Tərtibatçılara və tədqiqatçılara kömək etmək üçün NeMo Framework ən müasir qabaqcadan öyrədilmiş yoxlama nöqtələrini, təkrarlanan nitq məlumatlarının emalı üçün alətləri və nitq verilənlər toplusunun interaktiv kəşfiyyatı və təhlili üçün funksiyaları ehtiva edir. Speech AI üçün NeMo Çərçivəsinin komponentləri aşağıdakılardır:

Təlim və Fərdiləşdirmə
NeMo Framework nitq modellərini öyrətmək və fərdiləşdirmək üçün lazım olan hər şeyi ehtiva edir (ASR, Nitqin təsnifatı, Natiqin tanınması, Natiqin diaqramlaşdırılması, və TTS) təkrarlana bilən şəkildə.

SOTA əvvəlcədən hazırlanmış modellər

• NeMo Framework ən müasir reseptlər və bir neçəsinin əvvəlcədən öyrədilmiş yoxlama məntəqələrini təqdim edir ASR və TTS modelləri, eləcə də onları yükləmək üçün təlimatlar.
• Nitq Alətləri
• NeMo Framework ASR və TTS modellərini inkişaf etdirmək üçün faydalı alətlər toplusunu təqdim edir, o cümlədən:
  • NeMo Forced Aligner (NFA) token, söz və seqment səviyyəli vaxt həddini yaratmaq üçünampNeMo-nun CTC əsaslı Avtomatik Nitqin Tanınması modellərindən istifadə edərək audioda nitq s.
  • Nitq Məlumat Prosessoru (SDP), nitq məlumatlarının işlənməsini sadələşdirmək üçün alətlər dəsti. Bu, konfiqurasiyada məlumatların işlənməsi əməliyyatlarını təmsil etməyə imkan verir file, qazan kodunu minimuma endirir və təkrar istehsal və paylaşıla bilənliyə imkan verir.
  • Speech Data Explorer (SDE), Dash əsaslı web nitq məlumat dəstlərinin interaktiv kəşfiyyatı və təhlili üçün proqram.
  • Dataset yaratmaq aləti uzun səsi uyğunlaşdırmaq üçün funksionallıq təmin edən files müvafiq transkriptlərlə birləşdirin və onları Avtomatik Nitqin Tanınması (ASR) modeli təlimi üçün uyğun olan daha qısa fraqmentlərə bölün.
  • Müqayisə Aləti ASR Modelləri üçün söz dəqiqliyi və tələffüz səviyyəsində müxtəlif ASR modellərinin proqnozlarını müqayisə etmək.
  • ASR Qiymətləndiricisi ASR modellərinin və Səs Fəaliyyətinin Aşkarlanması kimi digər xüsusiyyətlərin performansını qiymətləndirmək üçün.
  • Mətn Normallaşdırma Aləti mətni yazılı formadan şifahi forma və əksinə çevirmək üçün (məsələn, “31-ci” və “otuz birinci”).
• Yerləşdirməyə gedən yol
• NeMo Çərçivəsindən istifadə etməklə öyrədilmiş və ya fərdiləşdirilmiş NeMo modelləri NVIDIA Riva ilə optimallaşdırıla və yerləşdirilə bilər. Riva, düymələrin yerləşdirilməsi üçün addımları avtomatlaşdırmaq üçün xüsusi olaraq hazırlanmış konteynerlər və Helm diaqramları təqdim edir.

Digər Resurslar

GitHub Reposları

• NeMo: NeMo Framework üçün əsas depo
• NeMo–Qaç: Maşın öyrənmə təcrübələrinizi konfiqurasiya etmək, işə salmaq və idarə etmək üçün alət.
• NeMo-Aligner: Effektiv model uyğunlaşdırılması üçün miqyaslana bilən alətlər dəsti
• NeMo-Kurator: LLM-lər üçün miqyaslana bilən məlumatların əvvəlcədən emalı və kurasiya alətləri dəsti

Yardım əldə etmək
NeMo icması ilə əlaqə saxlayın, suallar verin, dəstək alın və ya səhvlər haqqında məlumat verin.

• NeMo müzakirələri
• NeMo Məsələləri

Proqramlaşdırma Dilləri və Çərçivələri

• Python: NeMo Framework-dən istifadə etmək üçün əsas interfeys
• Pytorch: NeMo Framework PyTorch üzərində qurulub

Lisenziyalar

• NeMo Github repo Apache 2.0 lisenziyası altında lisenziyalaşdırılıb
• NeMo Framework NVIDIA AI MƏHSUL MÜQAVİLƏSİ əsasında lisenziyalaşdırılıb. Konteyneri çəkib istifadə etməklə siz bu lisenziyanın şərtlərini qəbul edirsiniz.
• NeMo Çərçivə konteynerində Meta Llama3 İcma Lisenziya Müqaviləsi ilə idarə olunan Llama materialları var.

Haşiyələr
Hazırda Multimodal modellər üçün NeMo Curator və NeMo Aligner dəstəyi davam etməkdə olan bir işdir və tezliklə istifadəyə veriləcək.

Tez-tez verilən suallar

S: Sistemimə zəifliyin təsir edib-etmədiyini necə yoxlaya bilərəm?
A: Siz quraşdırılmış NVIDIA NeMo Framework versiyasını yoxlayaraq sisteminizə təsir edib-etmədiyini yoxlaya bilərsiniz. Əgər versiya 24-dən aşağıdırsa, sisteminiz həssas ola bilər.

S: CVE-2025-23360 təhlükəsizlik problemini kim bildirdi?
A: Təhlükəsizlik problemi Or Peles - JFrog Security tərəfindən bildirildi. NVIDIA onların töhfələrini qəbul edir.

S: Gələcək təhlükəsizlik bülleteni bildirişlərini necə ala bilərəm?
A: Təhlükəsizlik bülleteni bildirişlərinə abunə olmaq və məhsulun təhlükəsizlik yeniləmələri haqqında məlumatlı olmaq üçün NVIDIA Məhsul Təhlükəsizliyi səhifəsinə daxil olun.

Sənədlər / Resurslar

NVIDIA NeMo Çərçivəsi [pdf] İstifadəçi təlimatı NeMo Framework, NeMo, Framework

İstinadlar

• İstifadəçi təlimatı