Մեծ լեզուների մոդելների ուսուցումը հսկայական հաշվողական ուժ է ստանում: Այն ավելի արագ եւ էժան դարձնելու ուղիներ գտնելը մեծ խնդիր է:
Նոյեմբերի 13-ին Վլադիսլավ Սավինովը՝ YandexGPT-ի նախնական վերապատրաստման թիմի ղեկավարը, կկիսվի, թե ինչպես են ժամանակակից հետազոտական լաբորատորիաները մղում GPU-ի արդյունավետության սահմանները FP8 ճշգրտությամբ եւ Triton-ով:
Դուք կսովորեք
Ինչու ավելի ցածր ճշգրտությամբ մարզվելը կարող է կրճատել ծախսերը եւ արագացնել հաշվարկը Ինչ են բացահայտում FP8-ի վերջին հետազոտական փաստաթղթերը եւ բաց կոդով գործիքները Ինչպես են իրականում աշխատում GPU-ները եւ ինչպես են Triton միջուկները գործնականում բարձրացնում կատարողականությունը Իրական պատկերացումներ YandexGPT- ի արտադրության մասշտաբի FP8 նախապատրաստման Միացե՛ք մեզ խորը տեխնիկական սուզվելու համար:
