Modelet AI open në prodhim: kostot dhe infrastruktura

API-të e provider-ëve të mëdhenj të AI-së janë të përshtatshme, por në një moment dikush në kompani e bën pyetjen: pse nuk hostojmë vetë një model open dhe të mos paguajmë më sipas konsumit? Përgjigjja e ndershme është se modelet AI open në prodhim mund të leverdisin, por vetëm nëse i ke të qarta kostot e infrastrukturës dhe përgjegjësitë operative që merr përsipër. Le të shohim çfarë duhet vlerësuar para se të nisesh, me përvojën e atij që infrastrukturat i projekton dhe i mirëmban.

Kur një model open ka kuptim

Janë tri arsye solide për të sjellë brenda një model open, dhe ia vlen të jesh i sinqertë se cila është e jotja.

• Kontrolli i të dhënave. Nëse punon me të dhëna shëndetësore, ligjore ose gjithsesi sensitive, ta mbash inferencën në makinat e tua ose në një cloud nën kontrollin tënd e thjeshton përputhshmërinë dhe bisedat me përgjegjësin e privatësisë.
• Volume të larta dhe të parashikueshme. API-të sipas konsumit kushtojnë pak kur volumet janë të ulëta. Kur përpunon miliona kërkesa në muaj me ngarkesa konstante, hardware-i i dedikuar mund të bëhet konkurrues.
• Personalizim i thellë. Me një model open mund të ndërhysh në aspekte që API-të nuk i ekspozojnë, nga fine-tuning-u te kontrolli i plotë i pipeline-it të inferencës.

Nëse arsyeja është vetëm hijeshia e open source-it, ndalo: licenca falas e modelit është zëri më i vogël i faturës totale.

On-premise apo cloud: vendimi i parë

Zgjedhja e infrastrukturës vjen para zgjedhjes së modelit. Rrugët janë tri.

GPU në cloud. Merr me qira fuqinë llogaritëse dhe paguan me orë. Është rruga e duhur për të filluar: të lejon të testosh modele të ndryshme, të kuptosh dimensionimin real dhe të shkallëzosh pa blerje. Rreziku është ta mbash ndezur për vite duke paguar sikur të ishte një test.

Serverë on-premise. I blen makinat dhe i vendos brenda ose në një datacenter. Ka kuptim kur kërkesat mbi të dhënat e imponojnë ose kur ngarkesat janë aq konstante sa amortizimi kthehet. Merr përsipër ndërkohë ushqimin elektrik, ftohjen, pjesët e këmbimit dhe personin që merret me to.

Provider-ë që hostojnë modele open. Një rrugë e ndërmjetme: përdor një model open përmes API-së së një furnitori që e shërben për ty. Humbet një pjesë të kontrollit, por shmang menaxhimin e hardware-it.

Në projektet që ndjekim nisemi pothuajse gjithmonë nga cloud-i për fazën e validimit, dhe e vlerësojmë on-premise-in vetëm me të dhëna reale ngarkese në dorë. Të dimensionosh serverë dhe infrastrukturë mbi vlerësime me sy është mënyra më e shpejtë për të blerë hekur të gabuar.

Kuantizimi dhe dimensionimi

Një model open pothuajse kurrë nuk përdoret në formën e tij të plotë: zgjidhet një variant ose një kuantizim që futet në memorien që ke, me cilësinë që të duhet. Parimet për t'u mbajtur të palëvizshme:

• kuantizimi ul memorien dhe kostot, por mund ta degradojë cilësinë në mënyra që nuk i sheh derisa të testosh mbi rastin tënd specifik të përdorimit;
• një model më i vogël që i përgjigjet mirë detyrës sate mund një model gjigant gjenerik, si në latencë ashtu edhe në kosto;
• dimensionimi bëhet mbi pikun e kërkesave të njëkohshme, jo mbi mesataren ditore: në piqet pret përdoruesi.

Ndërto një set provash të brendshëm, me raste të marra nga fusha jote, dhe krahaso variantet mbi të. Është i vetmi benchmark që vlen për ty.

Monitorimi: pjesa që askush nuk e përgatit

Një model në prodhim është një shërbim si të tjerët, dhe duhet monitoruar si të tjerët, plus disa zëra specifikë:

• latenca dhe throughput-i, me alarme mbi percentilet e larta, ku fshihet frustrimi i përdoruesve;
• cilësia e output-it në kohë: merr mostra të përgjigjeve dhe rishikoji periodikisht, sepse degradimi i heshtur ekziston;
• saturimi i GPU-së, për të kuptuar kur duhet shkallëzuar dhe kur në fakt po paguan kapacitet të papërdorur;
• fallback: çfarë ndodh kur modeli nuk përgjigjet? Duhet një përgjigje mirësjelljeje, një radhë pritjeje, apo një ridrejtim drejt një API-je të jashtme rezervë.

Shto logging-un e kërkesave që nga dita e parë, në respekt të privatësisë: pa të dhëna historike, çdo vendim i ardhshëm mbi modelet dhe dimensionimin kthehet në një bast.

Kostot e vërteta: jo vetëm GPU-ja

Kur përgatisim një ofertë të këtij lloji, zëri i hardware-it është vetëm fillimi. Fatura e plotë përfshin:

• energjinë dhe ftohjen, nëse je on-premise;
• përditësimet e modelit dhe të pipeline-it, sepse ekosistemi open lëviz shpejt dhe të qëndrosh në vend do të thotë të grumbullosh borxh;
• kohën e njerëzve: dikush duhet të aplikojë patch-et e sigurisë, të menaxhojë piqet, t'u përgjigjet alarmeve natën;
• ambientin e staging-ut, sepse t'i testosh përditësimet drejt e në prodhim është zakon i keq edhe këtu.

Krahasimi i drejtë me API-të sipas konsumit bëhet mbi këtë total, i projektuar mbi dy-tre vjet, me volumet e tua reale. Ndonjëherë fiton open-i, ndonjëherë jo: varet nga numrat e tu, jo nga ata të lexuar në një postim entuziast.

Të duhet një dorë me infrastrukturën?

Projektojmë dhe menaxhojmë serverë dhe infrastrukturë për kompani që duan të çojnë ngarkesa AI në prodhim, nga dimensionimi fillestar te monitorimi, on-premise ose në cloud. Nëse po vlerëson një model open dhe do të kuptosh sa do të kushtonte në rastin tënd specifik, rezervo një telefonatë falas: shohim bashkë volumet, kërkesat mbi të dhënat dhe alternativat, para se të firmosësh porosi hardware-i.