Ako svakodnevno koristite iPhone, iPad ili Mac, već živite s njim. Appleovo mašinsko učenje Iako možda niste uvijek toga svjesni. Od načina na koji su vaše fotografije organizirane do tekstualnih prijedloga na tastaturi ili novih Apple Intelligence funkcija, u pozadini radi pravi digitalni mozak kako bi sve izgledalo magično... ali vrlo kontrolirano.
Posljednjih godina, Apple je od velike tajnovitosti u vezi s umjetnom inteligencijom prešao na otvaranje prema svijetu... Apple Intelligence, Appleov časopis za mašinsko učenje, MLX i vrlo kompletan ekosistem okvira za programere. Sve ovo s vrlo jasnom idejom: da umjetna inteligencija treba biti svugdje, ali da vaši podaci trebaju ostati vaši i da se obrađuju, kad god je to moguće, unutar uređaja.
Šta Apple podrazumijeva pod mašinskim učenjem i vještačkom inteligencijom?
Za Apple, mašinsko učenje Ne radi se samo o obučavanju ogromnog modela u podatkovnom centru i njegovom povezivanju s aplikacijom. Njihov pristup se zasniva na popunjavanju operativnog sistema malim i velikim inteligentnim rutinama koje rješavaju vrlo specifične zadatke: prepoznavanje lica u Fotografijama, predviđanje koju aplikaciju želite otvoriti, čišćenje buke tokom poziva ili otkrivanje moguće saobraćajne nesreće pomoću iPhonea ili Apple Watcha.
Paralelno s tim, kompanija je napravila skok ka Generativni AI Sa Apple Intelligence-om: modeli sposobni za sažimanje, prepisivanje i klasifikaciju teksta, generiranje slika sličnih ilustracijama ili kreiranje personaliziranih Genmoji-ja, reagiranje prirodnim jezikom i razumijevanje konteksta onoga što vidite na ekranu. Sve ovo ne dolazi kao samostalna aplikacija, već integriran u sistem i raspoređene po različitim funkcijama.
Historijski gledano, Apple je bio veoma tajnovit o tome šta otkriva o svom radu na vještačkoj inteligenciji, što mu je uzrokovalo probleme kada je u pitanju privući istraživačke talenteNeobjavljivanje članaka ili nedozvoljavanje inženjerima da dijele svoj napredak direktno se sukobilo s akademskom kulturom AI zajednice. Upravo je zato pokretanje Apple časopis za mašinsko učenje To je predstavljalo značajnu promjenu u načinu na koji su njihova istraživanja komunicirana.
U ovom tehničkom blogu, Appleovi inženjeri detaljno objašnjavaju kako primjenjuju umjetnu inteligenciju i strojno učenje za stvaranje pametnijih proizvoda i, prije svega, kako rješavaju složene probleme kao što su realizam sintetičkih slikakoji se koriste za brže treniranje neuronskih mreža uz manje ručnog označavanja.
Kulturni pomak je također očigledan u Appleovom trenutnom podsticanju drugih istraživača, studenata i programera da pošalji pitanja i ponuditi povratne informacije, otvarajući komunikacijski kanal koji prije jednostavno nije postojao. Ovaj potez je bio gotovo obavezan ako je Apple želio nastaviti direktnu konkurenciju u okruženju u kojem Google, OpenAI, Meta ili Microsoft Oni stalno objavljuju i sarađuju.
Apple Intelligence: Novi sloj umjetne inteligencije na iPhoneu, iPadu i Macu
Apple Intelligence je naziv koji Apple daje svojoj ujedinjenoj strategiji Generativna umjetna inteligencija i mašinsko učenje integriran u sam operativni sistem. To nije jedan model ili jedna aplikacija, već skup modela i alata koji se nalaze unutar iOS-a, iPadOS-a i macOS-a i distribuirani su po cijelom sistemu.
Mnoge Apple Intelligence funkcije koriste postojeće mogućnosti (više od 200 rutina mašinskog učenja na iPhoneu već je obavljalo zadatke poput organiziranja fotografija ili predviđanja teksta), ali sada dodaju... modeli generiranja jezika i slika mnogo sofisticiraniji, dizajniran isključivo za svakodnevne zadatke.
Ključno je kako se ove funkcije izvršavaju. Apple ulaže sve što je moguće u to. obrada na uređajuModeli se pokreću direktno na vašem iPhoneu, iPadu ili Macu sa A17 Pro ili Apple Silicon čipovi (M serija)Ovo iskorištava CPU, GPU i, prije svega, Neural Engine. Na taj način, vaši lični podaci ne napuštaju uređaj prilikom većine svakodnevnih radnji.
Kada je zadatak previše zahtjevan za lokalni hardver, na scenu stupa sljedeće: Privatno računarstvo u oblakuU tom slučaju, uređaj odabire samo strogo potrebne podatke, anonimno ih šalje na Appleove servere, tamo pokreće model i odbacuje podatke bez njihovog pohranjivanja. Ovaj privatni oblak radi na hardveru s Appleovim čipovima i nudi napredne mehanizme sigurnosne revizije kako bi se spriječio neovlašteni pristup.
Osim toga, Apple Intelligence se može osloniti na modele trećih strana kao što su OpenAI ChatGPT Za vrlo široka pitanja ili specijalizirane teme koje nisu obuhvaćene Appleovim vlastitim modelima, Siri vas eksplicitno pita želite li poslati informacije toj vanjskoj usluzi. Ovo možete blokirati ako želite da sve ostane unutar Appleovog ekosistema.
Glavne pametne funkcije za korisnika
Vidljivo lice mašinskog učenja u Appleu se vidi u funkcijama koje koristite svaki dan, od kojih su mnoge već uklopljene sa Apple Intelligence-om i klasičnim ML okvirima kompanije.
Jedna od najupečatljivijih novih karakteristika je Vizuelna inteligencijaDostupna na iPhoneu 16, iPhoneu 16 Pro, te putem dugmeta Akcija na iPhoneu 15 Pro i iPhoneu 16e, ova funkcija aktivira kameru, koja zatim prelazi u način rada u kojem sistem analizira sadržaj na koji se fokusirate i nudi opcije poput "Pitaj" ili "Pretraži". Ako vidi tekst, mogu se pojaviti i opcije poput "Sažetak", "Prevedi" ili "Čitaj naglas".
Ovo omogućava iPhoneu da sažme odštampani dokument, pročita cijelu stranicu naglas ili prevedite meni u hodu na drugi jezikTo je mješavina kompjuterskog vida, obrade jezika i sinteze govora, a sve se uglavnom izvršava na samom uređaju.
u Alati za pisanje Oni su još jedna ključna komponenta. Integrisani u mnoge sistemske aplikacije i dostupni aplikacijama trećih strana koje koriste uobičajene API-je, omogućavaju vam da sažmete duge tekstove, prepišete ih drugačijim tonom ili stilom, ispravite gramatiku i predložite brze odgovore u kontekstima poput Maila ili Poruka. Tu do izražaja dolaze Appleovi jezički modeli i, ako odaberete, modeli trećih strana poput ChatGPT-a.
U vizualnom području, Apple nudi dvije funkcije generiranja slika: Genmoji, koji kreira prilagođene emotikone iz tekstualnih opisa za upotrebu u iMessageu ili e-pošti, i Image PlaygroundGenerira ilustracije u različitim stilovima (skica, ilustracija ili 3D animacija) iz jednostavnih uputa. Ne konkuriraju nišnim uslugama poput Midjourneyja, ali imaju prednost što su integrirani, besplatni i rade s jakim fokusom na privatnost.
Upravljanje obavijesti I poruke su postale pametnije. Sistem koristi modele klasifikacije kako bi odlučio koja su obavještenja najrelevantnija i dao im prioritet. Može sažeti sadržaj e-poruka i poruka u jedan red tako da možete dobiti ideju bez otvaranja i inteligentnije prilagoditi Način fokusiranja na osnovu konteksta.
U aplikaciji Photos, mašinsko učenje se koristi za prepoznaje lica, mjesta, predmete i sceneKreirajte slajdove sa narativnom strukturom i predložite odgovarajuću muziku. Zahvaljujući vještačkoj inteligenciji, možete pretraživati i određeni trenutak u videu opisujući šta se dešava („kada djevojka ugasi svijeće“), kao i pristupiti naprednim alatima za uređivanje, kao što je uklanjanje neželjenih elemenata pozadine jednim dodirom.
Siri obnovljen: više konteksta, više umjetne inteligencije i veza s vanjskim modelima
Siri je jedan od Appleovih proizvoda gdje je utjecaj mašinskog učenja i njegove nedavne evolucije najuočljiviji. Originalni asistent, nabavljen 2010. godine nakon svog vremena provedenog u projektima koje je finansirala DARPA, oslanjao se na tehnologije prepoznavanja glasa poput onih od Nuancea i na sisteme manje sofisticirane od današnjih modela neuronskih mreža.
Vremenom je Apple počeo koristiti duboke neuronske mreže, n-grami i drugi modeli na uređaju kako bi se poboljšalo razumijevanje jezika i prepoznavanje govora. Ova poboljšanja su bila toliko značajna da je, prema Eddyju Cueu, skok u tačnosti prisilio tim da ponovi testove u slučaju da dođe do greške u proračunu.
Uprkos tome, revolucija je došla s arhitekturom transformatora Populariziran poznatim radom iz 2017. godine "Pažnja je sve što vam treba", temelj moderne generativne umjetne inteligencije i modela poput onih iz OpenAI-a. Dok je ChatGPT postao sveprisutan, mnogi su smatrali da je Apple zaostao bez direktnog ekvivalenta.
Odgovor kompanije bio je redizajn Siri kao javnog lica Apple Intelligence-a. Sada asistent ima... novi interfejs Osvjetljava cijeli okvir iPhonea, može se koristiti kucanjem teksta kao i glasom, i mnogo bolje razumije lični kontekst: sastanke u kalendaru, e-poštu, sadržaj na ekranu, nedavne poruke itd.
Počevši od novih verzija sistema, Siri će moći kontrolišite aplikacije kao da ste viPovezuje složene radnje i konsultuje različite interne izvore informacija. A kada su potrebne eksterne informacije ili vrlo otvoreno razmišljanje, djelovat će kao ulaz za modele trećih strana poput ChatGPT-a, uvijek tražeći dozvolu prije slanja vaših podataka.
Okviri za mašinsko učenje za programere
Sve što krajnji korisnik vidi počiva na moćnom ekosistemu ML okvira koje Apple stavlja u ruke programera i entuzijasta. Tim za mašinsko učenje na uređaju nudi... alati za integraciju Apple Intelligence-a i prilagođenih modela u aplikacijama i projektima, bez stalnog oslanjanja na oblak.
Kamen temeljac je Core ML, okvir za pokretanje modela mašinskog učenja na Apple uređajima. Modeli su pakirani u .mlmodel formatu, mogu se preuzeti gotovi sa developer.apple.com ili sa Appleovog službenog prostora Hugging Face, ili konvertovati iz drugih formata (TensorFlow, PyTorch, itd.) korištenjem Core ML Tools u Pythonu.
Core ML automatski optimizuje modele za Apple hardver, smanjujući veličinu i poboljšavajući performanse, te može kombinovati ove optimizacije sa ručnim podešavanjima. U Xcode-u, programeri mogu pregledati arhitekturu modela, pregledati metrike performansi, pa čak i generiranje snažno tipiziranog Swift koda da ih sigurno integrirate u svoje aplikacije.
Tokom izvođenja, Core ML distribuira opterećenje između CPU-a, GPU-a i Neural Engine-a kako bi se postiglo brzo i energetski efikasno zaključivanje, uz održavanje privatnosti pokretanjem svega lokalno. Za napredne slučajeve upotrebe, može se dopuniti sa MPSGraph i Metal Compute za programiranje prilagođenih GPU kernela ili pomoću API-ja BNNS grafikon iz Accelerate okvira, koji sada uključuje BNNSGraphBuilder za izgradnju ML grafova na CPU-u sa niskom latencijom.
Za one koji žele obučavati vlastite modele bez napuštanja ekosistema, Apple nudi Kreirajte MLKombinacija aplikacije i okvira dizajnirana za obuku modela klasifikacije slika, detekcije objekata, analize teksta ili klasifikacije zvuka pomoću Swifta. Koristi tehnike transfera učenja i integrira se s Xcodeom, pojednostavljujući ciklus obuke, evaluacije i izvoza modela direktno u .mlmodel.
Specifični API-ji: vid, jezik, zvuk i glas
Pored Core ML-a, Apple održava niz specijaliziranih okvira izgrađenih na strojnom učenju koji pomažu u rješavanju vrlo specifičnih problema bez potrebe da programer dizajnira model od nule.
Prva je VizijaAPI za računarski vid omogućava klasifikaciju slika, detekciju objekata pomoću graničnih okvira, prepoznavanje lica, OCR, segmentaciju ljudi ili pozadine i procjenu ljudskog položaja. Najnovije verzije uključuju poboljšanja kao što su... napredno prepoznavanje dokumenata ili detekcija mrlja na objektivu, što je vrlo korisno za upozorenje korisniku da očisti kameru ako nešto ispadne mutno.
Za prirodni jezik postoji okvir Prirodni jezikNudi identifikaciju jezika, tokenizaciju, gramatičko označavanje, prepoznavanje entiteta, analizu sentimenta, lematizaciju i generiranje ugrađivanja. Sve ovo se izvršava na uređaju kad god je to moguće, što ga čini idealnim izborom za aplikacije koje trebaju privatno analizirati tekstove bez slanja podataka na server.
Mašinsko prevođenje se obavlja pomoću okvira prijevoddok Analiza zvuka Detektira i klasificira zvukove u stvarnom vremenu (od laveža pasa i alarma do muzičkih lekcija) koristeći Core ML modele. Kao i kod ostalih Appleovih API-ja, obrada zvuka može se obavljati lokalno, što je ključno u sigurnosnim ili nadzornim kontekstima.
U oblasti glasa, Apple ima okvir govor, specijaliziran za prepoznavanje i transkripciju. Uključivanje API-ja Analizator govora Omogućava bržu i fleksibilniju obradu govora u tekst, posebno u dugih audio snimaka ili snimaka s mikrofonom dalekoTo je važna komponenta za aplikacije za diktiranje, snimljene sastanke ili titlovanje uživo.
Svi ovi okviri mogu se kombinirati međusobno i s prilagođenim modelima kreiranim pomoću Create ML ili konvertiranim pomoću Core ML Tools, što rezultira visoko koherentnim AI ekosistemom na iOS-u, iPadOS-u, macOS-u, watchOS-u i tvOS-u.
Foundation Models i MLX: skok ka skaliranju u Apple Siliconu
Dolaskom iOS-a 26, Apple je napravio važan korak uključivanjem... Struktura modela temelja direktno u sistem. To su veliki jezički modeli, optimizovani i fino podešeni posebno za uobičajene svakodnevne zadatke: sumiranje, izdvajanje ključnih informacija, klasifikaciju, generisanje strukturiranih odgovora ili siguran rad s ličnim podacima.
Ovi modeli savršeno funkcionišu na uređaju Kada je to izvodljivo, to znači da možete, na primjer, zatražiti sažetak dugog teksta ili izdvajanje ključnih podataka iz dokumenta bez napuštanja vašeg iPhonea ili Maca. Nadalje, mogu se integrirati s podacima u stvarnom vremenu putem "poziva alata", što modelu omogućava izvršavanje radnji (otvaranje aplikacije, kreiranje citata, upit u lokalnu bazu podataka) i navođenje pouzdanih izvora.
Za istraživanje i eksperimentiranje, Apple je pokrenuo MLXMLX je biblioteka otvorenog koda za numeričko računanje i mašinsko učenje, posebno dizajnirana da iskoristi potencijal Apple Silicon-a. MLX vam omogućava podešavanje, treniranje i pokretanje modela sljedeće generacije na Mac uređajima sa M čipovima, uključujući modeli velikih jezika (LLM) koji se može pokrenuti jednostavnim pozivom komandne linije.
Apple Silicon-ova ujedinjena memorijska arhitektura omogućava CPU-u i GPU-u da rade paralelno na istom baferu, što znatno pojednostavljuje upravljanje podacima i povećava performanse obuke i zaključivanja. MLX je dostupan u Python, Swift, C++ i drugi jezicii dopunjen je podrškom koju Apple dodaje za popularne okvire kao što su PyTorch ili JAX putem Metala.
Za istraživače i entuzijaste umjetne inteligencije, Apple održava aktivne resurse na developer.apple.com i u svojim GitHub repozitorijima, gdje objavljuje modele, alate za konverziju, primjere koda i tehničke članke. Ovo označava značajnu promjenu u odnosu na vrijeme kada praktično nijedno od njihovih istraživanja nije bilo javno objavljeno.
Privatnost, privatni oblak i odnos s drugim AI modelima
Jedan od stubova Appleovog pristupa umjetnoj inteligenciji i mašinskom učenju je privatnostKompanija insistira na tome da modeli moraju znati vaše lične podatke kako bi bili zaista korisni, ali to ne znači da će ih prikupljati ili iskorištavati izvan vaše kontrole.
Obrada na uređaju, sa sve moćnijim i specijaliziranim čipovima, omogućava iPhoneu ili Macu da rade stvari za koje je prije samo nekoliko godina bio potreban veliki server. To se prevodi u niža latencija, rad van mreže i nulta ovisnost Treće strane pružaju mnoge inteligentne funkcije. Neslanjem podataka u oblak smanjuje se rizik od curenja podataka i pravnih problema.
Kada Apple treba da koristi veće modele koji ne stanu udobno u uređaj, pribjegava svom Privatno računarstvo u oblakuIdeja je da serveri ne znaju ko ste ili šta obrađujete; oni jednostavno prime seriju anonimnih podataka, pokrenu model i vrate rezultat, bez ikakvog pohranjivanja. Nadalje, ovi serveri rade na hardveru s Apple čipovima i imaju otvorene sisteme revizije tako da ih sigurnosni stručnjaci mogu pregledati.
Integracija trećih strana, poput sporazuma s OpenAI-jem o korištenju ChatGPT-a u određenim slučajevima, uvijek se vrši putem Siri-ja ili sistemskih alata, uz eksplicitno pitanje želite li poslati informacije. Uprkos tome, nije neophodno. kreirajte nalog na ChatGPT da biste iskoristili osnovne funkcije, iako možete povezati jednu ako želite pristupiti naprednijim alatima.
Apple planira da u budućnosti omogući integraciju i drugih modela u ovu shemu: od alternativa poput Googleovog Geminija do otvorenih modela poput Llame. Ideja je da će Siri i Apple Intelligence djelovati kao "sloj orkestracije" nad ovim modelima, održavajući konzistentno iskustvo i, koliko je to moguće, standarde privatnosti kompanije.
Primjeri upotrebe u proizvodima i profesionalnom razvoju
U svakodnevnoj upotrebi, mašinsko učenje u Appleu se ogleda u funkcijama raznolikim kao što su detekcija sudara sa iPhonea i Apple Watcha, prediktivni tekst na tastaturi, softversko poboljšanje fotografija, preporuke Apple Musica ili prijedlozi popularnih odredišta na Mapama u određeno vrijeme.
Za preduzeća i programere, Appleov ML ekosistem otvara vrata cijelom nizu projekata: klasifikacija slika za kataloge proizvoda, lokalni sistemi preporuka, automatska analiza dokumenata, interni asistenti za razgovor, agenti koji automatiziraju rutinske procese ili detekcija akustičnih događaja u realnom vremenu.
Specijalizovane firme kao što su Q2BSTUDIO Oslanjaju se na tehnologije kao što su Core ML, Create ML, Vision, Natural Language i SoundAnalysis kako bi kreirali prilagođena rješenja, a također integriraju i cloud infrastrukture (AWS, Azure) kada je potrebna obrada u oblaku ili hibridna implementacija. Također kombiniraju ove modele s alatima iz poslovna inteligencija i Power BI pretvoriti predviđanja u izvodljive odluke.
Još jedno često postavljano pitanje je da li se isplati koristiti MacBook za mašinsko učenjeMnogi korisnici cijene vijek trajanja baterije, prenosivost i cjelokupno iskustvo u usporedbi s glomaznim Windows laptopima. Međutim, za vrlo velike modele, namjenske radne stanice ili oblak ostaju praktičniji. Mac računari sa M čipom Pokazali su vrlo solidne performanse za male ili srednje obuke, lokalni razvoj, izradu prototipa i pokretanje optimiziranih modela s MLX ili Core ML.
Potencijalni nedostaci u poređenju sa Linuxom ili Windowsom obično su povezani sa specifičnim kompatibilnostima biblioteka ili činjenicom da su neki alati prvenstveno dizajnirani za NVIDIA GPU-ove, ali Appleova podrška putem Metala i ML-ovog vlastitog ekosistema prilično brzo smanjuje tu razliku.
Čitava ova mreža tehnologija, od malih modela na uređajima do Apple Intelligencea i privatnog računarstva u oblaku, stvara sliku u kojoj Appleova umjetna inteligencija prodire u gotovo svaki kutak sistema kako bi iskustvo bilo glatkije, personaliziranije i istovremeno sigurnije, s ciljem da se i korisnici i programeri mogu osloniti na mašinsko učenje bez potrebe da se odreknu privatnosti ili se bore s pretjeranom složenošću.
