GPT Realtime AssistantOffline átírás Apple siliconos Macen: a Whisper és a Qwen helyben fut, felhő és kredit nélkül. Mi marad a gépen, mi nem, és milyen kompromisszumokkal jár.

Mi fut helyben

Apple siliconos Macen az app két modellt tölthet le és futtathat a gépen: a Whisper Large v3 Turbót az átíráshoz és a Qwen 3 8B-t a válaszokhoz. Letöltés után magán a Macen futnak, olyan munkamenetekhez, amelyek hangja nem hagyhatja el a termet.

A felhős feldolgozás és a helyi modellek közötti választás felhasználásonként történik. Egy heti stand-up és egy ügyvéddel folytatott konzultáció nem igényel azonos kezelést, és nem kell mindenre ugyanazt választanod.

Mi hová kerül az egyes módokban

A „privát” szót gyakran pontatlanul használják, ezért érdemes pontosnak lenni.

  • Felhős munkamenet: a mikrofon hangja — Macen opcionálisan a rendszerhang és a rögzített képernyő is — az OpenAI Realtime API-jához áramlik, hogy elkészüljön az átirat és a válaszok. A mellékletek kontextusként kerülnek elküldésre.
  • Helyi munkamenet Macen: a letöltött modellek a gépen dolgozzák fel a hangot és a szöveget.
  • Mindkét esetben az átiratok, válaszok, munkamenetek, feladatok és jegyzetek az eszközön tárolódnak, felhőszinkronizálás nélkül.
  • Az app háttérrendszere a fiókokat, vásárlásokat, a kreditegyenleget és a használati naplókat tárolja. Hangot, átiratot, választ vagy mellékletet nem fogad és nem tárol.

A kompromisszumok, őszintén

Egy laptopra férő modell kisebb, mint egy adatközpontban futó. Egy nyolcmilliárd paraméteres modell válaszai sok mindenre elegendők — döntések kiemelésére, egy fogalom elmagyarázására, egy követő levél vázlatára —, de széles tudást vagy hosszú érvelést igénylő feladatokban érezhetően gyengébbek egy nagy felhős modellnél.

A letöltés több gigabájt, és a modellek futás közben valóban használják a memóriát és a számítási kapacitást. Egy új Apple siliconos Macen ez rendben van; egy régebbin lassabb. Ezért is Mac-funkció: egy telefonnak nincs ekkora tartaléka.

iPhone-on és iPaden

A nagy helyi modellek csak Macen érhetők el. iPhone-on és iPaden az átírást ettől még végezheti az Apple eszközön futó beszédfelismerése az OpenAI modelljei helyett. A válaszok ilyenkor is a felhős modelltől jönnek: a szavaid átírása a telefonon történik, a segítség nem.

A privát a teremben lévőkről is szól

Ha a hang a gépen marad, az harmadik felektől védi. Azon azonban nem változtat, hogy mások szavait rögzíted. Joguk van tudni róla, és sok helyen a törvény is megköveteli — a mások felvételéről és átírásáról szóló útmutató elmagyarázza, mit mondj.

Elég gyakran kérdezik ahhoz, hogy leírjuk.

Mely Maceken futnak a helyi modellek?

Apple siliconos Maceken. A modelleket egyszer kell letölteni, és a gépen futnak; az újabb Macek gyorsabbak.

Futnak a helyi modellek iPhone-on?

Nem. iPhone-on és iPaden az átírást az Apple eszközön futó beszédfelismerése végezheti, de a helyi válaszmodell csak Macen érhető el.

Látják valaha az app szerverei az átirataimat?

Nem. A háttérrendszer a fiókokat, vásárlásokat és krediteket kezeli; az átiratok és válaszok az eszközödön tárolódnak.

Olvasd el ezt is