苹果揭露自研 AI 模型神秘面纱,揭秘 Apple 智能背后技术 – LionAI




苹果揭露自研 AI 模型神秘面纱,揭秘 Apple 智能背后技术 – LionAI

🍏 苹果揭露自研 AI 模型神秘面纱,揭秘 Apple 智能背后技术 – LionAI 🍏

大家好,我係阿布 📢

昨晚蘋果嘅發佈會甫一開始,Apple 智能(Apple Intelligence)馬上成為各大熱搜榜嘅話題。發佈會上,蘋果宣佈同 OpenAI 合作,簡直唔少得啲「吃瓜」同「挑刺兒」嘅評論。即使蘋果高管 Craig Fedrighi 最初表示 OpenAI 只係其中一個入選者,但就掀起咗唔少波瀾。

前特斯拉老闆馬斯克都嚟湊熱鬧,先諷刺蘋果嘅私隱保護,然後放狠話話禁用蘋果設備。不過,據 CNBC 報道,馬斯克已經撤回對 OpenAI 及其 CEO Sam Altman 嘅訴訟。新版 Siri 真係能讀取手機上所有應用程式?唔妨翻閱一下蘋果剛發布嘅博客,可能會搵到答案。

端雲混合,30 億參數端側模型有驚喜 🤖

Apple 智能走嘅係兩條腿並行嘅路,即端側模型同雲端大模型。雲端大模型係需要喺蘋果嘅芯片伺服器上運行,處理更專業同複雜嘅任務。而端側模型則擁有大約 30 億參數,雖然參數冇 7B 咁大,但係一個標杆之作。

過去一年,我哋見過諸多打破「Scaling Laws」嘅案例,例如微軟嘅 Phi-3-mini 只用 3.8B 參數同 7B 大哥叫板。相比之下,跑喺 Google Pixel 8 Pro 上嘅 Gemini Nano 亦分別只有 1.8B 同 3.25B。比起紙面參數嘅較量,用戶嘅體驗先係王道。

隱私與安全措施 🛡️

蘋果對 AI 嘅追求唔單止係好用,仲要安全。在處理有害內容、敏感話題同事實準確性嘅能力上,蘋果基礎模型下足功夫,違規率低於大多數模型。作為擁有超過 22 億活躍設備嘅巨頭,蘋果喺違規率嘅選擇上亦只得低同更低。

庫克提到,AI 一定要深深扎根喺限定設備內,呢並唔係功能或服務,係成為系統嘅一部分。但因為呢種深層次嘅集成,馬斯克聲稱如果 ChatGPT 係系統級別集成,就會禁止員工將 iPhone 帶入特斯拉。

如何鍛造 Apple 智能 🔨

喺電腦上製作影片需要額外程式,在 AI 模型世界裡,蘋果模型背後用到嘅「適配器」亦係一樣道理。簡單來講,適配器係一些模型權重嘅小集合,相當於小插件,讓模型能快速適應執行不同嘅任務。

例如,處理郵件同通知嘅總結顯得微細不一,所以蘋果給模型加上叫做 LoRA 嘅適配器,令模型更好地完成呢啲任務。蘋果嘅撇步係只調整適配器,唔動基礎模型原有嘅「出廠設置」,讓模型保留原有廣泛知識。

在訓練過程中,蘋果還強調冇用到用戶私人數據,同時利用基於人類反饋嘅強化學習技術來提升模型執行效果。

重點總結 📌

  • 蘋果推出 Apple Intelligence 並已融入其生態系統
  • 蘋果同 OpenAI 合作將 GPT-4o 融合到 Apple 智能系統
  • 蘋果在端側模型上採用 30 億參數,專注用戶體驗
  • 蘋果強調隱私與安全,違規率上選擇低同更低
  • 蘋果開發適配器技術,提高模型效率
  • 訓練過程中採用人工標注同自生成數據

🖐大家好,我係阿布🖐