Apple enthüllt das Apple Intelligence System: Leistungsstarke KI für den Alltag und seine Marktimplikationen für Unternehmen und Marktbegleiter

Die Architektur der AFM-Modelle

Die Apple Foundation Models (AFM) basieren auf der Transformer-Architektur, die erstmals 2017 vorgestellt wurde. Diese ermöglicht die effiziente Verarbeitung großer Textmengen durch parallele Verarbeitung kleinerer Textteile. Eine bemerkenswerte Designentscheidung ist die gemeinsame Ein-/Ausgabe-Einbettungsmatrix, die den Speicherbedarf reduziert. Pre-Normalisierung mit RMSNorm und Query/Key-Normalisierung stabilisieren das Training und verbessern die Effizienz. Die Grouped-Query-Attention reduziert den Speicherbedarf des KV-Caches, und die SwiGLU-Aktivierung steigert die Leistungsfähigkeit des Modells. RoPE-Positions-Einbettungen ermöglichen die Verarbeitung längerer Textkontexte.

Daten und Vorverarbeitung

Die Vortrainingsdaten für die AFM-Modelle stammen aus einer Mischung von lizenzierten Daten, öffentlich zugänglichen oder Open-Source-Datensätzen und Informationen, die von Apples Webcrawler Applebot gesammelt wurden. Die Datenauswahl legt besonderen Wert auf Qualität und den Schutz persönlicher und sensibler Informationen. Der Prozess beinhaltet die Textextraktion mithilfe von Safari’s Reader-Modus und dem Boilerpipe-Algorithmus sowie Sicherheits- und Profanitätsfilter, um unangemessene Inhalte zu entfernen. Eine globale „fuzzy deduplication“ vermeidet Datenwiederholungen, während Qualitätsfilterung mittels Heuristiken und modellbasierten Klassifikatoren sicherstellt, dass nur hochwertige Daten verwendet werden.

Vortraining und Post-Training

Das Vortraining der AFM-Modelle erfolgt in mehreren Phasen, beginnend mit dem Kernvortraining zur Entwicklung einer breiten Basis an Fähigkeiten. Fortgesetztes Vortraining nutzt spezifischere Datensätze zur Stärkung der Fähigkeiten in Bereichen wie Mathematik und Kodierung. Schließlich wird das Modell auf längere Textsequenzen trainiert, um besser mit umfangreichen Kontexten umgehen zu können. Hochleistungsfähige Cloud-TPU-Cluster unterstützen den rechenintensiven Trainingsprozess.

Nach dem Vortraining erfolgt das Post-Training, welches Supervised Fine-Tuning (SFT) und Reinforcement Learning from Human Feedback (RLHF) umfasst, um die Fähigkeiten der Modelle zur Befolgung von Anweisungen und zur Konversation zu verbessern. Dabei kommen neue Algorithmen wie der iterative Teaching Committee (iTeC) und Mirror Descent Policy Optimization (MDLOO) zum Einsatz.

Evaluierung

Die Evaluierung der AFM-Modelle erfolgt anhand verschiedener Benchmarks. Die Pre-Training-Evaluation überprüft die grundlegenden Sprach- und Argumentationsfähigkeiten der Modelle. Die Post-Training-Evaluation fokussiert sich auf die Fähigkeit der Modelle, Anweisungen zu befolgen und in Konversationen sinnvoll zu agieren. Die feature-spezifische Evaluierung testet die Modelle auf spezifische Anwendungen wie die Zusammenfassung von E-Mails, Nachrichten und Benachrichtigungen. Die AFM-Modelle zeigen starke Fähigkeiten in Sprachverständnis, Anweisungsbefolgung, Argumentation und Schreiben. In vielen Bereichen übertreffen die AFM-Modelle vergleichbare Modelle, sowohl offene als auch kommerzielle. Besonders die menschlichen Bewertungen zeigen, dass die AFM-Modelle in vielen Aspekten bevorzugt werden, was auf ihre praktische Anwendbarkeit und Benutzerfreundlichkeit hinweist.

Responsible AI

Apple legt großen Wert auf die Entwicklung verantwortungsvoller KI. Dies spiegelt sich in allen Phasen der Modellentwicklung wider, von der Datenbeschaffung über das Training bis hin zur Bereitstellung. Es werden strenge Maßnahmen ergriffen, um die Privatsphäre der Benutzer zu schützen und schädliche oder voreingenommene Inhalte zu vermeiden. Red-Teaming-Übungen und umfassende Sicherheitsbewertungen stellen sicher, dass die Modelle robust gegenüber adversarialen Eingaben sind und sichere, hilfreiche Antworten liefern. Red-Teaming bedeutet, dass Experten versuchen, Schwachstellen in den Modellen zu finden, indem sie sie mit schwierigen und ungewöhnlichen Eingaben testen.

Und Unternehmen?

Die Beta-Version von iOS 18.1 ist auf dem Markt und bringt den ersten Kunden in den USA die erste Version von KI in die Hände. Doch was machen die Unternehmen? Nutzer in Unternehmen können sich völlig unabhängig für die Beta registrieren. Man soll dies zwar zukünftig über MDM steuern können, aktuell ist dies allerdings noch nicht möglich. Das ist aus deutscher Sicht ohne Kummer zu sehen, denn in Deutschland ist das Ganze (derzeit) nicht nutzbar, soweit dem Autor bekannt auch nicht über Umwege. Was aber, wenn sich das ändert?

Auswirkung auf Marktbegleiter

KI ist teuer. Dieser Artikel arbeitet ab jetzt mit „Annahmen“ bei der Berechnung potenzieller Kosten für die Lösungsanbieter, die Konsequenzen sind dafür jedoch umso realer. Werfen wir einen Blick darauf, warum der Deal zwischen Apple und OpenAI den KI-Markt umkrempeln wird.

OpenAI, bekannt für ihre fortschrittlichen KI-Modelle wie ChatGPT, steht vor erheblichen finanziellen Herausforderungen. Laut einem Bericht von The Information drohen dem Unternehmen in den nächsten Monaten Verluste in Höhe von 5 Milliarden US-Dollar. Diese Entwicklung resultiert aus den hohen Ausgaben für das Training neuer KI-Modelle, die auf etwa 7 Milliarden US-Dollar geschätzt werden. Hinzu kommen Personalkosten von 1,5 Milliarden US-Dollar. Demgegenüber stehen Einnahmen von nur etwa 2,5 Milliarden US-Dollar, was eine erhebliche Finanzierungslücke hinterlässt, die durch Investoren gedeckt werden muss.

Die Betriebskosten für die bestehenden KI-Modelle sind in dieser Rechnung bisher nicht enthalten. Jede Anfrage an ChatGPT verbraucht erhebliche Ressourcen, was die täglichen Betriebskosten auf etwa 700.000 US-Dollar ansteigen lässt. Diese Summe umfasst unter anderem die Kosten für GPUs, die für den reibungslosen Betrieb der KI-Modelle erforderlich sind.

Die finanziellen Schwierigkeiten von OpenAI werden auch durch einen Rückgang der Nutzerzahlen verschärft. Zwischen Juni und Juli 2024 verzeichnete das Unternehmen einen Rückgang von 12 % in der Nutzerbasis, was etwa 200.000 Nutzern entspricht. Dieser Rückgang könnte auf saisonale Effekte wie die Sommerpause zurückzuführen sein, stellt jedoch eine zusätzliche Herausforderung dar. Derzeit hat ChatGPT rund 180,5 Millionen monatlich aktive Nutzer. Bei täglichen Betriebskosten von 700.000 US-Dollar ergeben sich monatliche Kosten von etwa 21 Millionen US-Dollar. Dies bedeutet, dass jeder der 180,5 Millionen Nutzer durchschnittlich etwa 0,12 US-Dollar pro Monat an Betriebskosten verursacht.

Ein weiteres Problem ist die Konkurrenz durch effizientere Modelle wie das Mistral Large 2 von Meta, das in puncto Effizienz besser abschneiden soll als OpenAIs Modelle wie Llama 3. Diese Konkurrenz erhöht den Druck auf OpenAI, kontinuierlich in die Verbesserung ihrer Modelle zu investieren, damit es wettbewerbsfähig bleibt.

Microsoft hat erheblich in OpenAI investiert, um das Unternehmen zu unterstützen. Insgesamt hat Microsoft 10 Milliarden US-Dollar investiert und besitzt nun einen großen Anteil an den zukünftigen Gewinnen von OpenAI. Diese finanzielle Unterstützung ist entscheidend, damit die laufenden Kosten gedeckt werden und das Unternehmen am Laufen gehalten wird.

Sollte Apple beginnen, Anfragen über OpenAI-Modelle zu integrieren, könnte dies die Betriebskosten von OpenAI weiter erhöhen, da dies eine erhebliche Zunahme der Anfragen bedeuten würde. Angenommen, 50 % der kompatiblen Geräte (Macs ab M1 und iPhones 15 Pro und 15 Max) würden diese Funktion nutzen, müssen wir zunächst die Stückzahlen dieser Geräte ermitteln.

Das iPhone 15 Pro Max hatte im März 2024 einen Anteil von 23 % an den iPhone-Verkäufen in den USA, während das iPhone 15 Pro einen Anteil von 22 % hatte. Insgesamt machten die Pro-Modelle 45 % der iPhone-Verkäufe in den USA aus.

Bis heute hat Apple weltweit über 500 Millionen iPads verkauft. Doch auch hier ist die genaue Anzahl der verkauften iPads mit M1-Prozessoren nicht spezifisch veröffentlicht worden. Allerdings hat Apple im Jahr 2021 das iPad Pro und im Jahr 2022 das iPad Air mit M1-Chips eingeführt. Diese Modelle waren aufgrund ihrer leistungsstarken Prozessoren und verbesserten Grafikfähigkeiten sehr beliebt und haben die Verkaufszahlen von iPads wahrscheinlich positiv beeinflusst.

Bei den Notebooks und Desktoprechnern sind die Zahlen ebenfalls nicht verfügbar. Apple begann Ende 2020 mit der Umstellung von Intel-Prozessoren auf eigene Apple-Silicon-Prozessoren (M-Serie) in ihren Mac-Computern. Seitdem haben sie mehrere Modelle mit diesen Prozessoren veröffentlicht, darunter das MacBook Pro, MacBook Air, iMac, Mac mini, Mac Studio und Mac Pro. Die Einführung der M1-, M2- und M3-Prozessoren hat die Verkaufszahlen von Apple-Macs erheblich gesteigert. Beispielsweise wurden im vierten Quartal 2023 weltweit 6,3 Millionen Mac-Einheiten verkauft, eine Steigerung gegenüber 5,9 Millionen im gleichen Zeitraum des Vorjahres. Zwischenzeitlich sind auch keine Intel-Macs mehr bei Apple verfügbar.

Gehen wir davon aus, dass Apple weltweit etwa 200 Millionen Macs im Einsatz hat und etwa 30 % davon auf M-Chips aktualisiert wurden, führt das zu etwa 60 Millionen kompatiblen Macs. Der Autor geht ferner davon aus, dass von den iPhones im Jahr 2023 etwa 230 Millionen iPhones verkauft wurden, wobei die Modelle iPhone 15 Pro und 15 Max etwa 30 % dieser Verkäufe ausmachen könnten, was zu etwa 69 Millionen Geräten führt.

Insgesamt ergibt diese Annahme:

• 60 Millionen Macs (M1 und höher)
• 69 Millionen iPhones (15 Pro und 15 Max)

Das ergibt eine Gesamtzahl von etwa 129 Millionen Apple-Intelligence-kompatiblen Apple-Geräten. Wenn 50 % dieser Geräte die OpenAI-Modelle nutzen würden (und sei es nur zum Ausprobieren), wären das etwa 64,5 Millionen Geräte. Wenn jede dieser Anfragen einen ähnlichen Aufwand verursacht wie aktuelle ChatGPT-Anfragen, könnte dies zu einer erheblichen Steigerung der täglichen Betriebskosten führen. Bei den aktuellen Kosten von 0,12 US-Dollar pro Nutzer pro Monat würden zusätzliche 64,5 Millionen Nutzer die monatlichen Betriebskosten um etwa 7,74 Millionen US-Dollar erhöhen. Die Integration von Apple könnte zwar die OpenAI-Abonnentenzahlen und somit die Einnahmen von OpenAI erhöhen, jedoch auch die Herausforderungen im Hinblick auf die Skalierbarkeit und die Kosteneffizienz verschärfen. Erst recht wenn es einen „Rollout“ von Apple Intelligence außerhalb der USA gibt. Zumal die Zunahme nicht gestaffelt organisch, sondern „in Mengen“ über die Rechenzentren einbrechen wird.

Die technische Integration von Apple-Anfragen könnte erhebliche zusätzliche Ressourcen bei OpenAI erfordern. Eine genaue Schätzung der Kosten und technischen Anforderungen ist notwendig, um die finanziellen Implikationen vollständig zu verstehen. Auch wenn die realen Zahlen vielleicht komplett anders sind, sollte dieses Rechenbeispiel zeigen, vor welchen Herausforderungen OpenAI steht, wenn diese Annahmen eintreffen würden.

OpenAI könnte verschiedene Strategien zur Bewältigung der finanziellen Herausforderungen verfolgen. Eine mögliche Maßnahme wäre die Einführung neuer kostenpflichtiger Funktionen oder Abonnementmodelle zur Steigerung der Einnahmen. Zudem könnte OpenAI Partnerschaften mit anderen Technologieunternehmen eingehen, um die Last der Betriebskosten zu teilen und von Synergien zu profitieren. Die Sicherung zusätzlicher Finanzierungen von Investoren wäre zur Überbrückung finanzieller Engpässe ebenfalls eine Option.

Fazit

Zusammenfassend lässt sich sagen, dass Auswirkungen auf die Marktbegleiter wie OpenAI mit großen finanziellen Herausforderungen verbunden sind, die durch hohe Betriebskosten, einen Rückgang der Nutzerbasis und intensiven Wettbewerb verschärft und durch Apple Intelligence an ihr Maximum getrieben werden. Die kommenden Monate werden zeigen, ob das OpenAI die finanzielle Unterstützung aufrechterhalten kann und wie es seine Geschäftsstrategie anpassen wird, um langfristig nachhaltig zu bleiben. Es wird damit deutlich, dass selbst Apple (auch wenn hier nichts angekündigt wurde) über Geldflüsse für seine eigenen Infrastrukturen nachdenken muss. Doch stehen ebenso Unternehmen vor Herausforderungen, um zukünftig das Bestmögliche aus der Technologie zu nutzen. In meinem Seminar werden wir gemeinsam einen Blick darauf werfen sowie auf die anderen Neuerungen in der Administration, dem Datenschutz und der Informationssicherheit der mobilen Flotte von Apple (iOS , iPadOS, visionOS, WatchOS).

Quellen

https://support.apple.com/de-de/guide/deployment/dep28afbde6a/web

https://security.apple.com/blog/private-cloud-compute/

https://machinelearning.apple.com/research/introducing-apple-foundation-models

https://support.apple.com/en-us/119829

https://github.com/apple/axlearn

https://9to5mac.com/2024/06/18/audio-transcription-in-ios-18-how-to/?utm_source=dlvr.it&utm_medium=linkedin