Glossar

Intelligence System

Ein intelligentes System ist eine Maschine mit einem eingebetteten, mit dem Internet verbundenen Computer, der in der Lage ist, Daten zu sammeln und zu analysieren und mit anderen Systemen zu kommunizieren.

KI – Künstliche Intelligenz

Künstliche Intelligenz (KI; engl. Artificial Intelligence, AI) ist die Basis, auf der menschliche Intelligenz nachgeahmt wird. Zu diesem Zweck werden Algorithmen erstellt, angewendet und in eine dynamische Computing-Umgebung integriert. Einfach ausgedrückt ist KI der Versuch, Computer zu menschlichen Denk- und Verhaltensweisen zu veranlassen.

https://www.netapp.com/de/artificial-intelligence/what-is-artificial-intelligence/

Worldwide Developers Conference (WWDC)

Von Apple selbst organisierte Veranstaltung in Kalifornien; jährlich vorkommend.
Ausrichtung vorwiegend an Software-Entwickler

https://developer.apple.com/wwdc24/

Generative Modelle (KI)

Als generative KI werden Modelle der künstlichen Intelligenz bezeichnet, die darauf ausgelegt sind, neue Inhalte in Form von geschriebenem Text, Audio, Bildern oder Videos zu erzeugen. Die Anwendungsmöglichkeiten dieser Modelle sind breit gefächert. Mit generativer KI können Sie eine Kurzgeschichte im Stil einer bestimmten Autorin verfassen, ein realistisches Bild einer fiktiven Person erzeugen, eine Symphonie im Stil eines berühmten Komponisten komponieren oder auf Grundlage einer einfachen Textbeschreibung einen Videoclip erstellen.

https://www.sap.com/germany/products/artificial-intelligence/what-is-generative-ai.html

Pre-Normalisierung (Prenormalization)

Das Data Pre-processing ist ein entscheidender Schritt in jedem Datenanalyse- oder Machine Learning-Projekt. Dabei werden die Rohdaten für die Analyse vorbereitet, indem sie bereinigt, transformiert und integriert werden. Das Ziel des Data Preprocessings ist es, sicherzustellen, dass die Daten von hoher Qualität, konsistent und im richtigen Format für die Analyse sind. In diesem Artikel werden wir die Bedeutung des Data Pre-processings und die einzelnen Schritte dieses Prozesses erörtern.

https://databasecamp.de/daten/data-preprocessing

RMSNorm (Root Mean Square Normalization)

RMSNorm reguliert die summierten Eingaben an ein Neuron in einer Schicht nach dem quadratischen Mittelwert (RMS) und verleiht dem Modell die Eigenschaft der Re-Skalierungsinvarianz und die Fähigkeit zur impliziten Anpassung der Lernrate. RMSNorm ist rechnerisch einfacher und daher effizienter als LayerNorm.

https://paperswithcode.com/method/rmsnorm (englisch)

Grouped-Query-Attention

Grouped Query Attention vereinfacht die Art und Weise, wie LLMs (Large Language Models) große Mengen an Text verstehen, indem sie ähnliche Teile zusammenfassen. Dadurch wird das Modell schneller und intelligenter, da es sich auf Wortgruppen gleichzeitig konzentrieren kann, anstatt auf jedes einzelne Wort.

https://klu.ai/glossary/grouped-query-attention (englisch)

KV – Cache (Key and Value Cache)

Der KV-Zwischenspeicher wird verwendet, um den Kontext früherer Token zu speichern, der für das Modell erforderlich ist, um neue Ausgabe-Token in einer Sequenz zu erzeugen. Im Wesentlichen enthält er die Informationen, die das Modell verwendet, um die bisher verarbeitete Sequenz zu verstehen und das nächste Token vorherzusagen

https://training.continuumlabs.ai/inference/why-is-inference-important/key-value-cache

SwiGLU-Aktivierung

SwiGLU (Swish-Gated Linear Unit) ist eine neuartige Aktivierungsfunktion, die die Vorteile der Swish-Aktivierungsfunktion und der Gated Linear Unit (GLU) kombiniert. Diese Aktivierungsfunktion wurde 2019 in einer Arbeit von Forschern der Universität Kopenhagen vorgeschlagen und hat seitdem in der Deep-Learning-Community an Popularität gewonnen.

https://www.ai-contentlab.com/2023/03/swishglu-activation-function.html (englisch)

RoPE-Positions-Einbettungen

Die rotierende Positionseinbettung (Rotary Position Embedding, RoPE) ist eine Art der Positionseinbettung, die absolute Positionsinformationen mit einer Rotationsmatrix kodiert und natürlich eine explizite relative Positionsabhängigkeit in die Formulierung der Selbstbehauptung einbezieht. RoPE verfügt über wertvolle Eigenschaften, wie z. B. Flexibilität bei der Erweiterung auf beliebige Sequenzlängen, abnehmende Inter-Token-Abhängigkeit bei zunehmenden relativen Abständen und die Möglichkeit, die lineare Selbstbehauptung mit einer relativen Positionskodierung auszustatten.

https://paperswithcode.com/method/rope (englisch)

Open-Source

Open Source ist ein Begriff, der ursprünglich auf Open Source-Software (OSS) zurückgeht. Es handelt sich dabei um Code, der der Öffentlichkeit zugänglich ist, das heißt, jeder kann ihn anzeigen sowie nach Belieben verändern und verteilen.

https://www.redhat.com/de/topics/open-source/what-is-open-source

Webcrawler

Ein Webcrawler oder Spider ist eine Art von Bot, der in der Regel von Suchmaschinen wie Google und Bing genutzt wird. Sie dienen dazu, den Inhalt von Websites im gesamten Internet zu indexieren, damit diese Websites in den Suchmaschinenergebnissen aufgeführt werden können.

https://www.cloudflare.com/de-de/learning/bots/what-is-a-web-crawler/

Safari-Reader (Apple)

Safari Reader dient dazu, eine Seite ohne Werbeanzeigen, Navigationsmenüs und andere ablenkende Inhalte ansehen zu können.

https://support.apple.com/de-de/guide/ipad/ipad0669fc3c/ipados

Cloud-TPU-Cluster (Cloud Tensor Processing Unit)

Cloud TPUs optimieren Leistung und Kosten für alle AI-Arbeitslasten vom Training bis zur Inferenz. Mit der erstklassigen Infrastruktur von Rechenzentren bieten TPUs hohe Zuverlässigkeit, Verfügbarkeit und Sicherheit.

https://cloud.google.com/tpu?hl=de

Supervised Fine-Tuning (SFT)

Die überwachte Feinabstimmung (SFT) ist eine Technik zur Anpassung eines vortrainierten (Basis-)Large Language Model (LLM) an eine bestimmte nachgelagerte Aufgabe unter Verwendung von gelabelten Daten. Die meisten der im Jahr 2024 verwendeten LLMs sind auf Chat- oder anweisungsbasierte Interaktionen abgestimmt.

https://klu.ai/glossary/supervised-fine-tuning (englisch)

Reinforcement Learning from Human Feedback (RLHF)

Bestärkendes Lernen durch menschliches Feedback (Reinforcement Learning from Human Feedback, RLHF) ist eine Technik des maschinellen Lernens, bei der ein „Belohnungsmodell“ durch direktes menschliches Feedback trainiert und dann zur Optimierung der Leistung eines Agenten der künstlichen Intelligenz durch bestärkendes Lernen verwendet wird.

https://www.ibm.com/de-de/topics/rlhf

Iterative Teaching Committee (iTeC)

Ein von Apple Intelligence verwendeter Algorithmus zur Feinabstimmung.

https://arxiv.org/html/2407.21075v1 (englisch)

Mirror Descent Policy Optimization (MDLOO)

Mirror Descent Policy Optimization (MDPO) ist ein Policy-Gradienten-Algorithmus, der auf der Idee basiert, iterativ ein Vertrauensbereichsproblem zu lösen, das eine Summe von zwei Termen minimiert: eine Linearisierung der Standard-RL-Zielfunktion und ein Proximity-Term, der zwei aufeinanderfolgende Aktualisierungen darauf beschränkt, nahe beieinander zu liegen. Es basiert auf dem Mirror Descent, einer allgemeinen Methode, die versucht, aufeinanderfolgende Iterate nahe beieinander zu halten.

https://paperswithcode.com/method/mdpo (englisch)

Mobile Device Management (MDM)

Mobile-Device-Management heißt übersetzt Verwaltung mobiler Endgeräte wie Smartphones, Notebooks oder Tablets. Oftmals wird dieser Begriff als MDM abgekürzt. MDM umfasst die Inventarisierung und zentrale Verwaltung von Mobilgeräten, die in einem Unternehmen und zu beruflichen Zwecken im Einsatz sind, sowie die Verteilung von Software, den Schutz der darauf abgelegten Daten sowie die drahtlose Netzanbindung mobiler Endgeräte.

Mobile-Device-Management-Lösungen ermöglichen diese kontrollierte, sichere und zentrale Verwaltung und Einbindung mobiler Endgeräte in Netzwerke – am Arbeitsplatz ins Unternehmensnetzwerk, unterwegs oder im Home Office in fremde Netzwerke, beispielsweise mittels WLAN. Aus wirtschaftlicher Sicht kann die Erreichbarkeit von Beratern durch die Nutzung mobiler Endgeräte für Unternehmenszwecke von Vorteil sein.

https://it-service.network/it-lexikon/mobile-device-management-mdm/

GPU (Graphics Processing Unit)

Ein Grafikprozessor – auf Englisch Graphics Processing Unit (GPU) – ist ein Computerchip, der mathematische Berechnungen besonders schnell durchführt, in erster Linie zum Zweck der Bildwiedergabe. In den Anfängen der Informatik führte der Hauptprozessor (CPU) diese Berechnungen selbst durch. Als jedoch grafikintensivere Anwendungen wie AutoCAD entwickelt wurden, überlasteten deren Anforderungen die CPU und verschlechterten die Leistung. GPUs wurden erfunden, um diese Aufgaben zu übernehmen und Rechenleistung freizusetzen.

https://www.computerweekly.com/de/definition/GPU-Graphics-Processing-Unit-Grafikprozessor