Siri soll mitlesen

- Onscreen Awareness: Siri soll iPhone-Bildschirminhalte lesen und kontextbasiert helfen
- Privatsphäre: Bildschirminhalte werden nur auf Nutzerwunsch und lokal verarbeitet
- API für Entwickler: Ab iOS 18.2 können Apps für Onscreen Awareness vorbereitet werden

Apple bereitet mit dem kommenden iOS 18.2 Update die Einführung der „Onscreen Awareness“ vor, einer Funktion, die Siri und Apple Intelligence ermöglichen soll, den Inhalt des Bildschirms zu erkennen und kontextualisierte Unterstützung zu bieten. Die Funktion wird vor allem das Nutzererlebnis verbessern, da Siri nun nicht nur auf gesprochene Befehle reagiert, sondern auch in der Lage ist, auf Bildschirminhalte einzugehen, sobald der Nutzer dies verlangt. Eine wichtige Voraussetzung dafür ist, dass Apps auf die neue API vorbereitet werden, die mit iOS 18.2 zur Verfügung steht.

Die Onscreen Awareness Funktion wird jedoch strikt datenschutzorientiert umgesetzt. Siri kann Inhalte nur auslesen, wenn der Nutzer aktiv eine entsprechende Anfrage stellt oder eine Aktion durchführen möchte. Dies könnte beispielsweise das Zusammenfassen von Webseiteninhalten oder das Beschreiben eines Bildes umfassen. Die Verarbeitung der Daten erfolgt vermutlich lokal auf dem Gerät, jedoch ist noch unklar, ob auch Apple’s Private Cloud Compute zur Anwendung kommt.

Ein weiteres Feature ermöglicht es, Bildschirmfotos oder Dokumente an ChatGPT zu senden, um etwa Bildbeschreibungen zu erhalten oder PDFs zu analysieren. Auch hier erfolgt eine explizite Nachfrage an den Nutzer, bevor Daten weitergegeben werden. Für Entwickler gibt es ein spezielles App-Intents-Framework, das sicherstellt, dass Apps auf die neuen Funktionen vorbereitet werden können. Es ist jedoch zu erwarten, dass nicht alle Apps die neue Funktion sofort unterstützen werden.