Mit Google Lens ab sofort auch Videos via Sprachbefehl durchsuchen!
Mit Google Lens hat uns Mountain View eine mächtige App im Oktober 2017 zur Seite gestellt, die seither stetig verbessert wird. Die für Android und iOS verfügbare Bilderkennungssoftware hat nun ein erneutes Update erhalten. Mit diesem lassen sich ab sofort nicht nur Bilder und Texte analysieren, sondern auch Video-Inhalte. Und das sogar via Sprachbefehl.
Google Lens jetzt auch mit Videosuche
Im Mai dieses Jahres hat Google auf der Entwicklerkonferenz I/O 2024 eine spannende Neuerung für Google Lens angekündigt: die Integration von Sprach- und Videosuchfunktionen. Inzwischen beginnt das Unternehmen, diese Funktionen in Google Lens zu implementieren. Nutzer können künftig einfach durch langes Drücken des Auslösers und das Stellen einer Frage per Stimme eine Suche durchführen. Dies macht den gesamten Suchprozess noch einfacher und intuitiver.
Besonders interessant ist die neue Videosuchfunktion, die auf einem maßgeschneiderten Gemini-Modell basiert. Google rollt diese Funktion derzeit über Search Labs sowohl für Android als auch für iOS aus. Allerdings ist die Sprachsuchfunktion in Google Lens momentan nur für englische Suchanfragen verfügbar.
Die Videosuchfunktion erlaubt es, eine KI-gestützte Zusammenfassung sowie relevante Suchergebnisse basierend auf dem Inhalt des angezeigten Videos und der gestellten Frage zu erhalten. In einem Vorschauvideo, das auf der Google I/O 2024 gezeigt wurde, demonstrierte Google die Funktionsweise anhand eines Beispiels.
Beispiel vor einem Aquarium
Eine Person, die vor einem Aquarium neugierig auf die Fische ist, richtet das Smartphone auf das Exponat, öffnet die Google-Lens-App und hält den Auslöser-Button gedrückt. Sobald der Nutzer den Button gedrückt hält, startet die Aufnahme und man kann gezielte Fragen stellen, die mit dem Gezeigten in Verbindung stehen. In dem Beispiel folgte dann die Frage „Warum die Fische zusammen schwimmen?“ und Google Lens generiert basierend auf dem Gemini-Modell eine umfassende Antwort, wie in der folgenden Animation von Google zu sehen ist.
Diese neue Funktion, Videos als Ausgangspunkt für Suchanfragen zu nutzen, erweitert die Möglichkeiten von Google Lens erheblich. Nutzer können nun Videos zeigen, um Fragen über Bewegungen von Objekten zu stellen, was die Nützlichkeit von Google Lens in vielen Situationen deutlich erhöht. Um von dieser Innovation Gebrauch zu machen, können Interessierte am Experiment „KI-Übersichten und mehr“ in den Search Labs teilnehmen.
Und so funktioniert die Videosuche in Google Lens
Für diejenigen, die sich fragen, wie diese Technologie funktioniert, gab Rajan Patel, Vice President of Engineering bei Google, eine aufschlussreiche Erklärung gegenüber The Verge. Laut Patel behandelt Google das Video als eine Abfolge von Bildern und wendet dabei die gleichen Computer-Vision-Techniken an, die bereits in Lens zum Einsatz kommen. Darüber hinaus greift das speziell entwickelte Gemini-Modell auf die Inhalte mehrerer aufeinanderfolgender Frames zurück, um ein tieferes Verständnis des Geschehens zu erlangen. Sobald die Frames verarbeitet wurden, nutzt das Modell relevante Informationen aus dem Web, um die bestmögliche Antwort auf die gestellte Frage zu generieren.
Übrigens: Ein ähnliches Feature ist bereits jetzt in den Google Pixel 9 Smartphones verfügbar. Dort kann man immerhin Fragen zum Inhalt von YouTube Videos stellen, die von Gemini beantwortet werden. Wir gehen darauf in unserem Test ein:
- hochwertiges Design mit angenehmer Haptik
- brillantes Display mit hoher Helligkeit (2500 Lux)
- sehr gute Kameraleistung
- lange und regelmäßige Software-Updates (7 Jahre)
- einige KI-Funktionen im System
- IP68-zertifiziert (wasserdicht)
- viel zu wenig Leistung für ein Flagship
- weiterer Leistungseinbruch unter Volllast
- Displayränder breiter als bei Konkurrenzgeräten
- kein Anti-Flimmer-Modus und nur 240Hz PWM
- mangelnde Schärfe bei Videos
- langsame Ladegeschwindigkeit (nur 37W)
- Akkuverbrauch bei Dual-SIM Nutzung zu hoch
- System mit wenigen Einstellungsmöglichkeiten
- 128GB Speicherversion nicht zeitgemäß
- kein Lieferumfang
Derzeit ist Google Lens noch nicht in der Lage, auf die im Video aufgezeichneten Geräusche zu reagieren. Mountain View arbeitet jedoch daran, die Audioerkennung in zukünftigen Updates zu integrieren. Mit dieser Erweiterung könnten Nutzer dann beispielsweise Vögel anhand ihres Gesangs oder andere Objekte durch ihre charakteristischen Geräusche identifizieren.
- 1 Google
- 2 via The Verge
Das könnte dich auch interessieren
Newsletter bestellen
Hol Dir die neuesten Infos zu Chinahandys und Gadgets direkt ins Postfach!
Alle News Updates über Telegram.
