Was macht eine Berühmtheit aus wie eine Berühmtheit? | 2020

Inhaltsverzeichnis:

Anonim

Warum? Ist es sein Aussehen? Seine Manierismen? Wie bewegt er sich?

Forscher der University of Washington haben gezeigt, dass es mit Algorithmen für maschinelles Lernen möglich ist, die "Persona" zu erfassen und aus der Vielzahl der im Internet verfügbaren Bilder ein digitales Modell einer gut fotografierten Person wie Tom Hanks zu erstellen.

Mit genügend visuellen Daten können die Algorithmen auch das digitale Modell von Tom Hanks animieren, um Reden zu liefern, die der echte Schauspieler nie aufgeführt hat.

"Eine Antwort auf das, was Tom Hanks aussehen lässt, kann mit einem Computersystem demonstriert werden, das das nachahmt, was Tom Hanks tun wird", sagte der leitende Autor Supasorn Suwajanakorn, ein UW-Absolvent in Informatik und Ingenieurwesen.

Die Technologie basiert auf Fortschritten bei der 3D-Gesichtsrekonstruktion, Verfolgung, Ausrichtung, Mehrfachtextur-Modellierung und dem Puppenspiel, die in den letzten fünf Jahren von einer Forschungsgruppe unter der Leitung von Ira Kemelmacher-Shlizerman, Assistenzprofessor für Informatik und Ingenieurwissenschaften, entwickelt wurden. Die neuen Ergebnisse werden in einem Vortrag auf der Internationalen Konferenz für Computer Vision in Chile am 16. Dezember vorgestellt.

Wie dieses Video zeigt (http://www.youtube.com/watch?v=86wXbwvmnWM&feature=youtu.be), umfassen die neuesten Fortschritte des Teams die Fähigkeit, Ausdrücke zu übertragen und die Art und Weise, wie eine bestimmte Person auf das Gesicht einer anderen Person spricht. - Zum Beispiel, indem die Manierismen des ehemaligen Präsidenten George W. Bush auf die Gesichter anderer Politiker und Prominenter übertragen werden.

Dies ist ein Schritt in Richtung eines großen Ziels, das die UW-Computer-Vision-Forscher teilen: die Erstellung vollständig interaktiver, dreidimensionaler digitaler Persönlichkeiten aus Familienfotoalben und -videos, historischen Sammlungen oder anderen vorhandenen visuellen Darstellungen.

Während sich Technologien für virtuelle und erweiterte Realität entwickeln, stellen sie sich vor, mithilfe von Familienfotos und -videos ein interaktives Modell eines im Ausland lebenden Verwandten oder eines weit entfernten Großelternteils zu erstellen, anstatt einfach nur in zwei Dimensionen zu skypen.

"Vielleicht können Sie eines Tages eine Augmented-Reality-Brille aufsetzen, und auf der Couch liegt ein 3-D-Modell Ihrer Mutter", sagte der Senior-Autor Kemelmacher-Shlizerman. "Eine solche Technologie gibt es noch nicht - die Display-Technologie schreitet sehr schnell voran - aber wie erschafft man seine Mutter tatsächlich in drei Dimensionen?"

Eines Tages könnte die Rekonstruktionstechnologie noch einen Schritt weiter gehen, sagen Forscher.

"Stellen Sie sich vor, Sie könnten sich mit jemandem unterhalten, den Sie nicht persönlich treffen können - LeBron James, Barack Obama, Charlie Chaplin - und mit ihnen interagieren", sagte Co-Autor Steve Seitz, UW-Professor für Informatik und Technik. "Wir versuchen, durch eine Reihe von Forschungsschritten dorthin zu gelangen. Einer der wahren Tests besteht darin, dass sie Dinge sagen, die sie nicht gesagt haben, aber es fühlt sich immer noch so an wie sie? In diesem Artikel wird diese Fähigkeit demonstriert."

Bestehende Technologien zur Erstellung detaillierter dreidimensionaler Hologramme oder digitaler Filmcharaktere wie Benjamin Button beruhen häufig darauf, dass eine Person in ein aufwändiges Studio gebracht wird. Sie erfassen akribisch jeden Winkel der Person und die Art, wie sie sich bewegen - etwas, was in einem Wohnzimmer nicht möglich ist.

Andere Ansätze erfordern immer noch, dass eine Person von einer Kamera gescannt wird, um grundlegende Avatare für Videospiele oder andere virtuelle Umgebungen zu erstellen. Aber die UW-Experten für Computer Vision wollten eine Person nur auf der Grundlage einer zufälligen Sammlung vorhandener Bilder digital rekonstruieren.

Um Prominente wie Tom Hanks, Barack Obama und Daniel Craig zu rekonstruieren, haben die Algorithmen für maschinelles Lernen mindestens 200 Internetbilder erstellt, die im Laufe der Zeit in verschiedenen Szenarien und Posen aufgenommen wurden - ein Prozess, der als "Lernen in freier Wildbahn" bezeichnet wird.

"Wir fragten:" Können Sie Internetfotos oder Ihre persönliche Fotosammlung aufnehmen und ein Modell animieren, ohne dass diese Person mit einer Kamera interagiert? ", Sagte Kemelmacher-Shlizerman. "Im Laufe der Jahre haben wir Algorithmen entwickelt, die mit dieser Art von uneingeschränkten Daten arbeiten, was eine große Sache ist."

Wie dieses Video zeigt (http://www.youtube.com/watch?v=ladqJQLR2bA), hat Suwajanakorn kürzlich Techniken entwickelt, um ausdrucksabhängige Texturen zu erfassen - kleine Unterschiede, die auftreten, wenn eine Person lächelt oder verwirrt aussieht oder ihr oder bewegt ihr Mund zum Beispiel.

Durch die Manipulation der Lichtverhältnisse auf verschiedenen Fotografien entwickelte er einen neuen Ansatz, um die Unterschiede zwischen den Gesichtszügen und Gesichtsausdrücken einer Person auf das Gesicht einer anderen Person zu übertragen. Dieser Durchbruch ermöglicht es dem Team, das digitale Modell mit einem Video einer anderen Person zu "steuern" und möglicherweise eine Vielzahl neuer Animations- und Virtual-Reality-Anwendungen zu ermöglichen.

"Wie lässt sich die Leistung einer Person auf das Gesicht einer anderen Person übertragen, ohne ihre Identität zu verlieren?" sagte Seitz. "Das ist einer der interessanteren Aspekte dieser Arbeit. Wir haben gezeigt, dass Sie George Bushs Gesichtsausdrücke und Mund und Bewegungen haben können, aber es sieht immer noch wie George Clooney aus."

Der Bericht kann online unter folgender Adresse abgerufen werden: http://homes.cs.washington.edu/~kemelmi/puppetpaper.pdf