En utvidgning av Metaios patent som tilldelades Apple efter förvärvet av företaget 2015, Apples nya patentansökan som publicerades på torsdag av USA: s Patent and Trademark Office (USPTO) beskriver potentiella applikationer för förstärkt verklighet samtidigt som man illustrerar en ryktad huvudmonterad skärm Apple sägs arbeta med.
Med titeln "Metod för att representera intressanta punkter i en bild av en verklig miljö på en mobil enhet och mobil enhet för detta" skulle uppfinningen förbättra dagens tvådimensionella kartor genom att lägga till förstärkta verklighetspunkter av intresse för mixen.
Att förbättra användarens verkliga värld genom att lägga över datorbilder av närliggande intressanta platser ovanför live kamera-flöde skulle göra en fin ARKit-driven kart-app. Detta kan lätt åstadkommas genom att smälta högupplösta data från kamerasensorn med information om geolokalisering från GPS, kompass och andra ombordssensorer..
Genom att använda data från latitud, longitud och höjdssensor kan en iPhone eller iPad kunna räkna ut sin position och rubrik relativt omgivningen, vilket gör att systemet kan lägga över interaktiva markörer på rätt plats ovanpå den tagna bilden.
Som vi har sett med ARKits pålitliga och galna exakta spårning, kan POI-kommentarer exakt följa användarrörelser och låta dem förbli förankrade i de verkliga föremålen. Systemet skulle till och med fungera om en användare höll enheten vinklad mot marken genom att använda ett ballonggränssnitt för att ansluta intressepunkter till sina verkliga motsvarigheter.
Och om en användare vinklar sin enhet mot marken bortom en viss tröskel skulle vyn byta till en tydlig listvy över intressanta punkter. Uppfinningen är särskilt användbar när man använder en huvudmonterad display innefattande kameran och skärmen.
Från Apples patentbeskrivning:
Till exempel är den huvudmonterade skärmen en video-genomskinlig huvudmonterad display. Det är vanligtvis inte möjligt för användaren att röra vid den huvudmonterade skärmen på ett sätt som en pekskärm.
Men kameran som tar en bild av den verkliga miljön kan också användas för att upptäcka bildpositioner för användarens finger i bilden. Bildpositionerna för användarens finger kan motsvara beröringspunkter som berörs av användarens finger på pekskärmen.
I patentansökan nämns faktiskt båda tillvägagångssätten: förstärkt verklighet för smarttelefoner och en hybridlösning som skulle göra AR-bilder på både din telefon och headset, med en iPhone som fungerar som en interaktiv kontroller för scenen du ser genom headsetet.
"Mobilenheten kan utföra en åtgärd relaterad till minst en intressepunkt om åtminstone en del av det datorgenererade virtuella objektet som blandas in på den halvtransparenta skärmen överlappas av en användares finger eller enhet som innehas av användaren," noterar Apple.
Uppfinningen inlämnades först i april 2017 och krediterar ingenjörerna Anton Fedosov, Stefan Misslinger och Peter Meier som dess uppfinnare.
