Iryss en app som använder Machine Learning för att identifiera objekt

Det finns otaliga nya funktioner att dra nytta av i iOS 11, men många av dem ligger under huven i form av API: er och kräver App Store-appar för att få full effekt.

Iryss är en ny app utvecklad av Florian Hebrard, bättre känd av jailbreak-gruppen som Ziph0n, som utnyttjar Apples helt nya CoreML (Machine Learning) API för att känna igen objekt runt dig i realtid.

Att använda Iryss är lika enkelt som att peka din kamera mot något. Inom bara millisekunder gissar appen vad objektet i ramen är med text på skärmen. Alternativt kan du konfigurera appen för att meddela objektdetekteringar högt.

Iryss kan känna igen både animerade och livlösa föremål. När det gäller djur är appen smart nog att skilja mellan vanliga raser eller arter.

Det finns ett par inställningar som du kan konfigurera i Iryss-appen så att det fungerar som du vill:

Här kan du tvinga appen att meddela vad den upptäcker högt snarare än att bara visa den som text, och du kan också aktivera haptisk feedback för att indikera framgångsrik objektidentifiering. Eftersom appen stöds av annonser kommer du också att hitta ett köp i appen i det här inställningsfönstret för att köpa ut annonserna.

Så hur bra fungerar appen? Det är okej, men inte perfekt. Kanske oftare än du kanske gillar, kommer appen felaktigt att identifiera ett objekt som något det inte är. Som ett gott exempel upptäcks denna gumballmaskin som en "pillerflaska", troligtvis på grund av de färgade prickarna inuti:

En sak som jag tyckte vara ett betydande hinder för appens funktionalitet är dåliga fotografiska förhållanden. För att säkerställa att du får de mest exakta avläsningarna rekommenderar jag att du har de bästa belysningsförhållandena som möjligt och att du är tillräckligt långt borta från ett föremål att det hela är i ramen.

Utvecklaren säger att även om detektering av objekt inte kan vara rätt hela tiden kan det alltid förbättras. Tack vare hur enkelt Machine Learning gör det för utvecklare att skapa appar av den här typen bör regelbundna uppdateringar av Iryss kunna förbättra dess noggrannhet över tid.

Iryss verkar verkligen gimmicky för de flesta användare vid första anblicken, men utanför mitt huvud kan jag tänka på minst två användningsområden i den verkliga världen där appen kan vara till hjälp, till exempel:

  1. När någon är svår att se och behöver iPhone för att se för dem, kan Iryss göra röstdrivna meddelanden för att berätta för personen vad som är runt dem.
  2. När föräldrar vill underlätta föremål / namninlärning för sitt barn i ung ålder, kan barnet leka med Iryss för att lära sig om föremålen omkring dem och vad de heter.

För andra användare är Iryss egentligen bara ett bevis på koncept-app som du kan leka med för skojs skull.

Om du är intresserad av att prova Iryss själv är det en gratis nedladdning från App Store. Det är ett bra sätt att se vad Machine Learning kan i iOS 11, och du kan förvänta dig att detta API kommer att göra många andra otroliga appar möjliga i framtiden.

Gillar du konceptet bakom Iryss? Dela dina tankar i kommentarerna nedan.