Bruke Metas smarte briller med AI og LLM for Doxing Strangers

Metas siste augmented reality (AR)-briller, kalt Orion, kan ha fått betydelig oppmerksomhet den siste uken, men et prosjekt initiert av to Harvard-studenter setter i gang diskusjonene rundt Metas Ray-Ban Smart Glasses.

Ray-Ban Meta Smart-brillene er utstyrt med et høyoppløsningskamera (HD) og en integrert høyttaler, slik at brukerne kan nyte en håndfri digital opplevelse. Med disse brillene kan brukere ringe, lytte til musikk og ta eller livestreame bilder og videoer sømløst.

En demonstrasjon laget av studentene AnhPhu Nguyen og Caine Ardayfio avslører hvordan videoopptakene fra brillene, kombinert med ansiktsgjenkjenningsteknologi, potensielt kan avsløre privat informasjon om fremmede i offentlige rom. Til tross for at den underliggende teknologien har vært tilgjengelig i årevis, fremkaller denne demoen en følelse av ubehag, spesielt ettersom mange mennesker var uvitende om hvor lett tilgjengelig slik teknologi er for den gjennomsnittlige sivile. Dette har ført til at mange brukere har stemplet teknologien som dystopisk, noe som gjenspeiler måten mange så for seg den. Likevel er det en realitet for øyeblikket.

Nguyen la ut en video på X (tidligere Twitter) som viser frem teknologien, kalt I-XRAY, i aksjon.

Er vi klare for en verden der dataene våre blir eksponert på et øyeblikk? @CaineArdayfio og jeg tilbyr et svar for å beskytte deg selv her: https://t.co/LhxModhDpk
pic.twitter.com/Oo35TxBNtD

— AnhPhu Nguyen (@AnhPhuNguyen1) 30. september 2024

Denne teknologien bruker kameraet på brillene til å livestreame video til Instagram-kontoen deres. De har programmert en dataapplikasjon for å overvåke strømmen og bruke AI til å identifisere ansikter.

Når et ansikt er gjenkjent, behandles det gjennom ansiktsgjenkjenningstjenester som PimEyes, som tilsvarende matcher bildet med offentlig tilgjengelige bilder av individet på nettet. Disse bildene blir deretter analysert ved hjelp av store språkmodeller (LLM) for å trekke ut informasjon som personens navn, yrke og mer. Disse dataene kan deretter kryssreferanser med offentlig tilgjengelige databaser for å avdekke telefonnumre og til og med delvis personnummer.

Som tidligere nevnt, har nesten all teknologien brukt i I-XRAY vært tilgjengelig i årevis, inkludert kameraer, ansiktsgjenkjenningsverktøy som PimEyes og databaser som FastPeopleSearch og Cloaked.com.

Det som øker den urovekkende karakteren til denne demonstrasjonen er den upåfallende og umiddelbare måten den fungerer på. Ray-Ban Meta-brillene 2 i videoen ligner standardbriller, og selv om de har en personvernindikator for når videoopptak er aktivt, kan det være utfordrende å legge merke til det i sterkt opplyste utendørsmiljøer. Følgelig kan en person som bruker disse brillene ta opp deg uten at du vet det.

Dessuten forverrer den autonome karakteren til informasjonsinnsamlingen uroen. De involverte LLM-ene kan avdekke detaljer som navn og personlig informasjon fra ulike nettkilder automatisk, uten menneskelig involvering. Videoen illustrerer disse studentene som doxer et individ på gaten, og bruker tilfeldig innsamlet informasjon for å late som om de hadde møttes på en fellesskapsfunksjon.

Den primære intensjonen bak dette prosjektet er å synliggjøre hvor uanstrengt fremmede kan få tilgang til personlig informasjon i dagens digitale landskap. Studentduoen har valgt å ikke gi ut noen kode offentlig, men har delt metoder for enkeltpersoner for å beskytte sitt privatliv. Mange av disse databasene tilbyr gratis tjenester for å fjerne personlig informasjon. Det er imidlertid fortsatt en vanskelig oppgave å eliminere din online tilstedeværelse helt. Med disse tiltakene kan du forsøke å gjøre informasjonen din litt mindre tilgjengelig.