Volgens mij is daar wel een paar keer naar gerefereerd. ... ja dat gebeurt al veel langer. ... Hét grote verschil is dat er nu actief op jouw device wordt gescand. Je eigen privé telefoon...

Ja, dat is inderdaad een enge ontwikkeling.

En prachtig dat je het UIT kan zetten, maar je moet tegenwoordig wel èrg veel uitzetten wil je niet overal gevolgd worden, gescand worden, etc. Hoe denken we dat de gemiddelde telefoongebruiker dit nog gaat kunnen volgen?

Hoe denken we dat de gemiddelde telefoongebruiker dit nog gaat kunnen volgen?

Niet. Die zal de meeste settings op de defaults hebben staan.

Waar (bijna) iedereen aan voorbij gaat is dat dit 'scannen' van uploads op diverse plekken al jarenlang gebeurt.

Ja, én? Maakt het dan in één keer de zaak minder erg?
Zoals ik al zei: géén één dienst zou dit moeten (mogen) doen, behalve de toegewezen opsporingsdiensten.
En dat juist Apple het *ook* doet, vind ik extra kwalijk omdat je de Apple-tax hoort te betalen voor een verbetering van privacy en beveiliging; niet om allerlei achterdeurtjes te openen.

https://stratechery.com/2021/apples-mistake/

Discussie op HN

En het wordt dus al erger
https://www.macrumors.com/2021/08/09/apple-child-safety-features-third-party-apps/

Het zet de deur wagenwijd open voor uitbreiding naar andere apps, andere soorten 'content', andere situaties, etc.

Dus terwijl kwaadwillenden met hooguit een paar klikken wel andere manieren vinden om buiten schot te blijven van justitie, wordt de privacy en veiligheid van ons te grabbel gegooid. Wordt er moedwillig een achterdeur ingebouwd in de software, waarmee overheden (of anderen) toegang krijgen tot onze telefoons en wat daar op staat.

Ik voel me echt zo verraadden door Apple. Een paar jaar geleden was het nog van 'Sorry FBI we kunnen geen toegang geven tot de telefoon van deze terrorist', nu is het van 'hier heb je toegang tot de telefoons van iedereen'.

En doen die radio-buttons in de instellingen wel wat ze moeten doen ?

Het is niet de eerste keer dat er ontdekt wordt dat aan/uit niets uitmaakt en wordt afgedaan als een bugje…

Hoe denken we dat de gemiddelde telefoongebruiker dit nog gaat kunnen volgen?

De gemiddelde telefoongebruiker wil het helemaal niet volgen. Probeer de gemiddelde gebruiker maar eens te sensibiliseren voor zaken als privacy en verantwoord online-gedrag. Als je vijftien seconden de aandacht vast weet te houden, ben je een knappe jongen.

Iedere keer dat ik een nieuw artikel hierover, of een update bij een bestaand artikel, wil plaatsen zie ik dat puk1980 dat al gedaan heeft.

Lekker rustig zo... 

Dank puk1980 voor deze link. Fijn om te zien dat iemand die praktische ervaring heeft met perceptual hashes ook tot min of meer dezelfde conclusie komt: je hebt altijd collissions en het tunen van de juiste drempelwaarde wanneer foto's hetzelfde of verschillend zijn is geen exacte wetenschap, maar vereist handmatige tuning.

Nog meer leesvoer dat mijn eerdere onderbuikgevoel rondom collissions van perceptual hashes bevestigt:
https://towardsdatascience.com/black-box-attacks-on-perceptual-image-hashes-with-gans-cc1be11f277

Daar staat een methode beschreven hoe je uit de hashes weer plaatjes kunt genereren. Echte hashes zijn onomkeerbaar, maar juist door de specifieke eigenschap van perceptual hashes kun je dus ook plaatjes terugrekenen, door simpelweg een paar pixels te veranderen en te kijken wat het effect of de hash-distance is. Met slim proberen kom je zo steeds dichter bij het origineel.
Helemaal terug bij het origineel kom je wellicht niet, maar wel enigszins in de buurt, wat toch wel een herkenbaar resultaat oplevert. De voorbeelden op de link waren met weinig rekenkracht doorgerekend, het is aannemelijk dat je met meer rekenkracht of tijd betere resultaten krijgt.

Interessante juridische case:
- Het bezitten en verspreiden van kinderporno is strafbaar
- Apple plaatst een database met hashes van KP op je telefoon
- Uit die hashes zijn plaatjes te reconstrueren die eruit zien als de originele KP

Vragen:
- Is Apple nu strafbaar ivm verspreiden KP?
- Is een iPhone-bezitter nu strafbaar ivm bezitten KP?

(gelukkig ben ik geen jurist of rechter, ga er maar aan staan....)

Je kunt deze hele discussie ook van de andere kant bekijken. De bedoeling is dat hiermee kindermisbruik kan worden opgespoord en voorkomen kan worden, alsook dat kinderen hiertegen beschermd worden.

De vraag is dan hoe deze fotoscan daarbij gaat helpen.

- opsporen: Er wordt gescand tegen een database met bekende foto's van kindermisbruik. Wanneer het gebruikte algoritme een overeenkomst signaleert gaat een persoon de foto's bekijken.
Deze ziet dan de foto's van de database tussen de foto's van de gebruiker staan, wellicht zelfs foto's welke daar niet in voorkomen en toch als kindermisbruik beoordeeld kunnen worden. Dat is mooi omdat daarmee de bestaande database kan worden uitgebreid.
Het hangt daarbij wel af van de inzichten van de personen die deze foto's beoordelen; is het een familiekiekje of daadwerkelijk kindermisbruik of gewoon porno? Na deze eerste analyse worden betrokken instanties en justitie ingeschakeld welke ook nog eens de foto's beoordelen en nadat deze denken dat er wat aan de hand is mag een rechtbank in het land van de uploader van de foto's deze nog eens bekijken en beoordelen.

Voor pedoseksuelen zou dit een droombaan kunnen zijn; Legaal kindermisbruik bekijken en er nog voor betaalt krijgen ook! Voor alle anderen is dit een baan die je niet lang volhoudt en waar sommigen zelfs geestelijke problemen aan overhouden.

De kans dat je hiermee kindermisbruikers opspoort acht ik niet erg groot, om maar te zeggen vrijwel nihil. Deze lui gebruiken niet iCloud, DropBox of Google drive om hun materiaal te bewaren of uit te wisselen. Je komt zo alleen diegenen tegen die hier en daar een dergelijke foto in hun fotoalbum hebben staan. Hetzij bewust, hetzij per ongeluk.

Wie dat bewust doet denkt dat de instanties er toch niet achterkomen. Door de aankondiging van Apple en de hele discussie daaromheen is men nu wel gewaarschuwd. Het zou mij niet verbazen wanneer deze mensen subiet deze plaatjes van iCloud hebben verwijderd of zelfs hun account hebben afgesloten.

Bij wie dit per ongeluk is gebeurd is het niet interessant om tot vervolging over te gaan. Zodra er op gewezen is zal daar beter op gelet worden. Een veroordeling zal er niet op volgen, denk daarbij aan Joost Tonino van een aantal jaren geleden. Het zal doorgaans ook bekend materiaal betreffen. Kleine, onbelangrijke visjes dus.

- voorkomen: Niemand hoeft de illusie te hebben dat dit enig kindermisbruik zal voorkomen. De productie van dit materiaal vindt voor de volle 100% ondergronds plaats. Dit is trouwens slechts het topje van de ijsberg. Heel veel kindermisbruik vindt plaats zonder dat hier materiaal van gemaakt wordt. In het gezin, door famillie, kennissen e.d. Ook hier denk ik niet dat een pedo-netwerk iCloud e.d. zal gebruiken voor het verspreiden van het materiaal.

Foto's zijn niet het belangrijkste medium wat men tegenwoordig uitwisselt. Ik weet niet of Apple ook video's op de iCloud drive gaat scannen. Zo ja dan is privacy als hun verkoopargument vanzelfsprekend al helemaal van geen enkele waarde. Juist dit bezwaar is ook met betrekking tot de foto-scan al door heel veel mensen en instanties aangekaart.

- beschermen: Het beschermen van kinderen tegen het zien van pornografische afbeeldingen is ook een argument dat Apple aanvoert. Betreft dit alleen afbeeldingen van kindermisbruik of seksuele handelingen of naakte mensen? Dat is mij niet helemaal duidelijk. De vraag hier is of kinderen inderdaad tegen het zien van deze afbeeldingen beschermd moeten worden. Waarschijnlijk zijn de meningen daarover verdeeld. Veel mensen in Amerika zullen daar anders over denken dan Europeanen.

Dat je je kinderen wilt beschermen tegen het zien van foto's van kindermisbruik kan ik mij nog voorstellen, maar dat ze geen bloot mogen zien lijk mij juist niet zo gezond. Heel jonge kinderen valt naaktheid niet eens op en het is een deel van de opvoeding om oudere kinderen te leren omgaan met naakheid en seksualiteit. Het is niet een taak van Apple om daarin ouders te waarschuwen, temeer daar dit, zoals terecht wordt opgemerkt, een schending van de privacy van het kind is.

Apple heeft zich op deze wijze op zeer glad ijs begeven, waarbij de kans op het behalen van de doelstellingen zo klein is dat je, je al snel afvraagt wat de echte redenen voor deze aankondiging is. Is het een proefballonnetje om eens te zien hoe ze het (Amerikaanse) publiek kunnen paaien? Is het een rechtvaardiging om dit soort scansoftware te kunnen ontwikkelen en zo de hele AI afdeling op een hoger plan te brengen? Of is dit door een aantal medewerkers vanuit een onderbuikgevoel aangekaart en zijn de managers door de metoo hype meegesleept?

Ik weet het niet. Wel weet ik dat Apple hiermee zijn goede reputatie op het gebied van privacy te grabbel heeft gegooid. Met als enige positieve punt dat Apple er, in tegenstelling tot die andere giganten, volkomen open over is.

- Apple plaatst een database met hashes van KP op je telefoon
- Uit die hashes zijn plaatjes te reconstrueren die eruit zien als de originele KP

Als ik Apple mag geloven, zijn de oorspronkelijke image hashes niet zomaar beschikbaar, maar zijn ze 'blinded', o.m. door gebruik van elliptic curve cryptography, zodat je ze niet zomaar kan gebruiken om de oorspronkelijke plaatjes bij benadering te genereren. Welke juridische implicaties dit verder heeft laat ik aan anderen over.

Je kunt deze hele discussie ook van de andere kant bekijken. De bedoeling is dat hiermee kindermisbruik kan worden opgespoord en voorkomen kan worden, alsook dat kinderen hiertegen beschermd worden.

@Sluisje: complimenten voor jouw bijdrage.

De kans dat je hiermee kindermisbruikers opspoort acht ik niet erg groot, om maar te zeggen vrijwel nihil. Deze lui gebruiken niet iCloud, DropBox of Google drive om hun materiaal te bewaren of uit te wisselen. Je komt zo alleen diegenen tegen die hier en daar een dergelijke foto in hun fotoalbum hebben staan. Hetzij bewust, hetzij per ongeluk.

https://www.macfreak.nl/nieuwsberichten/hoe-groot-wordt-het-team-bij-apple-dat-kinderporno-gaat-beoordelen/

we daar onder andere kunnen zien hoeveel gevallen de ‘Electronic Service Providers’ rapporteren. Dat is voor Facebook over het jaar 2020 bijvoorbeeld ruim 20 miljoen en voor Google bijna 548 duizend.

Ik zou het erg fijn vinden als we dit soort onderwerpen alleen zouden bespreken op basis van feiten.

Hoezo @Anraadts ? Een mening hoeft geen feit te zijn en vele feiten zijn geen onderbouwde feiten. Maar zo’n mening kan toch ook verhelderend werken ?

Als we ons alleen op feiten gaan baseren kan MacFreak wel stoppen…

Volgens mij zijn ideeën nog steeds welkom, zolang ze aan de MF spelregels voldoen.

- opsporen: Er wordt gescand tegen een database met bekende foto's van kindermisbruik. Wanneer het gebruikte algoritme een overeenkomst signaleert gaat een persoon de foto's bekijken.
Deze ziet dan de foto's van de database tussen de foto's van de gebruiker staan, wellicht zelfs foto's welke daar niet in voorkomen en toch als kindermisbruik beoordeeld kunnen worden. Dat is mooi omdat daarmee de bestaande database kan worden uitgebreid.
Het hangt daarbij wel af van de inzichten van de personen die deze foto's beoordelen; is het een familiekiekje of daadwerkelijk kindermisbruik of gewoon porno? Na deze eerste analyse worden betrokken instanties en justitie ingeschakeld welke ook nog eens de foto's beoordelen en nadat deze denken dat er wat aan de hand is mag een rechtbank in het land van de uploader van de foto's deze nog eens bekijken en beoordelen.

Als ik het CSAM document van Apple en de FAQ goed interpreteer (maar het is soms onduidelijk) komen deze bijkomende (mogelijk bezwarende) foto's die niet automatisch herkend werden wellicht niet bij de CSAM teams binnen Apple terecht, ook al werden er andere wel herkend. Het zal dan vermoedelijk wachten worden op de vraag van een bevoegde juridische instantie om te onderzoeken of er nog bezwarend materiaal aanwezig is.

Als ik Apple mag geloven, zijn de oorspronkelijke image hashes niet zomaar beschikbaar, maar zijn ze 'blinded', o.m. door gebruik van elliptic curve cryptography, zodat je ze niet zomaar kan gebruiken om de oorspronkelijke plaatjes bij benadering te genereren. Welke juridische implicaties dit verder heeft laat ik aan anderen over.

Stevig stukje leesvoer, waar wél haarfijn in staat dat Apple echt zijn best doet om zaken zo goed mogelijk in te richten.
Jammer dat dit vanwege de complexiteit van de materie niet voor het grote publiek weggelegd is en de meeste mensen alleen horen "Apple bekijkt je foto's" (wat dus niet klopt).

De 'meeste mensen' begrijpen ook wel dat Apple geen China is, die zo wel even een paar honderdduizend mensen kan mobiliseren voor dit soort taken.
Maar het gaat helemaal niet om welke achterliggende techniek dan ook wordt gebruikt. Het gaat erom dat ze het überhaupt doen.

@anraadts

Ik denk niet dat deze aantallen rapportages gelijk zijn aan het aantal opgespoorde kindermisbruikers. Ik maak daarbij onderscheid tussen diegenen die seksuele handelingen met kinderen verrichten en wie alleen in het bezit is van dergelijke foto's.

Verder ken ik niet de criteria voor rapportage. Wel weet ik dat het algoritme van Facebook nog niet zo lang geleden die beroemde foto van de met napalm overdekte naakte kinderen in Vietnam als kinderporno kwalificeerde en verwijderde.

Ik wil uit de genoemde getallen dan ook niet dezelfde conclusie trekken als dat jij hier lijkt te doen.

Jammer dat dit vanwege de complexiteit van de materie niet voor het grote publiek weggelegd is en de meeste mensen alleen horen "Apple bekijkt je foto's" (wat dus niet klopt).

Apple hierover: "[...] the system performs on-device matching using a database of known CSAM image hashes provided by NCMEC and other child-safety organizations [...] The hashing technology analyzes an image and converts it to a unique number specific to that image. "

En natuurlijk is het prachtig dat Apple de hashes middels "tovenarij" niet direct zichtbaar maakt voor "gebruikers" of "eindgebruikers" en dat het nodige wordt "geannonimiseerd", maar er zijn heel veel vraagtekens. Zoals gezegd:

Onder wiens jurisdictie valt dit? Waar kun je bezwaar maken bij "false positives". Mij stoort het initiatief omdat het geen juridische grondslag kent en mij "het Amerikaanse dictaat" stoort in deze context. Ik snap heel goed dat Apple uiteindelijk "iets moet doen" om toezichthouders en overheden tevreden te houden. Maar de invulling is weer "op z'n Amerikaans".

Nu vind ik het veel weghebben van symboolpolitiek, waar heel veel aan schort. Zeker bezien vanuit de processkant. Omdat ik nauw betrokken ben geweest in het verleden met de implementatie en uitwerking van velerlei registraties voor overheden, weet ik hoe bepaalde zaken vergaan. Vaak nog met geen enkele weet of mogelijkheid tot beroep of bezwaar.

Ook in Nederland overigens. Daarom hamer ik op de juridische en processkant van het geheel. Denk maar aan de registratie van iemands nationaliteit, maar ook of dit langs genaturaliseerde weg, geboorte, adoptie of andere weg heeft plaatsgehad. Dergelijke "veldjes" kunnen nogal ingrijpende gevolgen hebben. Iets met "iedereen is gelijk, maar sommigen zijn meer gelijk dan anderen". En beroep? Wel, gezien wat de toeslagenaffaire (overigens topje van de ijsberg) heeft teweeggebracht?

Ooit bij stilgestaan dat ook in Nederland registers zijn voor alles en nog wat? Heeft iemand zich eens actief verdiept in de werking, bezwaarmogelijkheden, toetsing van dergelijke registers? Kan het je van harte aanbevelen. Zul je snel achterkomen dat er echt wel wat zaken mis zijn. Ik heb vaak genoeg mijn gewetensbezwaren geuit ...

Het mooie aan het menselijke geheugen is, dat dit een comprimerende werking heeft. Zaken van langer terug gaan naar de achtergrond of worden volledig vergeten. Even een tijdje terug, jaren zeventig en Duitsland, iets met "Rasterfahndung" (duitse Sleepnetwetgeving) ... De Duitse sleepnetzoektocht van alle digitale gegevens in het land naar aanwijzingen voor de Baader-Meinhof-bende. Of ... gaan we alle Navalny aanhangers in Rusland scannen? Hoe groot is de stap naar foto'scannen op dissidenten, religieuze leiders of de meest gezochte personen van de FBI, CIA, Russische FSB of Chinese MSS?

Ik hoor nog de echo in m'n hoofd van gesprekken over het toegankelijk maken van "naturalisatiegegevens" binnen het burgerdossier ... En natuurlijk al snel de spannende analyses die gemaakt konden worden, waarbij "het systeem" zelfs kon vorspellen of er een verhoogde kans was op een frauderende burger.

We hebben slechts een klein voorbeeld gezien van hoe dat mis kan gaan in Nederland. Heb niet de illussie dat dit in andere landen, in andere context niet net zo (of nog meer) fout kan gaan.

Ik bedoel, het was ook doodnormaal om in Nederland je geloof op te tekenen in registers. Erg handig in de jaren dertig en veertig van de vorige eeuw gebleken.

Apple's (ongetwijfeld) goedbedoelde pogingen schaar ik eveneens onder het kopje: naief en potentieel levensgevaarlijk.

Maar (gelukkig) mogen meningen verschillen.

Een vriendelijke groet,


Doctor

Ingegeven door de bijdrage hierboven vraag ik mij af wat de beroepsmogelijkheden bij Apple zullen zijn. Of gaan ze dan simpelweg verwijzen naar de instanties waaraan gerapporteerd is? Ook dát zou ik zeer kwalijk vinden.

Het doet mij gelijk denken aan 'Veilig Thuis' waarbij je als ouder op een zwarte lijst kunt komen te staan, zonder enige wederhoor en waarvan je niet meer af kunt.