Child sexual abuse material (CSAM) scanning alsmede een samenwerking met het Amerikaanse National Center for Missing and Exploited Children (NCMEC), bestaat al langer. Het was onder andere Cloudflare die enkele jaren geleden hier wat aandacht mee trok omdat het eigen netwerk doorlopend gescand zou gaan worden.

Daarbij heeft Cloudflare zelf aangegeven dat er een gevaar bestaat voor False Positives. En dat, afhankelijk van de parametrisering van het algoritme, vaker of juist natuurlijk minder vaak voorkomt.

Traditionele hash-algoritmen zoals MD5, SHA1 en SHA256 nemen een bestand (zoals een afbeelding of document) van willekeurige lengte en geven een getal met een vaste lengte, welk in feite de digitale vingerafdruk van het bestand is.

Fuzzy hashing werkt anders. In plaats van te bepalen of twee foto's precies hetzelfde zijn, probeert het in plaats daarvan tot de essentie van een foto te komen. Hierdoor kan de software hashes voor twee afbeeldingen berekenen en vervolgens de "afstand" tussen de twee vergelijken. Hoewel de vage hashes nog steeds kunnen verschillen tussen twee foto's die zijn gewijzigd, in tegenstelling tot traditionele hashing, kun je de twee vergelijken en zien hoe vergelijkbaar de afbeeldingen zijn.

Niet een vinding van Apple all-mighy, maar is een techniek die zijn oorsprong vindt rond het millenium toen het werd ingezet om spam-berichten (en later virus-patronen) te vinden.

Fuzzy Hashing kun je ook op vrijwel alle Linux distributies vinden mocht je het fijn vinden om er eens mee te spelen. ssdeep heet het pakket. Je kunt het dus gewoon op je prompt ingeven en evenals shasum of md5 een hash kan genereren, kan ssdeep een hash genereren, alleen is deze hash anders opgebouwd - zoals je zult begrijpen. Immers, de Fuzzy Hash kijkt niet naar een exacte digitale vingerafdruk, maar naar overeenkomstige kenmerken.

Het probleem wat ik hiermee heb is als volgt:

- Apple is een privaatrechtelijke onderneming, geen toezichthouder of publiek orgaan
- Er vindt een informatie en data analyse plaats op mijn telefoon; er wordt een hash gegenereerd van mijn PRIVE documenten en DATA op MIJN telefoon
- Het process is "te transparant". Natuurlijk "leuk dat de klant er weinig van merkt", maar dat maakt het zo gevaarlijk:

Er ontbreekt een gedegen opvraag-, inzage-, toetsings-, hoor- en bezwaar-procedure. Het gemis aan een dergelijke procedure maakt dat men letterlijk en figuurlijk aan de Goden is overgeleverd.

- Bescherming van de privesfeer is een taak van de overheid, ik vind het kwalijk dat er steeds meer door de publieke sector wordt "uitbesteedt" aan de particuliere sector, waarbij het niet meer gaat over het leveren van een oplossing, maar daadwerkelijk de taken van de overheid over te nemen. Daarbij schort er  nogal wat aan het proces, met alle gevaren van dien ...

Het probleem met dergelijke technieken vind ik het verleggen van grenzen, waarbij het individu, zelfs het collectief, bijzonder zwaar getroffen kan worden. Over het doel is natuurlijk nagedacht, het gaat immers over de bescherming van "onze kinderen". Het doel is dus zwaarwegend.

Alleen: het gaat hier om voornamelijk van beelden van reeds bekende gevallen, daarbij wordt de verdere verspreiding van de foto's enigszins ingedamt, en zullen enkele pedofielen mogelijk opgepakt kunnen worden. Dat zou natuurlijk geweldig zijn.

En, als je hierop tegen bent, zal ongetwijfeld het goedkope argument gebruikt kunnen worden: "heb je soms zelf iets te verbergen?" of "ben jij soms zo'n foute?"

Dus, zeer wijs gekozen. Maar dit is kwalijk.

In het verleden is al gebleken dat Apple weinig ruggegraat toont als het aankomt op overheden die bijvoorbeeld VPN's willen weren of 'aanvullend toezicht willen hebbben op het eigen volk'. Zelfs het inbouwen van de specifieke calls om een telefoon te kunnen afsluiteren door bepaalde overheden, zit keurig in de telefoons ingebakken. Is immers wettelijk voorschrift.

Dus ik vraag me oprecht af: what's next? Immers, deze techniek kun je uitstekend gebruiken voor heel enge dingen.

Hiermee is, voor mij althans, Apple verworden tot een karikatuur van alles waarvoor het stond inzake privacy en bovenal diens historische reclame: 1984. Het is zelf verworden tot een Big Brother.

We zijn hard op weg een zeker distopisch toekomstbeeld tot waarheid te doen verworden. Kleine veranderingen kunnen een grotere impact hebben dan je vermoed. Het is een geleidende schaal, veel kleine beetjes die tezamen echt wel een significante beperking van de levensfeer kunnen betekenen.

Als je nu kinderporno schrapt uit de titel en iCloud vervangt door "telefoon", want dat is het nieuwe hieraan, dan is het een bijzonder enge dienst:

"Apple gaat foto's op iPhone's van gebruikers scannen op illegale inhoud"

--- want dat is feitelijk het vehicle waar het hier om gaat.

De invulling is momenteel: kinderporno, maar het kan natuurlijk zijn: politiek ideologische documenten, religieuze content, geaardheid van mensen, etniciteit van mensen en nog vele andere (en mogelijk engere) zaken ...

Hoewel het artikel betreffende perceptual hashing terechte bezorgdheden uit, heb ik wat vragen betreffende het aantal te verwachten valse positieven. Het beste (generische) algoritme dat de auteur heeft uitgeprobeerd ("Fast Multiresolution Image Querying") was 26 jaar geleden bedoeld voor snelle image opzoekingen op hardware van die tijd. Volgens de oorspronkelijke paper was het blijkbaar ook de bedoeling foto's terug te vinden via sketches en lage kwaliteit scans, cf. volgend voorbeeld uit de research paper.



Ik kan mij dan ook inbeelden dat er overmatig veel valse positieven uitkomen. Valse positieven zullen er nog steeds zijn, ook bij Apple's benadering. Dit is eigen aan dit soort algoritmen. Hoe representatief zijn de ervaringen van de auteur voor wat Apple (of Microsoft) in het kader van CSAM geïmplementeerd heeft?

En, als je hierop tegen bent, zal ongetwijfeld het goedkope argument gebruikt kunnen worden: "heb je soms zelf iets te verbergen?" of "ben jij soms zo'n foute?"

Een filosoof hier zei ooit: "Wie niets te verbergen heeft is niet interessant."

Dit is toch wel heftig nieuws. Apple die van privacy voorvechter naar zo iets enorm slechts gaat, ronduit kwaadwillende privacy schending.

M'n eigen content op mijn eigen iPhone wordt zonder dat ik het weet gescand op 'ongewenste inhoud' en daar wordt dan melding van gemaakt naar de 'autoriteiten', wie dat ook moge zijn.

Dat meer mensen ernstige bedenkingen tegen dit voornemen hebben is hier te lezen:
https://appleprivacyletter.com/
Je kunt je naam toevoegen aan deze open brief aan Apple

Tip Jurriaan: Noord-Korea . Ik denk dat de mens eerder tegen de overheid en de tech-bedrijven beschermd moet worden...

Eens dat N-K niet een voorbeeld is om vanuit te gaan.

En toch ook maakt de mens steeds nieuwe dingen die een bedreiging voor zichzelf zijn en in verkeerde handen komen. Wij vinden het verkeerde handen maar als je van mening bent dat je iemand van het leven kan beroven kun je het daarvoor gebruikte vuurwapen in je bezit verantwoorden.

Ik zie kinderporno niet zitten en ik zie screening van mijn iCloud account daarop ook niet zitten. Andere zien een van beide wel zitten.

Een oplossing in deze, bescherming van de mens tegen zichzelf, zie ik niet.

En MacFrankie, hoe worden hiermee dan kinderen beschermd? Het gaat immers om reeds bekende foto's. Nee, het is m.i.  niet meer dan een stukje PR dat op dit gebied vooral in de VS breed zal worden uitgemeten.

Dan begrijp je het systeem niet, als jij die bekende foto’s wilt uploaden, is de kans groot dat je ook ander materiaal bezit of zelfs produceert, de al bekende foto’s in de database dienen dus slechts als red flag, en zijn niet zozeer het materiaal waar het om gaat.

... als jij die bekende foto’s wilt uploaden, is de kans groot dat je ook ander materiaal bezit of zelfs produceert

Een aanname, maar het raakt wel aan een ander belangrijk punt. Het lijkt mij (ook een aanname) dat kinderporno consumenten of verspreiders niet allemaal een IQ van onder de 50 hebben, hoe abject hun bezigheden ook zijn. Ik kan me herinneren ooit in een docu of opsporingsprogramma gezien te hebben dat pedofielen héél goed weten hoe ze hun materiaal verborgen moeten houden. Ze hebben kanalen om met elkaar te communiceren en wisselen daar uit wat de beste manieren zijn om uit handen van de opsporingsdiensten te blijven. Geheime forums of chatgroepen, darkweb sites, encrypted HDD's, versturen per post etc. Foto's worden UITERAARD niet uitgewisseld via Apple Messages of geüpload in Apple iCloud (tenzij je wel een IQ < 50 hebt). Zeker niet nu er breeduit wordt uitgemeten hoe Apple dit denkt te bestrijden: dan weet je wel beter neem ik aan.

Sluisje heeft in die zin gelijk dat dit vooral 'we do good' PR is en dit het probleem niet oplost. De kinderporno industrie zit - net als de drugswereld - veel complexer in elkaar dan dat. Het is naïef om te denken dat je hiermee de makers of de bron van al die zooi kunt aanpakken, hooguit een paar sukkels aan het eind van de hele keten.

Het middel is in dit geval dus veel erger dan de kwaal. We gaan een gigantisch ingrijpend mechanisme inzetten waarvan we met een beetje gezond verstand kunnen bedenken dat het geen oplossing biedt.

Het middel is in dit geval dus veel erger dan de kwaal. We gaan een gigantisch ingrijpend mechanisme inzetten waarvan we met een beetje gezond verstand kunnen bedenken dat het geen oplossing biedt.

Exact. Dit is de kern. Het is dezelfde discussie als die over het al of niet "verbieden" van encryptie van communicatie. Het inbouwen van een achterdeur in beveiliging om de overheid mee te kunnen laten luisteren houdt kwaadwillenden niet tegen om zelf encryptie toe te passen, terwijl het wel de beveiliging van iedere onschuldige burger sterk vermindert.

Dat hier überhaupt discussie over is.

Mijn telefoon of computer is van mij en zonder goede reden mag niemand daar bij en zeker de overheid niet.

Hoe zouden mensen het vinden als de politie af en toe langs komt om je papieren foto albums te controleren? Je agenda's, notitie's, dagboeken? Wekelijks je huis te doorzoeken?

Waarom hangen we niet ieder huis, iedere kamer vol met camera's en microfoons, "tegen kinder misbruik", kan niemand tegen zijn toch?

De volgende iOS versie komt dus met malware. Moet ik dan echt gaan overstappen op een linux telefoon en computer?

Mijn telefoon of computer is van mij en zonder goede reden mag niemand daar bij en zeker de overheid niet.

Hoe zouden mensen het vinden als de politie af en toe langs komt om je papieren foto albums te controleren? Je agenda's, notitie's, dagboeken? Wekelijks je huis te doorzoeken?

Waarom hangen we niet ieder huis, iedere kamer vol met camera's en microfoons, "tegen kinder misbruik", kan niemand tegen zijn toch?

De volgende iOS versie komt dus met malware. Moet ik dan echt gaan overstappen op een linux telefoon en computer?

Wat een flauwekul, je kan dit toch gewoon zelf uitzetten?

Lijkt me een stuk zinniger om deze discussie te voeren met de feiten, overdrijving en bangmakerij vind ik in deze context een erg slecht idee.

Nou GeorgeM, dat is wel kort door de bocht in deze - vind ik - tot nu toe zeer zinnige discussie. Het scannen dat op je device gebeurt kun je niet uitzetten, en dat is juist wat mattiman hier bedoelt. De upload naar iCloud wel, en voorlopig wordt er alleen een alarm gegenereerd als foute foto's in iCloud worden gezet. En voorlopig alleen in de USA.

Maar je begrijpt het principe in deze discussie toch wel? En dat ieder 'voorlopig' zomaar anders kan worden in de toekomst? Vind je het geen bizar idee dat er op je privé telefoon actief gescand op bepaalde content?

Vind je het geen bizar idee dat er op je privé telefoon actief gescand op bepaalde content?

Dat gebeurt allang, er wordt ook op gezichten van bekenden gescand.

Ik heb ook mijn bedenkingen, maar heb iCloud Foto's altijd al uit staan en wacht verder eerst even af om hierover meer te weten te komen en te zien hoe Apple gaat reageren op de kritiek.

Voor die tijd ben ik vooral beducht voor reacties als die van mattiman waar ik op reageerde. Want de nuance vind ik juist op dit soort moment belangrijk.

Dat gebeurt allang, er wordt ook op gezichten van bekenden gescand.

Dat is niet vergelijkbaar met waar het hier om gaat en heeft niets met actieve opsporing van strafbare feiten te maken .

Uiteraard is het afwachten hoe dit zich ontwikkelt en nuance is zeker belangrijk. 'Flauwekul' roepen werkt daarom meestal niet. Nu zo'n draadje zich verder ontvouwt is het goed om de speculaties naar de toekomst te onderscheiden van de feiten op dit moment, daar heb je helemaal gelijk in. Maar ik denk dat de gemiddelde MF lezer dat prima kan. De vragen die mattiman stelt gaan meer over de principes van deze technieken en de richting waar het heen gaat. Best belangrijk om daar over na te denken vóór het zover is.

Wat een flauwekul, je kan dit toch gewoon zelf uitzetten?

Lijkt me een stuk zinniger om deze discussie te voeren met de feiten, overdrijving en bangmakerij vind ik in deze context een erg slecht idee.

Het is geen overdrijving of bangmakerij. De feiten: er wordt een systeem door Apple ingebouwd waarmee actief alle foto's op je telefoon gescand worden. Je hebt er zelf geen controle over. Je weet niet met welke fotos er vergeleken wordt. Je weet niet naar wie er signalen gaan. Je weet niet waarmee het systeem in de toekomst uitgebreid wordt. Je weet niet of het een keer fout gaat (fout positief resultaat/gevolg).

Ja het is bangmakerij omdat ik er zelf erg bang van wordt. En boos.

Het is gewoon een systeem waarmee enorme schade wordt berokkend aan onschuldigen zoals ik terwijl de kwaadwillenden toch wel andere manieren vinden om te doen wat ze willen doen.

In China lijken veel mensen het ook wel prima te vinden dat de staat enorme systemen optuigt om de burgers onder controle te houden. Camera systemen, sociale puntensystemen, etc. Ik wordt daar echt onpasselijk van. En nu begint Apple een soortgelijk iets op te tuigen onder dwang/in samenwerking met een overheid en vinden mensen hier het ook wel prima. Echt heel eng.

Ik zoek het in de Freudiaanse verklaring: Tim Cook sublimeert/ overcompenseert zijn homostatus en start een kruistocht tegen kinderporno. Kijk eens, ik ben homo, maar niet pedo. In Europa is homofilie ( voorlopig) geen issue meer. In het Amerika van de pilgrim fathers/ conquistadores nog wèl.
Maar de privacy verkooptruc staat daarmee op de helling. Als het er ècht doorkomt, dan zal apple klanten verliezen, in hardware en software (iCloud)

In Europa is homofilie ( voorlopig) geen issue meer.

Kijk even op de kaart welke landen er bij Europa horen... Vooral de getallen in het oostelijke deel. En verder moeten we maar niet serieus op je 'verklaring' ingaan .

dag allemaal,

het is niet de taak van Apple of andere, anders dan die daarvoor in het leven zijn geroepen door de/een overheid.

ik zie al veel te veel dat internet bedrijven zich, met wat wel of niet goed voor ons is, gaan bemoeien.
Vrijheid van meningsuiting, is bijvoorbeeld face book de aangewezen persoon om te mogen en kunnen beoordelen wat wel of niet kan? lijkt me niet.

@boiing
In het vroegere Oostblok ( als je dat bedoelt) zijn geloofsovertuigingen altijd blijven bestaan. Na het  verdwijnen van de dictatuur kwam alles weer terug in een archaïsche vorm incl. de homohaat, vreemdelingenhaat, etc.
Denk aan Urk in NL, de westhoek in BE, Sicilië, N-Ierland.
Ik zeg dus niet dat heel Europa breeddenkend is, maar het gaat ( ging) de goede kant op.
Wat Timmy betreft: ik hoop dat mijn berichtje niet gescand is, anders mag ik mijn iPhone nu al opbergen.

Uiteraard is het afwachten hoe dit zich ontwikkelt en nuance is zeker belangrijk. 'Flauwekul' roepen werkt daarom meestal niet.

In sommige zaken is helemaal geen nuance aan te brengen. Bv de anti-homo wetten van Orban, of nog een tandje sterker: de Holocaust.

Hier hoort ook geen nuance te zijn. Apple, of wie dan ook, moet dit gewoon niet doen!! Klaar.

Als ze goed willen doen, dan doneren ze maar aan instanties en NGO’s die hiermee aan het werk zijn.

Ik bedoelde nuance meer algemeen omdat GeorgeM de opmerkingen van mattiman afdeed als flauwekul. Je kunt natuurlijk discussiëren of het zo'n vaart zal lopen en nuanceren mag best maar ik ben het in deze zaak met je eens (en de meesten hier denk ik): dit is gewoon niet ok en een gevaarlijke grens die overschreden wordt.

Gelukkig - want wie zijn wij - vinden een aantal organisaties en mensen die er verstand van hebben dit inmiddels ook.

Hopelijk draait Apple alsnog bij maar voorlopig lijken ze erg overtuigd van hun keuze .

Grappig dit onderwerp. Ik ben ooit letterlijk uit SeniorWeb gegooid, omdat ik een artikel had geschreven over BigTech (gefocussed op Facebook en Google) dat er velen hun (data)ziel aan de duivel hebben verkocht... en daar werd een klacht over ingediend, in combinatie met een discussie over copyright. Ik moest hier even aan denken bij dit onderwerp.

https://www.hackerfactor.com/blog/index.php?/archives/929-One-Bad-Apple.html

Discussie op HN

John Gruber's duiding:

https://daringfireball.net/2021/08/apple_child_safety_initiatives_slippery_slope

Deze aankondiging van Apple roept nogal wat emotionele reacties op.

Waar (bijna) iedereen aan voorbij gaat is dat dit 'scannen' van uploads op diverse plekken al jarenlang gebeurt.

Ik heb dit van zeer nabij meegemaakt. Een goede kennis - wat ik op een gegeven moment in tijd zeker wel een 'vriend' mocht noemen - had materiaal* naar Dropbox geüpload. En je wilt niet weten hoe snel daar reactie op kwam.

Lang verhaal kort; dit had zware consequenties. De man is opgepakt, veroordeeld en uiteindelijk min of meer ondergedoken om te ontkomen aan herkenning en confrontatie.

* Voor de duidelijkheid: op Internet gevonden materiaal, wat hij wilde bewaren.

Waar (bijna) iedereen aan voorbij gaat is dat dit 'scannen' van uploads op diverse plekken al jarenlang gebeurt.

Volgens mij is daar wel een paar keer naar gerefereerd. Ik noemde ook al de PhotoDNA techniek in het draadje van vorig jaar. Het kan geen kwaad om het nog eens te benadrukken: ja dat gebeurt al veel langer. Maar zaken uploaden naar een bepaalde dienst, ook al beschouw je die als privé, is toch een beetje je data uit handen geven en akkoord gaan met de voorwaarden van die service.

Hét grote verschil is dat er nu actief op jouw device wordt gescand. Je eigen privé telefoon, waarvoor je geen toestemming hebt gegeven dat die ingezien wordt door derden. Dat is op zich al discutabel en mogelijk juridisch betwistbaar maar het feit dat dit mechanisme in de toekomst net zo makkelijk misbruikt kan worden voor andere doeleinden maakt het eng. En fout.

Wat een flauwekul, je kan dit toch gewoon zelf uitzetten?

Daar lijkt het inderdaad toch op, zie hier. Bij deze mijn excuses aan je GeorgeM, dat had ik verkeerd begrepen. Het maakt de hele discussie niet minder relevant, wel goed dat er iets mee duidelijkheid over dit punt is.