geplaatst door: Robert
https://www.macfreak.nl/modules/news/images/iCloud-icoon.jpg
Apple gaat Amerikaanse foto’s in iCloud scannen tegen kinderporno
Apple heeft aangekondigd dat het vanaf  iOS 15 en iPadOS 15, watchOS 8 en macOS 12 Monterey foto’s die naar iCloud worden geüpload, te scannen en te vergelijken met een database van bekende foto’s van wat in Amerika Child Sexual Abuse Material (CSAM) genoemd wordt.

Voordat we op de details ingaan: deze aankondiging heeft opvallend veel stof doen opwaaien onder mensen die zich bezighouden met privacy en versleuteling. Opvallend, want andere tech-bedrijven doen dit al jaren. Meer daarover bijvoorbeeld in dit artikel van The Guardian uit juli 2013 (!).

https://www.macfreak.nl/modules/news/images/zArt.iCloudKinderpornoScan-2.jpg
Apple gaat Amerikaanse foto’s in iCloud scannen tegen kinderporno

klik op de afbeeldingen voor een grotere versie

Het lijkt er dus op dat het vooral voorpagina-nieuws is omdat Apple besluit dit te doen, terwijl het gaat om een beleid en techniek die bijvoorbeeld allang door Facebook, Twitter, Google en Microsoft gebruikt wordt. Bij Google is dat zelfs al het geval sinds 2008.

Het voorgaande illustreert dat het vreemd is dat mensen die hier beroepsmatig mee bezig zijn opgewonden worden om het feit dat Apple dit nu ook gaat doen, maar belangrijker voor ons is waarschijnlijk hoe dit in zijn werk zal gaan.

Hoe het werkt

In het diagram hieronder kan je duidelijk zien dat de scan op het device zelf plaatsvindt voordat het naar iCloud verstuurd worden. Zijn er foto’s bij met een zogenaamde Safety Voucher dan worden die eerst gescand, pas als die boven een vooraf bepaalde waarde komen zullen die zichtbaar worden. Voor die tijd is er dus niemand die jouw beelden kan zien.

https://www.macfreak.nl/modules/news/images/zArt.iCloudKinderpornoScanCsamFlowChart.jpg
Apple gaat Amerikaanse foto’s in iCloud scannen tegen kinderporno


Mocht het zover komen, vanaf dat moment wordt het mensenwerk, je loopt dus niet het risico om door een algoritme aangegeven te worden. Worden foto’s uiteindelijk toch als kinderporno aangemerkt, dan worden die doorgegeven aan het National Center for Missing and Exploited Children (NCMEC) in de VS.

https://www.macfreak.nl/modules/news/images/zArt.iCloudKinderpornoScan-1.jpg
Apple gaat Amerikaanse foto’s in iCloud scannen tegen kinderporno


Deze scans op het device worden ook gebruikt om kinderen te waarschuwen voor foto’s waarin lichaamsdelen te zien zijn die normaal gesproken door zwemkleding afgedekt worden, zoals hierboven te zien. Bij kinderen onder de 13 kan bij Ouderlijk Toezicht ingesteld worden dat zulke waarschuwingen ook te zien zullen zijn voor de ouders.

Hoe je dit kan uitzetten

Het scannen van de foto’s gebeurt automatisch op je device en het toekennen van de eerder genoemde Safety Vouchers is ook automatisch. Maar of de scan boven een bepaalde waarde uitkomt, en of de afzender gerapporteerd moet worden gebeurt pas als de foto’s op de iCloud servers terecht komen. Dat betekent dat als je iCloud Foto’s hebt uitstaan er geen foto’s door iCloud gescand zullen worden.

https://www.macfreak.nl/modules/news/images/zArt.iPhoneiCloudFotosInstelling.jpg
Apple gaat Amerikaanse foto’s in iCloud scannen tegen kinderporno


Moeten we ons zorgen maken?

Het simpele antwoord is nee, al was het alleen maar omdat dit voorlopig alleen in de VS gaat gebeuren, je dit zelf kan uitzetten en Apple keer op keer laat zien dat het enorm zijn best doet om onze data privé te houden. Ook in dit proces is dat het geval, pas als er een erg groot vermoeden van illegaal handelen is worden foto’s aan gegevens van de eigenaar van het device gekoppeld. Dat is nu ook al mogelijk, maar dan alleen bij een gerechtelijk bevel.

Daarnaast heeft Apple al een tijd een vergelijkbaar systeem voor het detecteren van kindermishandeling, daarover zijn nog nooit berichten naar buiten gekomen dat Apple fout zat, of te ver zou zijn gegaan.

Het enige wat hier lijkt te ontbreken is duidelijkheid over de mogelijk om in beroep te gaan mocht jouw account door dit systeem aangemerkt zijn. Apple schrijft hierover “If a user feels their account has been mistakenly flagged they can file an appeal to have their account reinstated.” Mooi, maar dan wel graag een duidelijk loket daarvoor, en niet alleen dat zinnetje in een artikel met uitleg hierover.

EFF

De waakhond voor de privacy de Electronic Frontier Foundation (EFF) is het trouwens niet eens met wat hierboven staat, hun bezwaren zijn op deze pagina te lezen. Hieronder een citaat daaruit:

Citaat
We’ve said it before, and we’ll say it again now: it’s impossible to build a client-side scanning system that can only be used for sexually explicit images sent or received by children. As a consequence, even a well-intentioned effort to build such a system will break key promises of the messenger’s encryption itself and open the door to broader abuses. All it would take to widen the narrow backdoor that Apple is building is an expansion of the machine learning parameters to look for additional types of content, or a tweak of the configuration flags to scan, not just children’s, but anyone’s accounts. That’s not a slippery slope; that’s a fully built system just waiting for external pressure to make the slightest change.

met dank aan forumlid ‘boiing’, die dit nieuws als eerste meldde op het forum



 #Privacy #iOS #iPadOS #watchOS #macOS
Klik hier voor informatie over het onder de aandacht brengen van producten of diensten op MacFreak.
geplaatst door: Sypie
Krijgen we dan van die Microsoft praktijken dat accounts dan ineens, zover verdere uitleg of verklaring, gesloten worden?
https://gathering.tweakers.net/forum/list_messages/2004980
geplaatst door: sluisje

geblokkeerd

Ach, het is niet meer dan een truukje van Apple om iCloud opslag vrij te maken. Wie dergelijke foto's op iCloud heeft staan heeft nog iets van 1 maand de tijd om die te verwijderen. Zo snijdt het mes weer aan twee kanten voor Apple.
Wanneer je werkelijk iets wilt doen aan de verspreiders van die foto's kondig je deze stap niet aan.
geplaatst door: MacFrankie
Het heeft niks met opslag te maken, maar alles met het beschermen van kinderen. Wat natuurlijk heel nobel is.

Het is alleen de vraag of dat een taak is die bij Apple thuishoort.

Zie ook dit bericht op Tweakers.
Op mijn werk heb ik al Windows, thuis wil ik geen systeembeheerder meer zijn!
geplaatst door: sluisje

geblokkeerd

En MacFrankie, hoe worden hiermee dan kinderen beschermd? Het gaat immers om reeds bekende foto's. Nee, het is m.i.  niet meer dan een stukje PR dat op dit gebied vooral in de VS breed zal worden uitgemeten.
geplaatst door: nnsa
Heel nobel hoor van Apple. Wat is het volgende waar ze op gaan scannen / mee luisteren / mee kijken ?

Nooit iemand zich afgevraagd wat de bij-effecten zijn van een touch-ID (interessante database van vingerafdrukken), gezichtsherkenning en stem-vastlegging met siri ?

[niet alleen bij Apple dus]
geplaatst door: sluisje

geblokkeerd

Achterdeurtjes wil Apple niet in iOS inbouwen omdat kennis ervan kan uitlekken naar onvriendelijke regimes of criminelen waardoor de privacy van de individele gebruikers wordt geschaad.
Voor het ontwikkelen van software waarmee onwelgevallige foto's of berichten kunnen worden gekoppeld aan personen ziet men echter geen enkel beletsel.
geplaatst door: boiing
met dank aan forumlid ‘puk1980’, die dit nieuws als eerste meldde op het forum
Ik meldde dit nieuwtje gisteravond, puk1980 reageerde daarop. Dat maakt verder niet uit hoor :biggrin: maar ik link nog even naar mijn post omdat daar ook nog een linkje met kanttekeningen in staat:

https://www.macfreak.nl/nieuwsberichten/apple-scant-nu-fotos-op-tekenen-van-kindermishandeling/msg599718/#msg599718

Moeilijk om 'tegen' te zijn als het om zoiets belangrijks gaat waar je op het eerste gezicht álle mogelijke middelen tegen in moet zetten. En toch is het een gevaarlijk hellend vlak, deze ontwikkeling.

Daarnaast heeft Apple al een tijd een vergelijkbaar systeem voor het detecteren van kindermishandeling ...
Ik kom er niet achter of dit nu een nieuw systeem is of dat het heel anders werkt als voorheen. Ik zie geen verschil op het eerste gezicht en begrijp dan ook niet waarom ze dit nu als 'nieuws' brengen. Anyone?
geplaatst door: Robert
Ik meldde dit nieuwtje gisteravond, puk1980 reageerde daarop. Dat maakt verder niet uit hoor :biggrin:
Dat maakt natuurlijk wel uit, bij deze is het aangepast.

Daarbij is ook meteen de titel aangepast, want ik had wat laat door dat dit scannen in eerste instantie alleen gaat gebeuren bij Amerikaanse iCloud-accounts.
Klik hier voor informatie over het onder de aandacht brengen van producten of diensten op MacFreak.
geplaatst door: okkehel
Ik heb niet alle llinkjes gevolgd maar hierover maken de privacywaakhonden zich de meeste zorgen (citaat uit het artikel):

--
Ook in dit proces is dat het geval, pas als er een erg groot vermoeden van illegaal handelen is worden foto’s aan gegevens van eigenaar van het device gekoppeld. Dat is nu ook al mogelijk, maar dan alleen bij een gerechtelijk bevel.
--

Wie bepaalt of er sprake is van een 'groot vermoeden'? Op basis waarvan? Welke procedure wordt gevolgd? Wordt het gemeld bij politie en justitie? Door wie? Kortom, worden de techbedrijven een verlengstuk van het justitieel opsporingsapparaat? En zo ja, is dat dan met dezelfde waarborgen voor een 'eerlijk proces' zoals dat in het strafprocesrecht is geregeld. En ja, 'dat is nu ook al mogelijk, maar dan met alleen bij een gerechtelijk bevel'. Dat is nou net waar het om draait; die gerechtelijke bevelen staan voor rechtsbescherming en bevoegdheden en zijn niet bij iedere supermarkt te koop. Overigens zijn voor het opsporen van de betreffende netwerken heel veel andere en veel effectievere methoden beschikbaar, bijvoorbeeld het aanpakken van hostingbedrijven (waarvan er in Nederland een heleboel zijn met een twijfelachtige reputatie). De echte criminelen zitten niet op Facebook en zijn echt niet zo onnozel om van iCloud gebruik te maken. Dat doen sufferds en onnozelen.
geplaatst door: boiing
Ik zie geen verschil op het eerste gezicht en begrijp dan ook niet waarom ze dit nu als 'nieuws' brengen.
Een 'Wired' artikel geeft meer en interessante achtergrond. Het nieuwe is dat er in tegenstelling tot voorheen 'on-device' scanning actief wordt en dat het hele systeem nu wat slimmer in elkaar zit. Juist om de privacy te beschermen zegt Apple, een hellend vlak zeggen anderen.

https://www.wired.com/story/apple-csam-detection-icloud-photos-encryption-privacy/

Een paar quotes, mocht je dit door de betaalmuur niet kunnen lezen. Over het hellend vlak:

Citaat
Other cloud storage providers, from Microsoft to Dropbox, already perform detection on images uploaded to their servers. But by adding any sort of image analysis to user devices, some privacy critics argue, Apple has also taken a step toward a troubling new form of surveillance and weakened its historically strong privacy stance in the face of pressure from law enforcement.

“I’m not defending child abuse. But this whole idea that your personal device is constantly locally scanning and monitoring you based on some criteria for objectionable content and conditionally reporting it to the authorities is a very, very slippery slope,” says Nadim Kobeissi, a cryptographer and founder of the Paris-based cryptography software firm Symbolic Software. “I definitely will be switching to an Android phone if this continues.”
Over de technische werking:

Citaat
Apple’s new system isn’t a straightforward scan of user images, either on the company’s devices or on its iCloud servers. Instead it’s a clever—and complex—new form of image analysis designed to prevent Apple from ever seeing those photos unless they’re already determined to be part of a collection of multiple CSAM images uploaded by a user. The system takes a "hash" of all images a user sends to iCloud, converting the files into strings of characters that are uniquely derived from those images. Then, like older systems of CSAM detection such as PhotoDNA, it compares them with a vast collection of known CSAM image hashes provided by NCMEC to find any matches.
Het grote verschil met het oude systeem is dat de analyse van de foto's op je device zelf gebeurt. En dat er een AI component bij komt kijken waardoor ook foto's uit de CASM database die aangepast zijn (bijgesneden of kleurverandering) tóch herkend worden. Uiteindelijk moet er een aantal keren een foto herkend zijn om een bepaalde drempelwaarde te overschrijden en een alarm te genereren. Dat allemaal om 'false-positives' te voorkomen. Waarmee meteen wordt geïmpliceerd dat dat een mogelijkheid is, best eng.

Over het privacy aspect:

Citaat
But critics like Johns Hopkins University cryptographer Matt Green suspect more complex motives in Apple's approach. He points out that the great technical lengths Apple has gone to to check images on a user's device, despite that process's privacy protections, only really make sense in cases where the images are encrypted before they leave a user's phone or computer and server-side detection becomes impossible. And he fears that this means Apple will extend the detection system to photos on users' devices that aren't ever uploaded to iCloud—a kind of on-device image scanning that would represent a new form of invasion into users' offline storage.

Citaat
... that Green worries could open the door to governments around the world making other demands that it alter the system to scan for content other than CSAM, such as political images or other sensitive data.

While the new CSAM detection features are limited to the US for now, Green fears a future where other countries, particularly China, insist on more concessions. After all, Apple has already previously acceded to China's demands that it host user data in Chinese data centers. "The pressure is going to come from the UK, from the US, from India, from China. I'm terrified about what that's going to look like," Green adds. “Why Apple would want to tell the world, ‘Hey, we've got this tool’?”

Conclusie van het artikel:

Citaat
For now, Apple's new system represents a win, at least, for the fight against child abuse online—if one that's potentially fraught with pitfalls. "The reality is that privacy and child protection can coexist," NCMEC's president and CEO John Clark wrote in a statement to WIRED. "Apple’s expanded protection for children is a game-changer."

Just how much it changes the game for its users' privacy—and in what direction—will depend entirely on Apple's next moves.
geplaatst door: GeorgeM
Uiteindelijk moet er een aantal keren een foto herkend zijn om een bepaalde drempelwaarde te overschrijden en een alarm te genereren. Dat allemaal om 'false-positives' te voorkomen. Waarmee meteen wordt geïmpliceerd dat dat een mogelijkheid is, best eng.
Waarom, de mogelijkheid van een 'false-positive' is er toch altijd?

Veel belangrijker is hoe er wordt omgegaan met die false-positives...
geplaatst door: boiing
Dat is waar. Bedenk wel dat de implicaties van het vals beschuldigd worden enorm zijn en iemands leven kunnen verwoesten (zie 'The Hunt' voor een heftig voorbeeld). Het zal je maar gebeuren.. (hier meer achtergrond over de 'fuzzy hashing' techniek die in het CSAM systeem gebruikt wordt).

Maar goed, de kans daarop is miniem. Misschien enger is het laatste deel van het Wired artikel. Nu de technische mogelijkheid er is, wie garandeert ons dat het niet misbruikt gaat worden voor andere doeleinden. China dat eisen stelt aan Apple bijvoorbeeld, niet ondenkbaar. De grens die hier wordt overschreden is dat je device actief gemonitored wordt op bepaalde content. Een soort huiszoeking terwijl je nergens van verdacht wordt. Nu is het kinderporno, wat is het over een paar jaar?

Wat okkehel noemt dus: de techbedrijven worden een verlengstuk van het justitieel opsporingsapparaat. Dat lijkt me geen goede ontwikkeling.
geplaatst door: Flix
Bedankt boiing voor je genuanceerde bijdragen (ook in dat andere draadje); ik ben het er helemaal mee eens.

Maar ik zal het even wat minder subtiel becommentariëren: welke woke idioot bij Apple heeft dit bedacht??!! Hier moet Apple, en welk bedrijf dan ook, heel, héééél ver weg van blijven! Een oerstom idee!!!
geplaatst door: Timotheus
Het heeft niks met opslag te maken, maar alles met het beschermen van kinderen. Wat natuurlijk heel nobel is.Het is alleen de vraag of dat een taak is die bij Apple thuishoort.
Nee, dat is geen taak van Apple. Alleen: degenen wier taak dit wel zou moeten zijn, doen niets of veel te weinig. Nederland heet een grote producent van kinderporno te zijn, maar de mankracht die de politie daarop zet, is minimaal. Het heeft gewoon geen prioriteit.

In recente tijden is er heel veel verontwaardiging geweest over kindermisbruik in katholieke kring; en terecht. Alleen: dat betrof steeds individuele gevallen, en de daders zijn óf dood óf heel oud. Dat misbruik en de schade die het veroorzaakt heeft, draai je niet meer terug.

Maar nu, op dit moment, draait er een hele kinderporno-industrie, en die kan vrij ongestoord zijn gang gaan. En dat is een grote schande. Elke bijdrage die wordt geleverd aan het terugdringen daarvan is wat mij betreft van harte welkom.
I went there and came back / It was nothing special / The river at high tide / The mountain veiled by misty rain
geplaatst door: jaco123
Dat is waar. Bedenk wel dat de implicaties van het vals beschuldigd worden enorm zijn en iemands leven kunnen verwoesten  (hier meer achtergrond over de 'fuzzy hashing' techniek die in het CSAM systeem gebruikt wordt).
Interessante link! Daar staat enerzijds hoe het werkt maar anderzijds slechts dat ze niet verklappen hoe het écht werkt. Ik snap dat ze het fuzzy hashing alogirtme willen beschermen, maar "security by obscurity" is al jarenlang achterhaald.

Citaat
Maar goed, de kans daarop is miniem.
Ze gebruiken wel hele grote hashes, waar je bij een normale hash dus inderdaad een extreem kleine kans op collissions hebt.
Maar wat de kans op collissions is bij het fuzzy hash algoritme is dus een mysterie. Immers, het hele algortime is er op ontworpen om JUIST collissions te creëren als foto's een beetje op elkaar lijken.
Dat druist in tegen alle collission-berekeningen die je op normale hashes los kunt laten en je hebt dus - omdat ze het algoritme  niet willen vertellen - geen enkel idee van de kans op collissions.

Eng hoor... Voor je het weet gaat er een alarm af bij normale foto's.
geplaatst door: nnsa
Wat okkehel noemt dus: de techbedrijven worden een verlengstuk van het justitieel opsporingsapparaat. Dat lijkt me geen goede ontwikkeling.

Misschien zijn Techbedrijven ‘achter het toneel’ niet zo zelfstandig als ze zich profileren. Ook komen ze overal mee weg. En inderdaad wat zijn de volgende ‘scans’ / ‘monitoring’ ?

Zou me ook niets verbazen als dit al een ‘afleidingsmanouvre’ is om op alle foto’s naar whatever te scannen…
geplaatst door: mcmt
Maar wat de kans op collissions is bij het fuzzy hash algoritme is dus een mysterie. Immers, het hele algortime is er op ontworpen om JUIST collissions te creëren als foto's een beetje op elkaar lijken.
Wat mij ook belangrijk lijkt is dat, in tegenstelling tot cryptografische hashes, systemen als PhotoDNA hashes genereren waarvoor je een metriek kan definiëren (bijv. de "Hamming distance", die het aantal posities telt waar twee hashes verschillen). De afstand bepaalt mee de mate waarin twee beelden overeenkomen, na normalisatie (door toepassing van toch wel complexe beeldmanipulaties, zo vermoedt Matthew Green).
geplaatst door: puk1980
https://appleprivacyletter.com/

An Open Letter Against Apple's Privacy-Invasive Content Scanning Technology

Security & Privacy Experts, Cryptographers, Researchers, Professors, Legal Experts and Apple Consumers Decry Apple's Planned Move to Undermine User Privacy and End-to-End Encryption
geplaatst door: puk1980
https://rentafounder.com/the-problem-with-perceptual-hashes/

THE PROBLEM WITH PERCEPTUAL HASHES

Apple just announced that they will use “perceptual hashing” to detect illegal photos on iPhones. I have some experience to share on this technology.
geplaatst door: Jurriaan
Nooit iemand zich afgevraagd wat de bij-effecten zijn van een touch-ID (interessante database van vingerafdrukken), gezichtsherkenning en stem-vastlegging met siri ?

[niet alleen bij Apple dus]
Vingerafdrukken zitten bij Apple enkel in het device.


De mens moet tegen zichzelf beschermd worden. Door de komst van internet, daarna de smartphone is heel veel heel makkelijk bereikbaar. Ontwerpen voor wapens, maken van bommen, vervaardigen van porno etc.
Het is een taak van overheden om de mens tegen zichzelf te beschermen wat op voorhand een achterhoede gevecht is.
MBA '20 M1| SE1 & 2 iOS 15/17 | Mini6 iPadOS 17 | ATV 4K MKI  TVOS17|
geplaatst door: boiing
Tip Jurriaan: Noord-Korea :thumbs-up:. Ik denk dat de mens eerder tegen de overheid en de tech-bedrijven beschermd moet worden... Dat illegale content niet makkelijk bereikbaar moet zijn ben ik het mee eens, maar ook dat is een wankel evenwicht tussen vrijheid en censuur.

Dank voor de links puk1980. Ik zie inmiddels alleen maar méér haken en ogen aan het systeem dat Apple gaat invoeren. Bijvoorbeeld: wie beheert die CSAM database eigenlijk, en wie bepaalt de content? Niet de bevoegde autoriteiten in ieder geval. Veel verder dan de NCMEC kom je niet, hoe het precies werkt en wie de beelden aanlevert blijft vaag. Hoe veilig is die database zelf, wie heeft daar allemaal een kopie van? Hoe zit het met twijfelgevallen? Niet alles is kinderporno, wie bepaalt de grens? Allemaal onduidelijk, terwijl dit wel de database is die bepaalt of er bij jou straks een alarmbelletje afgaat.

En dan nog iets: het wordt wel heel makkelijk op deze manier om iemand waar je een hekel aan hebt achter de tralies te krijgen. Upload een aantal foute foto's naar de iPhone van je 'vijand' en binnen no-time staat daar een busje met zwaailichten voor de deur om het onschuldige slachtoffer af te voeren. Volledig automatisch.

Mooi praatjes, over hoe veilig dit allemaal is. Ik zie veel te veel zwakke plekken in dit verhaal. Opsporing en onderzoek van verdachte feiten zijn taken van je (eigen!) overheid (met alle rechten die daar voor de burger bij horen), niet de tech-bedrijven.
geplaatst door: nnsa
+1 (****) voor Boiing.

Maar ik denk dat de geest al (jaren) uit de fles is. Big Brother is watching U...
geplaatst door: jaco123
https://rentafounder.com/the-problem-with-perceptual-hashes/

THE PROBLEM WITH PERCEPTUAL HASHES

Apple just announced that they will use “perceptual hashing” to detect illegal photos on iPhones. I have some experience to share on this technology.

Dank puk1980 voor deze link. Fijn om te zien dat iemand die praktische ervaring heeft met perceptual hashes ook tot min of meer dezelfde conclusie komt: je hebt altijd collissions en het tunen van de juiste drempelwaarde wanneer foto's hetzelfde of verschillend zijn is geen exacte wetenschap, maar vereist handmatige tuning.