In de VS woedt alweer de discussie over het al dan niet verplichten van achterdeurtjes in versleuteling. Dit keer heeft de FBI daarbij de telefoon van de schutter die vorige maand op een basis drie mensen doodschoot centraal gezet, de vorige keer was de aanleiding de aanslag in San Bernardino.

Daarbij wordt vaak gedaan alsof Apple niet zou helpen, maar niets is minder waar. Maar bij Apple hebben ze alleen geen toegang tot de iPhone zelf, dat blijft beperkt tot de data die in iCloud staat. Dat Apple inzicht kan hebben in dat laatste bleek ook toen Jane Horvath, Apple’s Chief Privacy Officer, recent sprak over privacy op de CES in Las Vegas. Daar vertelde ze dat Apple scant op tekenen van kindermishandeling: “We are utilising some technologies to help screen for child sexual abuse material.” Het ligt voor de hand dat pedofilie daar ook onder valt.



Dit hoeft trouwens niet als een verrassing te komen, Apple heeft al een tijd een verklaring over dit onderwerp op de site staan:

Our Commitment to Child Safety

Apple is dedicated to protecting children throughout our ecosystem wherever our products are used, and we continue to support innovation in this space. We have developed robust protections at all levels of our software platform and throughout our supply chain. As part of this commitment, Apple uses image matching technology to help find and report child exploitation. Much like spam filters in email, our systems use electronic signatures to find suspected child exploitation. We validate each match with individual review. Accounts with child exploitation content violate our terms and conditions of service, and any accounts we find with this material will be disabled.

 #iCloud #iPhone

Heerlijk, zo wordt iedereen aan alle kanten in de gaten gehouden. Hopelijk werkt dit dan niet door zoals de stichting Veilig Thuis hier in Nederland want dan trek je als ouder altijd aan het kortste eind of er nu sprake is van mishandeling of niet, maakt niet uit.
Maar jammer is dat deze scanning makkelijk is te voorkomen: Zet geen foto's in de iCloud of beter nog, zet die hele iCloud uit. Zo krijgen de Neanderthalers die opslag in de cloud verafschuwen alsnog gelijk.
En je weet hoe het met AI is; op dit moment nog erg onbetrouwbaar.

Vele Neanderthalers hier zijn technofiele luddieten (sic) zoals mezelf, die toch een beetje weten hoe de vork in de steel zit vrees ik...

@HEXDIY: En ik maar denken dat jij juist het tegenovergestelde bent van een luddiet. 

Neanderthalers … Hmmm … Helaas heb ik de nodige "Non Disclosure Agreements" ondertekend in mijn leven en ben ik gebonden aan deze juridische misbaksels genaamd "geheimhoudingsverklaringen".

Maar ik heb me toch het nodige aan ellende in binnen- en buitenland meegemaakt waar ik toch de nodige vraagtekens bij heb geplaatst. En neen,  het is niet altijd goedgekomen voor de betrokkenen.

Een simpel voorbeeld wat wel gedeeld kan worden is een vergissing in een opleidingstraject bij een gemeente alwaar in vroegere tijden een "vergissinkje" mogelijk was waarbij het, hoe onwaarschijnlijk het moge klinken, mogelijk was om in "live data" te oefenen. Een menselijke fout maar (toentertijd) ook geen veiligheidswaarschuwingen of blokkades.

Ik zou zeggen, praat eens met mensen die administratief dood zijn verklaard over gevolgen. Of met mensen die op heel vervelende registers worden gezet omwille van synchronisatiefouten bij overheidsinstanties. Of een recent voorbeeld van een vriend: hij begeleid bedrijven met nieuwe ontwikkelingen en reist bijzonder veel. Soms is 'ie in Afrika, dan weer in Oost Europa, dan weer in Zuid Amerika. Kortom: hij reist wat af.

Recent vond een der cloud providers dat dit als bijzonder verdacht aangemerkt kan worden. Vervolgens - tot overmaat van ramp - wordt zijn telefoon gejat. Niet zoveel aan de hand zul je denken … Nieuwe telefoon backup terugzetten en klaar. Helaas: Twee factor authenticatie werkt niet meer (telefoon gejat) en in dat geval toegang tot account ook verloren. En ook Apple is niet altijd de gemakkelijkste.

Talloze voorbeelden. En dan hebben we de NDA categorie waar ik dus niets anders kan zeggen dat ik niet verbaasd ben over (snel vergeten) misstappen als het laten meeluisteren met mobiele telefoonassistenten door mensen … Versleuteling en "niet delen van data" is zeer betrekkelijk. En er zullen ongetwijfeld binnenkort meer bekendmakingen volgen. Maar het is zo gemakkelijk dat cloud. En al helemaal de nieuwe economie van "experiences and sharing".

Kortom, "Neanderthalers" … Spreek eens zoals gezegd met mensen die als Terrorist worden aangemerkt door Big Data Analyses en AI systemen die reeds breed worden ingezet. Of met Piloten die in een verkeerd land hebben gewerkt en direct als verdacht worden aangemerkt. Zolang het je niet treft is de meest gehoorde reactive: "nou en" of "zo een vaart loopt het niet".

Ben ik daarmee opeens angstig voor ontwikkelingen? Neen, ik juich de meeste zelfs toe. Maar ben wel kritischer geworden met de Jaren. Vergeet niet dat tot de Jaren dertig vorige eeuw niemand een punt maakte van het feit dat in Nederland religie werd geregistreerd in gemeentelijke registers.

Totdat er een ommezwaai kwam en populisme de overhand begon te krijgen. Mogelijk leeft deze Neanderthaler onder een steen, maar ik zie veel parallelen met toen. Ook verschillen, immers we leven bijna 100 jaar later. Maar er is niet veel nodig om "te zuiveren" of "te propageren". Immers, er zijn horden mensen die inmiddels zijn afgezakt tot riool-nieuwsvoorzieningen, zoals Facebook, Instagram, Twitter of andere sociale media. Niet realiserend dat verhalen over "fake news" echt niet uit de lucht komen vallen.

Maar goed, "the Cloud" zal nog lang als de heilige graal worden gezien. Noem me paranoide, maar ik zet tegenwoordig echt niet alles meer in de wolk.

Alsof Apple haar screeningssoftware heilig is en exact kan onderscheiden wat mishandeling/ kinderporno is.
Apple weet waar ik woon en ik heb kinderen. Zit je samen in bad maak je een foto omdat je samen speelt met schuim, de grootste lol en dan belt de politie aan...iek laatste restje naïviteit verloren. Verpest, door Apple’s gebruiksgemak, dat het delen van foto’s onderling zo eenvoudige maakte. Kunnen we weer terug naar de digitale camera zonder internet connectie.

Ja ik geloofde, in mijn naïviteit, in Apple. Tot nu dus.

Je maakt foto's van je 3-jarige dochtertje in het zwembadje in de tuin. Ze draagt alleen een zwembroekje.
En in de V.S. ben je dan al zowat met kinderporno bezig, want het kind draagt geen bovenstukje...

Gaan ze dat ook aangeven dan?

@HEXDIY: En ik maar denken dat jij juist het tegenovergestelde bent van een luddiet. 

Lees goed: een technofiele luddiet. Noem dat gerust een oxymoron- en een last op mijn schouders...

Heftige reacties hier.

Is er ëén voorbeeld bekend van de schrikbeelden die hierboven geschetst worden? Nee.

Is er ëën voorbeeld bekend waarin Apple een foto heeft 'disabled'? Nee.

Denk ik dat het een goed idee is dat Apple scant op kinderporno, en dat zo actief tegen gaat? Ja.

Nemen we mee dat Apple zich altijd aan de lokale wetten conformeerd? Het lijkt er niet op.

Ai George, we waren net zo lekker bezig.

Maar je vraagt om een voorbeeldje, hier dan een van alweer heel wat jaartjes terug toen je bij de Hema nog je fotorolletje in een half uurtje kon laten ontwikkelen.

Een vader had wat fotootjes gemaakt van zijn twee blote peutertjes tijdens een dagje naar het strand en liet het rolletje bij de Hema ontwikkelen. Na een half uurtje ging hij de afdrukjes ophalen en werd daar opgewacht door twee rechercheurs van de zedenpolitie.

En dit heeft al niets met AI of Apple te maken. Zou dit nu niet meer kunnen gebeuren denk je?

Aha, onze favoriete dwarse peer!

Heb je ook een linkje naar dat verhaal? En ook naar de afloop?

Joh, dit is toch meer dan 30 jaar geleden! Toen bestonden er nog geen links. Maar nu denk jij zeker dat dit allemaal verzonnen is; geen link, dan is het nep.

Over de afloop staat mij bij dat na uitleg er verder geen vervolg aan is gegeven. Als ware complotdenker weet ik niet of dat tegenwoordig nog voldoende is. Wellicht dat er toch even in je dossier wordt geneusd. We denken nu immers heel anders over afbeeldingen van blote kinderen dan 30 jaar terug.

Een paar elementen: bias, function creep, etnische achtergrond van ontwikkelaar (of vestigingsplaats van organisatie als geheel), (gemis aan) context en nog enkele zaken.

https://www.ibm.com/watson/assets/duo/pdf/everydayethics.pdf

Met alle respect, maar Apple begeeft zich momenteel in een grijs gebied. Immers ik vermoed dat Apple zowel Cloud services als de neural engine op iOS devices kan inzetten voor dergelijke analyses. Mijn vraag: wie toetst het algoritme, conform wiens maatstaven en wettelijke context, is er een arbitrage mogelijk, enzovoorts, enzovoorts.

Er is veel onduidelijk en er schuilen vele gevaren. De inzet van Algoritmen, Machine Learning en AI is relatief nieuw, maar wordt reeds toegepast in, bijvoorbeeld Amerika.

Zie hier het een en ander aan bevindingen:

https://www.technologyreview.com/f/614986/ai-face-recognition-racist-us-government-nist-study/

https://www.ibm.com/watson/assets/duo/pdf/everydayethics.pdf

En zo zijn er nog wat zaken die helemaal niet zo'n rooskleurig beeld geven van 'geautomatiseerd' toezicht.

En daarbij vind ik het nogal wat uitmaken of Apple zich zal beperken tot de cloud of de Neural Engine gaat inzetten op de apparatuur. Het doet mij denken aan kopieermachines waar je geen geld mee kunt kopiëren.

Zie hier een voorbeeld:



Verder wordt het wat mij betreft wel wat gemakkelijker om mensen valselijk in moeilijkheden te laten geraken. Immers, wordt er een analyse gemaakt hoe de beelden op je telefoon zijn geraakt?

Ik geef het volgende zieke voorbeeld: foute afbeelding, aangepaste exifdata, inclusief gegenereerde kenmerken en andere zaken en vervolgens via social media op telefoon(s) laten landen van slachtoffer(s).

Ziek? Wel, verdiep je wat meer in de zieke geest van de medemens en je zult erachter komen dat mensen elkaar vreselijke dingen aandoen. Ik betwijfel of deze manier van toezicht veel gaat helpen, daarbij vind ik de "false positives" en potentiële "bias" nog niet voldoende inzichtelijk gemaakt (danwel getackeld) om het live toe te passen.

Maar goed, iedereen mag zijn (of haar) eigen mening hebben ...

Maar je vraagt om een voorbeeldje, hier dan een van alweer heel wat jaartjes terug toen je bij de Hema nog je fotorolletje in een half uurtje kon laten ontwikkelen.

Een vader had wat fotootjes gemaakt van zijn twee blote peutertjes tijdens een dagje naar het strand en liet het rolletje bij de Hema ontwikkelen. Na een half uurtje ging hij de afdrukjes ophalen en werd daar opgewacht door twee rechercheurs van de zedenpolitie.

Ik geloof zeker wel dat zoiets heeft plaatsgevonden.

Maar wat er in tijd ook gebeurde is dat plegers van seksueel kindermisbruik, vreemd genoeg ook nog zo dom waren hun rolletjes te laten ontwikkelen bij een centrale, en er zo een aantal konden worden opgepakt en het misbruik kon worden gestopt.
Hadden die foto-ontwikkelaars hier ook niet op moeten aanslaan? Altijd lastige afwegingen.

We hebben het hier wel over 'toevallige' ontdekkingen.
Ik vind dat Apple zich verre moet houden van actieve opsporing. Dat is niet hun business, en daar zijn ze ook niet op alle vlakken voldoende geëquipeerd voor.

Het druist in tegen de ‘wij zijn voorstander van privacy’ die Apple voorstond.
. Een reactie van in deze van Tim Cook zou op zijn plaats zijn.

Boeiende en belangrijke discussie. Van mij een kanttekening bij dit verhaal aan de hand van dit citaat:

Alsof Apple haar screeningssoftware heilig is en exact kan onderscheiden wat mishandeling/ kinderporno is. ... Zit je samen in bad maak je een foto omdat je samen speelt met schuim, de grootste lol en dan belt de politie aan...

Wat Apple niet doet is z'n eigen AI algoritme loslaten op jouw foto's. met alle mogelijke risico's op 'false positives'. Waarschijnlijk gaat het hier om een techniek vergelijkbaar met Microsoft's 'PhotoDNA'. Apple krijgt toegang tot een politie foto-database van bestaande en bewezen kindermisbruik foto's en maakt daar een digitale handtekening van (net zoals Shazam muziek herkent). Deze 'hashes' worden vergeleken met de handtekening van jouw foto's (geüpload in iCloud wellicht, maar dat is nog niet duidelijk). Als er een match is worden de autoriteiten ingelicht (meer info). Je foto's worden nooit door iemand bekeken en zijn ook nooit voor iemand anders toegankelijk.

Belangrijk om te beseffen is dus dat je zoveel foto's van je kinderen in bad kunt maken als je wil, dat zal uiteraard nooit een match genereren. En dat is maar goed ook..

Zelfs met deze kanttekening ben ik het eens met Flix, dan nóg is dit geen taak van Apple of welk techbedrijf dan ook. Het lijkt nobel en 'waarom niet als we de technische mogelijkheden hebben?' Het juridisch kader ontbreekt er ontstaat een hellend vlak naar andere minder ernstige vergrijpen.

Ik herinner me een stukje over een gezin dat in de VS naar een zwembad ging met kleine meid - zonder bovenstukje. Daar werden ze dus prompt uitgegooid. Kan zo gauw niet vinden.

Je krijgt dus dit: ik maak zo'n blote kinderfoto, pleur 'm in iCloud, welke op de servers in de VS draait... en dan komt er een algoritme van Apple overheen en die pikt die eruit en dan? Dan moet er uiteindelijk toch een mens naar kijken?
Een Amerikaan met conservatievere ideeën over bloot dan wij hier in NL.



Hier staan overigens de regels genoemd: https://reizen-en-recreatie.infonu.nl/vrije-tijd/21571-zwemkleding-in-het-buitenland-bikini-topless-naakt.html

Je krijgt dus dit: ik maak zo'n blote kinderfoto, pleur 'm in iCloud, welke op de servers in de VS draait... en dan komt er een algoritme van Apple overheen en die pikt die eruit en dan?

Eh, nee. Volgens mij liet ik net zien waarom dat dus niet gebeurt.

Sorry, maar ik geloof er niks van. Uiteindelijk moet er een mens naar kijken om te beoordelen of het tegen de wet is.

Sorry, maar dan begrijp je totaal niet hoe de techniek werkt die ik noem. Daar kijkt dus geen mens naar, het matched alleen jouw foto's aan bekende en door rechtszaken bewezen kinderporno-foto's. Jouw foto's worden niet bekeken.

Dat stuk van de Info site is puur speculatief. Er staat nergens dat Apple dit gebruikt.

Uiteindelijk zal er een mens naar die foto's moeten kijken. Daar ben ik van overtuigd. Officieren van Justitie annex opsporingsambtenaren zijn nog altijd van het soort homo sapiens.

Uiteindelijk zal er een mens naar die foto's moeten kijken.

Dat doet Apple dus niet. Uiteraard niet.

We zullen het zien, boiing! 

Zeker, en ik kom hier op terug. Er staat in dat stuk inderdaad niet dat Apple ook deze techniek gebruikt, het is alleen waarschijnlijk of vergelijkbaar. Het zou de omgekeerde wereld zijn om te denken dat Apple nog veel verder gaat dan de PhotoDNA techniek van MS en wél mensen naar jouw iCloud foto's laat kijken! Dan kunnen ze morgen opdoeken..

Een beetje logisch nadenken, en ik weet zeker dat Apple hier nog wel wat uitleg over geeft de komende tijd  .

Ik bedoel ook niet dat ze metéén gaan kijken. Eerst de computer het werk laten doen en uiteindelijk moet er toch echt een mens aan te pas komen. Hoe wil je anders mensen gaan aanklagen?