Umelá inteligencia (AI) prináša nespochybniteľné výhody, no má aj odvrátenú tvár. Vážne obavy vyvoláva najmä tvorba nelegálneho sexuálne explicitného obsahu, ktorý najčastejšie zobrazuje ženy a deti. Nové štúdie a prípady ukazujú, že jednoduchosť používania a dostupnosť AI nástrojov uľahčujú jeho šírenie a tvorbu. Napriek zásadným dopadom na jednotlivcov a spoločnosť sa však táto problematika výrazne podceňuje.

Umelá inteligencia je dlhodobo skúmanou oblasťou, ale do centra pozornosti sa dostala keď bol na trh uvedený ChatGPT, jazykový model na generovanie textu. AI zahŕňa množstvo odvetví, modelov a spôsobov využitia. Vo všeobecnosti má potenciál na riešenie komplexných problémov v spoločnosti. Tento potenciál vyplýva z jej schopnosti umožňovať počítačovým systémom „učiť sa“ z obrovského množstva údajov a postupne zlepšovať výkonnosť v konkrétnej úlohe. Významným príkladom je vy užitie AI pri detekcii rakoviny, kde presnosť AI systémov prekonáva ľudských odborníkov. [1]

Napriek množstvu spoločenských prínosov môže byť umelá inteligencia aj zneužívaná. Dá sa povedať, že je vo veľkom zneužívaná už od bodu, keď sa softvérové nástroje využívajúce umelú inteligenciu stali dostupné širokej verejnosti. Toto je však iba pokračovanie trendu zneužívania kyberpriestoru, ktorý prišiel ešte v dobe expanzie internetu. [1] Umelá inteligencia sa využíva v širokom spektre (kyber)kriminality a to od tvorby phishingových kampaní, šírenia dezinformácií, jednoduchšieho vývoja malvéru až po vytváranie nekonsenzuálnych sexuálne explicitných obrázkov (SEI) a videí týkajúcich sa sexuálneho zneužívania detí (AI CSAM). [3]

V súčasnosti je tvorba SEI a AI CSAM jednoduchá a široko dostupná. AI nástroje umožňujú rýchlu produkciu tohto obsahu, čo výrazne prispieva k jeho rozšíreniu. Hlavnými obeťami týchto praktík sú až v 80 % prípadoch ženy a dievčatá. [4] [5]  Na dark-webových fórach existujú špecializované platformy, kde môžu užívatelia po poskytnutí dostatočného množstva fotografií alebo videí požiadať o vytvorenie sexuálne explicitných materiálov akejkoľvek osoby. [6] [7]

Pandémia COVID-19 ešte viac zvýšila dopyt po týchto materiáloch. Počas obdobia lockdownov došlo k dramatickému nárastu zdieľania detského sexuálne explicitného materiálu (CSAM), konkrétne o 106 %. [8] Len v období jedného mesiaca výskumníci objavili na dark-webových fórach cez 11-tisíc sexuálne explicitných obrázkov vygenerovaných pomocou AI, ktoré zobrazovali najmä 7 až 13-ročné deti. [9] Tento trend naďalej pokračuje a dopyt po takýchto materiáloch rastie. [10]

AI pornografia – tvorba obsahu

Tvorba sexuálne explicitných materiálov prostredníctvom generátorov AI je možná vďaka niekoľkým faktorom. Jedným z kľúčových aspektov je jednoduchosť, s akou môžu byť AI modely využívané. Užívatelia majú k dispozícii modely, ktoré môžu sami trénovať a následne používať.

Ďalším faktorom je obsah, na ktorom sa modely učia. Počas tréningovej fázy sú AI modely vystavené rozsiahlym dátovým sadám, ktoré zahŕňajú pornografický materiál, vrátane nelegálneho obsahu zobrazujúceho sexuálne zneužívanie dospelých a detí. Na základe týchto tréningových dát sú AI modely schopné generovať nový vizuálny obsah podobnej povahy. Navyše, tieto modely buď nemajú implementované kontrolné mechanizmy brániace produkcii nevhodného materiálu, alebo ich možno použitím staršej verzie modelu obísť. Tvorcovia tak môžu zneužívať nedostatočné bezpečnostné opatrenia modelov na tvorbu škodlivého sexuálne explicitného obsahu. [9]

Podobným spôsobom umožňujú niektoré AI systémy tvorbu tzv. „vyzliekacieho“ obsahu. Používateľovi stačí nahrať fotografiu oblečenej osoby a systém následne vygeneruje jej vyzlečenú podobizeň. [9]

Deepfake videá predstavujú ďalšiu a zároveň najvážnejšiu formu obsahu generovaného umelou inteligenciou. Táto technológia zneužíva AI na manipuláciu alebo vytváranie vizuálneho a zvukového obsahu. Jednou z najrozšírenejších foriem deepfake videí je syntetický pornografický materiál, kde sú zobrazované osoby pri sexuálnych aktivitách, na ktorých sa v skutočnosti nezúčastnili. Výsledná snímka vzniká „nalepením“ tváre osoby na telo inej osoby. [11]

Dôsledky pre jednotlivcov

Umelá inteligencia využívaná na tvorbu ilegálneho pornografického obsahu vrátane CSAM má závažné dôsledky pre jednotlivcov, ktorí sú v tomto type materiálu vyobrazení. Vytváranie realistického a často zavádzajúceho obsahu bez vedomia a súhlasu zobrazených osôb vedie k porušovaniu ich súkromia, dôstojnosti a bezpečnosti. Jedným z príkladov sú „vyzliekacie“ aplikácie, ktoré zneužívajú identitu jednotlivcov, primárne žien, na produkciu nedovoleného sexuálne explicitného obsahu. Takéto konanie predstavuje formu viktimizácie, čiže poškodzovania a spôsobovania ujmy obetiam, a môže mať dlhodobé negatívne dôsledky na psychické zdravie a život obetí. [9]

Ešte závažnejšie dôsledky majú deepfake videá, ktoré dokážu manipulovať audiovizuálny obsah tak, aby napodobňoval realitu. Štúdie, ktoré skúmali vplyv virtuálnej reality na jednotlivca, ukazujú, že v porovnaní so sledovaním inej osoby sledovanie samého seba vedie k vytváraniu falošných spomienok, v ktorých účastníci výskumu veria, že deepfake aktivitu skutočne vykonali. Syntetické videá tak majú potenciál výrazne narušiť medziľudské vzťahy a vnímanie reality. Deepfake pornografické materiály tiež formujú negatívne postoje voči obetiam a poškodzujú ich povesť, čo môže byť zneužité napríklad aj v politickom kontexte pred voľbami. Nedávna štúdia ukázala, že deepfake zobrazujúci politika výrazne zhoršil postoje účastníkov výskumu k danému politikovi. [11]

Ako príklad možno uviesť prípad severoírskej političky Cary Hunter, ktorá sa stala terčom deepfake pornografického videa krátko pred miestnymi voľbami. Ako sama tvrdí, ľuďom stačí len čiastková informácia na to, aby si utvrdili už existujúce negatívne predsudky voči danej osobe. Konkrétne deepfake video teda napáchalo škody nielen na jej psychickom zdraví, ale aj na jej kariére. Vyvrátenie tohto typu obsahu je zložité, pretože nepravdivé informácie sa šíria rýchlejšie ako pravdivé a tiež majú potenciál dostať sa početnému publiku. Zavádzajúci obsah je pútavejší, takže je pravdepodobnejšie, že sa bude opakovane zdieľať a rýchlo šíriť. Vyvrátenie zmanipulovaného obsahu si vyžaduje značné úsilie a dobre naplánovanú komunikačnú stratégiu. [6]

Dôsledky pre spoločnosť

Mimo markantných dopadov na jednotlivcov je nekonsenzuálny sexuálny obsah generovaný AI problémom aj pre spoločnosť. AI v tomto ohľade situáciu ešte zhoršuje vďaka možnosti personalizácie obsahu a rapídnemu zrýchľovaniu produkcie nového explicitného materiálu.

Výrazným problémom pornografie je sexuálna objektivizácia žien. Inými slovami, ženské telá sú vnímané najmä ako objekty určené na sexuálne uspokojenie. Umelá inteligencia ešte viac stupňuje tento problém tým, že umožňuje používateľom tvoriť akýkoľvek obsah podľa vlastného  želania. A želaní existuje mnoho, o čom svedčí aj znenie jedného z „pravidiel internetu“: ak existuje nejaký obsah, existuje aj jeho pornografická verzia. [12]

Ženy nie sú jediné, ktoré sa stávajú obeťami objektivizácie. Táto problematika sa dotýka aj detí, najmä dievčat. Objektivizácia detí v AI materiáloch je zložitý problém, ktorý sa spája s negatívnymi dôsledkami ako  sebaponižovanie, nespokojnosť s vlastným telom, nižšie sebavedomie, úzkosť, poruchy príjmu potravy, depresie či podporovanie sexuálneho správania v ranom veku. [13] Sexuálne explicitné zobrazovanie detí a žien prostredníctvom umelej inteligencie môže mať výrazné negatívne dopady a prispievať k normalizácii a znecitlivovaniu voči AI CSAM, CSAM a SEI. Toto znecitlivenie môže byť obzvlášť znepokojujúce v kontexte materiálu zobrazujúceho sexuálne zneužívanie detí. Opakované vystavenie sa materiálu daného typu môže viesť k návykom ho konzumovať a bagatelizovať sexuálne zneužívanie detí všeobecne. [14] [15] Okrem iného, normalizácia AI CSAM tiež skracuje detstvo, a to tak, že sexualizácia tínedžerov je vnímaná podobne ako sexualizácia dospelých, nie ako sexualizácia detí. [13] Tieto fenomény môžu zároveň viesť k zvýšenému riziku pedofílie v reálnom živote. [16]

Ďalším z dlhodobo študovaných efektov pornografie na spoločnosť a manželstvá je zvýšená rizikovosť rozvodov. Toto zvýšené riziko je spôsobené citovým odlúčením a zníženou intimitou medzi partnermi. V manželstvách, v ktorých jeden z partnerov konzumuje pornografický obsah, sa riziko rozvodovosti zvyšuje až dvojnásobne. [17] Rovnako osoby, ktoré uviedli, že v poslednom roku sledovali pornografický materiál, mali o 101 % vyššiu pravdepodobnosť mimomanželského pomeru. O 12 % nižšia bola aj pravdepodobnosť, že majú šťastné manželstvo. [18]  Ak zoberieme do úvahy čoraz nižšiu natalitu v ekonomicky produktívnych krajinách a fakt, že v manželstvách sa rodí viac detí ako mimo nich, [19] máme pred sebou celkom výrazný problém. Sexuálne explicitný obsah vytvorený umelou inteligenciou má tendenciu trend nižšej natality iba podporovať.

S už viditeľným trendom v oblasti rozvoja umelej inteligencie, ktorý zahŕňa mimo iného neustále zdokonaľovanie schopností vytvárania, upravovania a personalizácie video materiálov, možno očakávať, že AI bude napĺňať intímne túžby ľudí čoraz lepšie. To by znamenalo konzumáciu väčšieho množstva pornografického obsahu, čo môže zintenzívniť závislosť na sledovaní pornografie. Tá je spojená so zníženou sociálnou integráciou, delikventným správaním, depresívnymi symptómami alebo sexuálnou disfunkciou. [20] [21] S rozvojom virtuálnej reality (VR) sa tieto zážitky ešte viac prehlbujú, čo povedie k ďalšiemu šíreniu závislosti na pornografickom obsahu. Hoci v súčasnosti používanie VR nie je veľmi rozšírené, údaje z Pornhubu naznačujú, že u konzumentov pornografie z generácie Z nastáva o viac ako 100 % väčšia pravdepodobnosť, že si pozrú  VR pornografiu, v porovnaní s ostatnými vekovými skupinami. [22] To naznačuje, že používateľská základňa pre VR už existuje, aj keď staršie skupiny možno túto technológiu nevyužívajú. [23]

Ďalším trendom, ktorý súvisí s poklesom počtu sobášov a pôrodnosti, je nárast počtu ľudí žijúcich osamelo, trpiacich pocitom izolácie a fenoménom „singles“. Fenomén singles označuje osoby, ktoré sú sociálne aktívne a žiadané, no napriek tomu si z rôznych dôvodov nemôžu nájsť stabilný partnerský vzťah alebo oň v danom období života ani nemajú záujem. [24] Napríklad v Japonsku približne 45 % žien a 25 % mužov vo veku 16 až 24 rokov uviedlo, že nemajú záujem o sexuálny kontakt. [25]

V súčasnosti existujú technologické spoločnosti, ktoré vytvárajú aplikácie na tvorbu „ideálnych“ digitálnych partnerov, čím chcú bojovať proti pocitu samoty, no na druhú stranu zhoršujú trend nízkej natality. V Japonsku už teraz časť mladých mužov preferuje vzťahy s digitálnymi priateľkami. [25]  Nie je to iba Japonsko, ktorého populácia trpí izoláciou a samotou. Od roku 2000 sa štatistiky pocitu osamelosti a izolácie iba zhoršujú, pričom v posledných rokoch to výrazne ovplyvnila aj pandémia COVID-19. Fenomén osamelosti a izolácie sa dá ilustrovať aj na tom, že od roku 2008 sa počet mužov v USA pod 30 rokov, ktorí od svojich 18 rokov nemali pohlavný styk, viac ako strojnásobil. [23] [26]

Legislatívne výzvy využívania umelej inteligencie pri tvorbe sexuálne explicitného obsahu

Využívanie umelej inteligencie na tvorbu sexuálne explicitného obsahu predstavuje významnú výzvu aj vzhľadom na nedostatok primeraných legislatívnych opatrení. Neexistujú medzinárodné dohovory alebo všeobecné právne zásady, ktoré by boli špeciálne navrhnuté na ochranu obetí sexuálneho násilia páchaného prostredníctvom AI. Rôzne organizácie vrátane UNESCO, UNFPA a UN Women vyzývajú na spoločné úsilie vlád a technologického priemyslu s cieľom riešiť genderové násilie zosilnené technológiami. [27]

Existujúce právne predpisy nedokážu držať krok s rýchlo sa vyvíjajúcou technológiou. Regulácia tvorby, distribúcie a spotreby sexuálne explicitných materiálov si vyžadujú vytvorenie komplexných právnych rámcov. [28] Kontrola AI CSAM a SEI je náročná vzhľadom na skutočnosť, že kybernetický priestor nemá stanovené hranice a jeho legálnosť sa v jednotlivých štátoch líši. Anonymita internetu navyše komplikuje stíhanie páchateľov a tvorcov obsahu.

Právne prostredie čiastočne reaguje na súčasné výzvy. Najmä vysoko medializované incidenty podnecujú debatu o potrebe novej legislatívy a odstránení softvérových chýb, ktoré umožňujú tvorbu AI CSAM a SEI. Napríklad začiatkom roka si na sociálnej sieti X pozrelo až 47 miliónov ľudí nahé fotky speváčky Taylor Swift vytvorené pomocou AI, čo motivovalo spoločnosť Microsoft k vyriešeniu zraniteľnosti vo svojom AI grafickom generátore. Incident zároveň odsúdil aj Biely dom, hoci možným úmyslom bolo získať si širokú základňu fanúšikov Taylor Swift ako potenciálnych voličov. [28] V reakcii na incident navrhla skupina amerických senátorov zákon DEFIANCE, ktorý má tvorcov a distribútorov nekonsenzuálneho sexuálne explicitného obsahu stíhať prostredníctvom občianskoprávnych žalôb. [29]

Vymáhanie takýchto právnych predpisov v anonymnej sfére internetu je však spojené so značnými výzvami. Dané zákony by ale mohli slúžiť ako prostriedok odstrašenia a potenciálne znížiť tvorbu podobných materiálov.

Napriek nedostatočnej legislatíve sa v poslednom čase vyskytli pozitívne príklady z USA a Južnej Kórey, keď boli zatknuté  osoby podieľajúce sa na výrobe AI CSAM a SEI. [30] [31] Z takých prípadov vyplýva, že boj proti výrobe a distribúcii škodlivého materiálu je možný a môže byť účinný aj v prípade neexistencie dostatočného právneho rámca. Pre účinný postih tvorcov a šíriteľov spomínaného obsahu je nutné hľadať efektívne riešenia. To si vyžaduje komplexný prístup, ktorý zahŕňa nielen právne opatrenia, ale aj vzdelávanie a zvyšovanie povedomia o danej problematike.

Editor článku: Michaela Doležalová, Dávid Dinič

Zdroje

[1] Trend Micro Research, United Nations Interregional Crime and Justice Research Institute (UNICRI), Europol’s European Cybercrime Centre (EC3). (November 19, 2020). Malicious Uses and Abuses of Artificial Intelligence. Europol.Retrieved from https://www.europol.europa.eu/cms/sites/default/files/documents/malicious_uses_and_abuses_of_artificial_intelligence_europol.pdf

[2] Michèle A. Flournoy. (October 24, 2023 ). AI Is Already at War. Foreign Affairs. Retrieved from https://www.foreignaffairs.com/united-states/ai-already-war-flournoy

[3] Sayash Kapoor, Rishi Bommasani, Daniel E. Ho, Percy Liang, and Arvind Narayanan, et. al. (February 27, 2024). On the Societal Impact of Open Foundation Models. Retrieved from: https://crfm.stanford.edu/open-fms/

[4] Ajder, H., Patrini G., Cavalli, F. and Cullen, L. (September, 2019). The State of Deepfakes: Landscape, Threats, and Impact. Deeptrace. Retrieved from: https://regmedia.co.uk/2019/10/08/deepfake_report.pdf

[5] Kupriianova L., Kupriianova, D.(October 6, 2023 ). THE AI IN THE PORN INDUSTRY OF SOCIAL MEDIA: HUMAN REPLACEMENT OR PRECURSOR FOR GROWING THE SEXUAL VIOLENCE AND HUMAN TRAFFICKING INDICATORS?. Collection of scientific papers «SCIENTIA». Retrieved from: https://previous.scientia.report/index.php/archive/article/view/1236

[6] DW Documentary. (March 5, 2024). The dangers of AI in the porn industry | DW Documentary.  [Video]. Youtube. Retrieved from: https://www.youtube.com/watch?v=E0o0X3-3l0s

[7] Chiang, E. (March 2, 2020). Dark web: study reveals how new offenders get involved in online paedophile communities. The Conversation. Retrieved from: Dark web: Study reveals how new offenders get involved in online paedophile communities (theconversation.com)

[8] Europol. (June 19, 2020) Exploiting isolation: offenders and victims of online child sexual abuse during the Covid-19 pandemic. European Union Agency for Law Enforcement Cooperation. Retrieved from:
https://www.europol.europa.eu/publications-documents/exploiting-isolation-offenders-and-victims-of-online-child-sexual-abuse-during-covid-19-pandemic

[9] Internet Watch Foundation. (October 2023). How AI is being abused to create child sexual abuse imagery. IWF.Retrieved from https://www.iwf.org.uk/about-us/why-we-exist/our-research/how-ai-is-being-abused-to-create-child-sexual-abuse-imagery/

[10] Pfefferkorn, R. (February, 2024). Addressing Computer-Generated Child Sex Abuse Imagery: Legal Framework And Policy Implications. The Digital Social Contract: A Lawfare Paper Series. Retrieved from: https://s3.documentcloud.org/documents/24403088/adressing-cg-csam-pfefferkorn-1.pdf

[11] Hancock, J. Bailenson, J. (March 17, 2021). The Social Impact of Deepfakes. Cyberpsychology, Behavior, and Social Networking , 24(3) 149 – 152. Retrieved from_ https://www.liebertpub.com/doi/full/10.1089/cyber.2021.29208.jth

[12] James. (n.d.). Rule 34. Know your meme. Retrieved from: https://knowyourmeme.com/memes/rule-34

[13] Eelmaa, S. (June 10, 2022). SEXUALIZATION OF CHILDREN IN DEEPFAKES AND HENTAI. Trames : A Journal of the Humanities and Social Sciences, 26(2), 229-248. Retrieved from: doi: https://doi.org/10.3176/tr.2022.2.07

[14] Paul, Bryant and Daniel G. Linz (February 1, 2008). The effects of exposure to virtual child pornography on viewer cognitions and attitudes toward deviant sexual behaviour. Communication Research 35, 1, 3–38. Retrieved from: DOI: https://doi.org/10.1177/0093650207309359

[15] Al-Alosi, Hadeel (2018) The criminalisation of fantasy material: law and sexually explicit representations of fictional children. London and New York: Routledge. Retrieved from: DOI: https://doi.org/10.4324/9780203701829

[16] Quayle, E., & Taylor, M. (2002). child pornography and the internet: perpetuating a cycle of abuse. Deviant Behavior, 23(4), 331–361. Retrieved from: https://doi.org/10.1080/01639620290086413

[17] Perry, S. L., & Schleifer, C. (May 12, 2017). Till Porn Do Us Part? A Longitudinal Examination of Pornography Use and Divorce. The Journal of Sex Research, 55(3), 284–296. Retrieved from: https://doi.org/10.1080/00224499.2017.1317709

[18] Doran, K., Price, J. (February 28, 2014). Pornography and Marriage. Journal of Family and Economic Issues , 35, 489–498. Retrieved from: https://doi.org/10.1007/s10834-014-9391-6

[19] Stone, L., Spencer J. (October, 2022). Marriage Still Matters: Demonstrating the Link Between Marriage and Fertility in the 21st Century. Institute for family studies. Retrived from: https://ifstudies.org/ifs-admin/resources/reports/marriagestillmatters-final.pdf

[20] Pearson, D. (September 17, 2021). AI hurts population health status when it’s used to longitudinally hook people on porn. HealthExec. Retrieved from: https://healthexec.com/topics/artificial-intelligence/ai-hurts-population-health-status-when-its-used-longitudinally-hook

[21] George M., Maheshwari S., Chandran S., Rao T.,S.,S. (March 22, 2019). Psychosocial Aspects of Pornography. Journal of Psychosexual Health.1(1):44-47. Retrieved from: https://journals.sagepub.com/doi/10.1177/2631831818821535

[22] Pornhub. (2022). The 2022 Year in Review. Pornhub. Retrieved from: https://www.pornhub.com/insights/2022-year-in-review

[23] Faggella, D. (April 18, 2023). Artificial Intimacy: How AI-Generated Pornography is Changing Society. Emerj.Retrieved from: https://emerj.com/ai-power/artificial-intimacy-how-ai-generated-pornography-is-changing-society/

[24] Chorošeninová, E. (2011). Fenomén singles v ČR (přehledová studie). Bakalárska práca. Masarykova univerzita. Retrieved from: https://is.muni.cz/th/on1w1/1.pdf[25] Kislev, E. (January 16, 2022). What Japan Can Teach Us About the Future of Relationships. Psychology Today. Retrieved from: https://www.psychologytoday.com/us/blog/happy-singlehood/202201/what-japan-can-teach-us-about-the-future-relationships

[26] Ingraham, Ch. (March 29, 2019). The share of Americans not having sex has reached a record high. The Washington Post. Retrieved from: https://www.washingtonpost.com/business/2019/03/29/share-americans-not-having-sex-has-reached-record-high/

[27] Equality Now. (January 17, 2024). Briefing Paper: Deepfake Image-Based Sexual Abuse, Tech Facilitated Sexual Exploitation and the Law. Equality Now. Retrieved from: https://equalitynow.org/resource/briefing-paper-deepfake-image-based-sexual-abuse-tech-facilitated-sexual-exploitation-and-the-law/

[28] Radauskas, G. (February 1, 2024). Taylor Swift debacle spurs tech world and US lawmakers into action. Cyber News. Retrieved from: https://cybernews.com/news/taylor-swift-deepfake-microsoft-regulation/

[29] U.S. Senate Committee on the Judiciary. (January 30, 2024). Durbin, Graham, Klobuchar, Hawley Introduce DEFIANCE Act to Hold Accountable Those Responsible for the Proliferation of Nonconsensual, Sexually-Explicit “Deepfake” Images and Videos. U.S. Senate Committee on the Judiciary. Retrieved from: https://www.judiciary.senate.gov/press/releases/durbin-graham-klobuchar-hawley-introduce-defiance-act-to-hold-accountable-those-responsible-for-the-proliferation-of-nonconsensual-sexually-explicit-deepfake-images-and-videos

[30] Rennolds, N. (September 30, 2023). A man was jailed for using AI to create hundreds of sexual images of children. Buisiness Insider. Retrieved from: https://www.businessinsider.com/man-jailed-using-ai-create-sexual-images-children-south-korea-2023-9?ref=biztoc.com&r=US&IR=T

[31] Cole, S. (May 20, 2024). FBI Arrests Man For Generating AI Child Sexual Abuse Imagery. 404 Media. Retrieved from: https://www.404media.co/fbi-arrests-man-for-generating-ai-child-sexual-abuse-imagery/