Lep pozdrav in dobro jutro vsem!

Pričenjam 14. sejo Odbora za notranje zadeve, javno upravo in lokalno samoupravo in pozdravljam še enkrat vse članice in člane, vse vabljene in vse ostale!

Danes imamo nekaj pooblastil, bom kar prebrala: dr. Martin Premk nadomešča Sandro Gazinkovski, Jonas Žnidaršič nadomešča poslanca Damijana Zrima in poslanka Sara Žibrat nadomešča poslanca Teodorja Uraniča.

27. oktobra 2023 ste bili z dopisom obveščeni, da se bo dnevni red današnje seje odbora razširil s točko A1. dnevnega reda, to je z obravnavo zadeve Evropske unije, pri čemer vas obveščam, da o tej širitvi v skladu s 154.d členom Poslovnika Državnega zbora ni glasovanja. K dnevnemu redu seje, ni bilo drugih predlogov za razširitev oziroma za umik seje in je dnevni red določen kot je bil določen s sklicem seje in z omenjeno širitvijo.

Prehajamo na TOČKO A1. DNEVNEGA REDA - PREDLOG STALIŠČA REPUBLIKE SLOVENIJE DO PREDLOGA UREDBE EVROPSKEGA PARLAMENTA IN SVETA O DOLOČITVI HARMONIZIRANIH PRAVIL O UMETNI INTELIGENCI (AKT O UMETNI INTELIGENCI) IN SPREMEMBI NEKATERIH ZAKONODAJNIH AKTOV UNIJE - SPLOŠNI PRISTOP.

Predlog stališča je na podlagi prvega odstavka 4. člena Zakona o sodelovanju med Državnim zborom in Vlado v zadevah Evropske unije Državnemu zboru v obravnavo dne 25. 10. posredovala Vlada.

K tej točki so bili vabljeni Ministrstvo za digitalno preobrazbo, naknadno pa smo povabili še Amnesty International Slovenije in Zavod Danes je nov dan.

Pričenjam z obravnavo predloga stališča, ki jo bomo opravili na podlagi 154.h člena Poslovnika Državnega zbora. Po opravljeni razpravi bo odbor oblikoval mnenje in ga poslal Odboru za zadeve Evropske unije kot pristojnemu odboru.

In besedo dajem kar predstavnici Ministrstva za digitalno preobrazbo, državni sekretarki dr. Aidi Kamišalić Latifić.

Izvolite.

Najlepša hvala za besedo spoštovana predsedujoča.

Spoštovane članice, spoštovani člani odbora, drugi udeleženke, udeleženci, vabljeni na sejo tega odbora.

Kot je bilo uvodoma povedano, pred vami je stališče, predlog stališča Republike Slovenije do predloga uredbe Evropskega parlamenta in sveta o določitvi harmoniziranih pravil o umetni inteligenci, ki ga je Vlada sprejela 25. oktobra letos. Stališče je bilo pripravljeno in usklajeno v okviru medresorske delovne skupine za strokovno podporo v postopku obravnave predloga uredbe EU o umetni inteligenci, kjer sodelujejo vsa zainteresirana ministrstva, Ministrstvo za digitalno preobrazbo pa je odgovorno za koordinacijo aktivnosti na področju umetne inteligence. Namen akta o umetni inteligenci je razvoj pravnega okvira za zaupanja vredno umetno inteligenco. Predlog temelji na vrednotah in temeljnih pravicah Evropske unije, njegov namen pa je ljudem zagotoviti zaupanje v rešitve, ki temeljijo na umetni inteligenci ter spodbuditi podjetja, da jih kot take tudi razvijajo. Umetna inteligenca bi morala biti orodje za ljudi in delovati v dobro družbi, s končnim ciljem povečanja blaginje ljudi.

Pravila za umetno inteligenco, ki je na voljo na trgu Evropske unije ali kako drugače vpliva na ljudi v Evropski uniji, bi morala biti za to osredotočena na človeka, da bi ljudje lahko zaupali, da se tehnologija uporablja na varen način in v skladu z zakonodajo, vključno s spoštovanjem človekovih pravic in temeljnih svoboščin. Glavni cilj tega predloga je zagotoviti pravilno delovanje notranjega trga z določitvijo harmoniziranih pravil zlasti o razvoju, delovanju na trg Evropske unije ter uporabi proizvodov in storitev, ki uporabljajo tehnologijo umetne inteligence ali se zagotavljajo kot samostojni sistemi umetne inteligence.

Predlog stališča Republike Slovenije je skladen z Nacionalnim programom spodbujanja razvoja in uporabe umetne inteligence v Republiki Sloveniji do leta 25. Specifično akt naslavlja potrebo po zagotovitvi ustreznega pravnega in etičnega okvirja kot to določa 8. strateški cilj nacionalnega programa, vključno z ustreznimi ukrepi za oblikovanje ustreznega upravljavskega in nadzornega okolja za varen in etičen razvoj in uporabo zaupanja vredne umetne inteligence. Seveda, izvajanje tudi nacionalnega programa bo imelo tudi vpliv na nacionalni proračun, saj bo zahtevalo oblikovanje organizacijske strukture za delovanje celotnega sistema nadzora, akreditacij in certificiranja sistemov umetne inteligence, poleg tega tudi potencialno oblikovanje predvidenih regulativnih peskovnikov. Republika Slovenija v stališču poudarja, da je umetna inteligenca ena izmed prioritet in se aktivno vključuje v proces priprave in sprejemanja uredb umetne inteligence na ravni Evropske unije, pozdravlja predlog zakonske ureditve umetne inteligence v aktu o umetni inteligenci, ki prinaša sistemski pristop k regulaciji umetne inteligence na notranjem trgu Evropske unije. Ta pristop zagotavlja, da se upoštevajo različni pogoji in zahteve za različne proizvode in storitve umetne inteligence ter se analizirajo vplivi, učinki in izzivi, ki jih uvedba umetne inteligence prinaša v družbo. Nadgrajuje se prvotna stališča v zvezi z aktom na podlagi sprememb v fazi usklajevanja na Svetu EU in upoštevanja zadnje spremembe v razvoju, rešitev umetne inteligence splošnega namena, kot so veliki jezikovni modeli, ter se odziva na rezultate javne razprave o prenovljenih stališčih. Podpira usklajen mednarodni pristop in se zavzema za proaktivno delovanje na mednarodni ravni, da bi dosegli večje mednarodno sodelovanje ter poenotenje razumevanja pristopov in izvajanje politik na področju umetne inteligence. Cilj je zagotoviti razvoj in uporabo zaupanja vrednih storitev in produktov, ki temeljijo na umetni inteligenci. Zagovarja sistemsko urejanje različnih področij uporabe umetne inteligence in se strinja z izvzetjem nacionalne varnosti in vojaške uporabe iz Akta o umetni inteligenci, saj meni, da je to v pristojnosti držav članic. Podpira regulacijo umetne inteligence na podlagi tveganja za človekove pravice in varnost. Poudarjamo, da je potrebno regulirati uporabo umetne inteligence, ne pa same tehnologije, ter zagovarja jasno in transparentno opredelitev različnih segmentov uporabe ter ustrezne regulativne zahteve. Zavzema se za horizontalni pristop k regulaciji različnih proizvodov in storitev umetne inteligence, da bi vzpostavili konkreten okvir za prihodnji razvoj in uporabo umetne inteligence ne glede na različna področja. Poudarja potrebo po tehnično jasni in razumljivi definiciji sistema umetne inteligence ter podpira uporabo OECD definicije z bolj podrobnim opisom funkcionalnosti. Spodbuja transparentnost pri umetni inteligenci splošnega namena, ki omogoča človeku razumevanje: ali je vsebina generirana s strani umetne inteligence, ter zagovarja urejanje raziskav in razvoja v skladu s strokovnimi standardi. Zahteva jasno opredelitev visokega tveganja in predlaga uporabo klasifikacijskega okvirja OECD za natančnejšo določitev ravni tveganja pri uporabi različnih sistemov umetne inteligence. Poudarja potrebo po človeškem nadzoru nad umetno inteligenco v pravosodju in u pravnem odločanju, še posebej pri visoko tveganih sistemih umetne inteligence. Podpira uporabo umetne inteligence na področju javne varnosti, pri čemer zagovarja spoštovanje človekovih pravic in temeljnih svoboščin ter jasno opredelitev prepovedanih praks, vključno z omejitvami biometrične identifikacije. Zavzema se za učinkovit upravljavski okvir in pravno varstvo za posameznike, ki so izpostavljeni umetni inteligenci, ter za primerljive kazni za vse deležnike, tudi za EU institucije.

Spoštovani članice, spoštovani člani odbora, predlagam, da predlog stališča podprete. Hvala.

Hvala lepa. Naslednji dajem besedo predstavnici Zavoda Danes je nov dan, pa vas prosim, če se predstavite za magnetogram.

Dober dan. (Maja Cimerman, Inštitut Danes je nov dan.) Spoštovana predsedujoča, hvala za besedo. Lep pozdrav tudi ostalim članom odbora in ostalim prisotnim. Hvala za vabilo na današnjo sejo.

Na Inštitutu Danes je nov dan menimo, da je predlog stališča Republike Slovenije glede akta o umetni inteligenci v mnogih aspektih ustrezen in da ustrezno ščiti pravice državljanov EU. Vseeno pa v nadaljevanju predlagamo nekatere spremembe, ki bi slovensko stališče izboljšale in prispevale, da akt o umetni inteligenci ščiti človekove pravice in svoboščine vseh posameznikov in skupin, kot je opredeljeno v listini Evropske unije o temeljnih pravicah.

Naši predlogi so naslednji. Kot prvo, predlagamo, da se iz predloga stališča odstrani izjema za rabo umetne inteligence na področju nacionalne varnosti, kot je omenjeno na tretji strani predloga stališča v drugi alineji točke A. Torej v predlogu stališča, kot smo že slišali, je zapisano, da se Republika Slovenija zavzema za, citiram: "Izvzetje področja nacionalne varnosti in vojaške rabe iz akta o umetni inteligenci ne zato, ker ne bi želela, da se tudi o tem področju ne zasledujejo cilji regulacije umetne inteligence, temveč zato, ker se strinja, da urejanje teh področij ni v pristojnosti Evropske unije, temveč v pristojnosti nacionalnih držav." - konec citata. Slovenija se tukaj naslanja na stališče Sveta EU, s katerim pa se ne strinjata Evropska komisija in Evropski parlament. Svet v svojem mnenju izhaja iz obstoječe delitve pristojnosti, kot je opredeljena v Lizbonski pogodbi, vendar namen Akta o umetni inteligenci ni omejevanje delovanja držav članic na področju nacionalne varnosti. Namen akta je ustvariti usklajena pravila za notranji nadzor pri razvoju in uporabi sistemov umetne inteligence. Usklajevanje notranjega trga pa je v pristojnosti Evropske unije. Splošna izjema za področje nacionalne varnosti bi bila v tej situaciji v nasprotju s sodno prakso sodišča EU, ki pravi, da je potrebno kadarkoli se uporablja zakonodaja EU - v tem primeru gre za ureditev notranjega trga - kakršnekoli izjeme, zaradi nacionalne varnosti uvesti v skladu s členom 52, Listine EU o temeljnih pravicah, torej presojeno za vsak primer posebej ob upoštevanju zahtev zakonitosti, stroge nujnosti in sorazmernosti. Torej na podlagi tega ne more biti splošne izjeme oziroma izključitve iz zakonodaje Evropske unije za vse dejavnosti nacionalne varnosti. Nobena zakonodaja EU ne vsebuje izjeme, ki bi bila splošne narave. GDPR na primer, podobno kot Direktiva o kazenskem pregonu pravi, da se ne uporablja za obdelavo osebnih podatkov med dejavnostjo, ki ne spada na področje uporabe prava unije in člen 23, GDPR zahteva, da se morebitne pravice, izjeme od pravic posameznikov, na katere se nanašajo osebni podatki, ocenijo za vsak primer posebej in uvedejo v zakon v skladu z Listino EU o temeljnih pravicah. Torej bi splošna izključitev umetne inteligence, ki je bila razvita ali uporabljena v namene nacionalne varnosti, presegla omejitev pristojnosti, ki jih uvaja Lizbonska pogodba. Tudi vohunska programska oprema Pegasus, na primer, je bila razvita v namene nacionalne varnosti, pa je njena nadaljnja raba presegla ta namen. Zato predlagamo, da se iz predloga stališča Republike Slovenije glede akta o umetni inteligenci odstrani izjema za rabo umetne inteligence na področju nacionalne varnosti, torej da se v stališču Republika Slovenija zavzame za ohranitev izvirnega besedila komisije ali pa vsaj sledi pristopu, ki je bil sprejet z GDPR in drugimi zakoni EU, ki omejuje izvzetje na dejavnosti, ki ne spadajo na področje uporabe prava EU.

Kot drugo predlagamo, da Republika Slovenija v predlog stališča doda, da se ne strinja z modelom, po katerem se ponudniki sami odločijo, ali ustrezajo klasifikaciji sistema visokega tveganja. V prvotnem osnutku Evropske komisije je sistem umetne inteligence štel za visoko tveganega, če naj bi se uporabljal za enega od visoko tveganih namenov, navedenih v prilogi 3, vendar sta Svet EU in Evropski parlament uvedla vrzel, ki bi ponudnikom teh sistemov omogočala, da se sami odločajo, ali menijo, da je sistem visoko tvegan. To v praksi pomeni, da bi isto podjetje, za katerega bi veljal akt, imelo pooblastilo, da se enostransko odloči, ali naj bi akt zanj veljal ali ne. Takšna sprememba bi povzročila uvedbo visoke pravne negotovosti glede tega kateri sistemi se štejejo za visoko tveganje, poleg tega bi vodila v razdrobljenost enotnega trga EU z različnimi razlagami o tem, kaj je visoko tveganje v posameznih državah članicah. Posledično bi vodila do tega, da se organi držav članic soočajo s hudimi izzivi pri uveljavljanju zakonodaje brez dovolj sredstev za zadostno spremljanje samo ocenjevanja ponudnikov, in dopustila bi brezobzirnim ponudnikom, da se izognejo osnovnim zahtevam akta, ki naj bi naredile njihove sisteme varnejše in zanesljivejše, kar bi posledično postavilo odgovorne razvijalce umetne inteligence v slabši položaj. Te spremembe člena 6 je potrebno nujno zavrniti in ponovno vzpostaviti prvotni postopek Evropske komisije za razvrščanje tveganj. Obstajati mora objektiven, skladen in pravno varen postopek za določitev, kateri sistemi umetne inteligence so opredeljeni kot visoko tvegani. Poleg tega, danes je nov dan, podpira popolno prepoved sistemov družbenega razvrščanja in ne le omejitev družbenega razvrščanja, kakor je trenutna dikcija v predlogu stališča Republike Slovenije. Danes je nov dan in še sedem drugih organizacij, ki so aktivne na področju migracij in azila podpira prepoved izvoza prepovedanih in visoko tveganih tehnologij ter prepoved uporabe teh tehnologij za nadzor zunanjih meja EU in nadzor tujcev. S tem, ko EU dovoljuje uporabo nevarnih in prepovedanih umetno inteligentnih sistemov zunaj EU, na mejah EU in v begunskih centrih, relativizira človekove pravice in uvaja dvojna merila in neenako obravnavo oseb. Danes je nov dan, se tudi zavzema za več transparentnosti, pravne zaščite in nadzora javnosti pri uporabi umetne inteligence v javnem in zasebnem sektorju. Predvsem se zavzemamo za obvezo tistih, ki uporabljajo take sisteme, da omogočijo pravno varstvo in dostop do informacij tretjim osebam, torej tistim, ki jih sistemi umetne inteligence targetirajo. Danes je nov dan se tudi zavzema za odpravo izjeme za obstoječe velike podatkovne sisteme EU, saj imajo ti že zdaj izjemne posledice za varstvo človekovih pravic v Evropski uniji.

To je naše stališče, ki smo ga podrobneje obrazložili tudi v dopisu, ki smo ga poslali na Generalno pisarno Državnega zbora.

Hvala lepa.

Hvala lepa.

Postopkovno, izvolite, gospod Žan Mahnič.

Hvala za besedo, predsednica.

Kolegice in kolegi!

Zdaj, tema o kateri govorimo je po mojem mnenju ena največjih sodobnih groženj v naši civilizaciji in tukaj je potrebno govoriti o tej temi oziroma odpirati prava vprašanja, zagotovo nekatere od njih smo zdajle slišali, s skrbnostjo in pa z vso resnostjo.

Zdaj, dali ste nam na mizo en sklep, se pravi, da bomo pozvali, da se naj Vlada v roku sedmih dni nekako opredeli do tega, kar bomo danes slišali oziroma kar smo zdajle slišali s strani inštituta Danes je nov dan, vabila pa ste tudi Amnesty International. Dobro, ne bom spraševal po kakšnem ključu ravno ti dve organizaciji, ker mi je jasno, ampak jaz mislim, da zagotovo je v tej državi veliko organizacij in pa ljudi, ki imajo o tej temi marsikaj za povedati. Jaz bi rad slišal tudi recimo stališče Sove, policije, IT-jevcev, razno raznih organizacij in ne mudi se nam. Kakor tukaj piše, je predviden čas sprejemanja prva polovica leta 2024, zato, gospa predsednica, predlagam, da glede na stališče, ki je pomembno in ki bo pomembno tudi oblikovalo prihodnost na tem področju, ki je nevarno področje.

V skladu s 46. členom Poslovnika Državnega zbora ta odbor glasuje, da se o tem opravi javna predstavitev mnenj. Prepomembna je ta tema, da bi o njej razpravljali samo člani tega in pa predvidevam še Odbora za zadeve Evropske unije in pa dve organizaciji, seveda spoštujem njihovo mnenje in imajo pravico to povedati, ampak tema je res pereča. Videl sem sam prejšnji teden, ko smo bili z Natom v Turčiji, kaj pomeni umetna inteligenca tudi na področju vojskovanja, tudi na področju, kar se trenutno počne na Bližnjem vzhodu. In mislim, da je prav, tudi če odložimo še zadevo za en teden, da se o tem pogovorimo, predvsem pa povabimo ljudi, ki o tem dejansko nekaj vedo, vključno s tema dvema inštitutoma, da povedo svoje mnenje, tako tisti, ki opozarjajo na nevarnosti, kot tudi tisti, ki po mojem mnenju na nek način brezglavo govorijo, da je treba vse sprostiti in pa to zadevo pospešiti.

Tako, da jaz bi prosil, jaz upam, da razumete, da tukaj smo v istem zosu in levi in desni in opozicija in koalicija in je pomembno, da preden karkoli se odločimo, tudi sam, ko sem bral, se ne strinjam z vsem, nekatere stvari so v našem stališču dobre, nekatere je potrebno, bi bilo potrebno spremeniti, kajne, potem imamo spet sicer tisto, koliko lahko Slovenija dejansko tukaj, ampak dajmo izbrati iniciativo na pravi strani in to je iniciativa na strani držav, ki opozarjajo na vse nevarnosti, kaj to prinaša, pa nisem proti razvoju, ampak nekje pa je vendarle potrebno postaviti meje.

Hvala lepa za vaše stališče.

Se v principu tudi strinjam delno z njim ali pa celo v precejšnji meri, ampak imamo rok za obravnavo predloga stališča v Državnem zboru postavljen na 17. 11., je pa zadnje telo, ki bo o tem, - delovno telo -, ki bo o tem odločalo, Odbor za EU, tako, da mogoče bi bilo tudi zelo smiselno, tudi po mojem mnenju, da se povabi tja tudi kakšne druge strokovnjake na tem področju. Jaz bom kar odkrito povedala, da smo povabili tiste, ki so se…, so bili zainteresirani za to, da jih povabimo in predlagam, da gremo zdaj naprej z našo sejo, da pa se mogoče, ne vem, opredeli ali pa dogovorite za naslednji odbor, da se naredi kakšna širša razprava.

Izvolite, postopkovno Žan Mahnič.

Mi imamo kar lep seznam stvari, s katerimi zamujamo, kar se rokov tiče, tako, da to ne bi bila edina stvar, sploh pa, gospa predsednica, rok za obravnavo je 17. november, to, če se ne motim, je naslednji petek. Mi imamo komot naslednji teden, začetek tedna, predstavitev stališč in potem še odbor skličete. Tako da, ne bi bilo prvič, ali ne? Druga zadeva pa je, naj se Vlada do tega opredeli, se pravi ali je za neko, neko širšo zadevo. Jaz pač predlagam, ne konec koncev, saj če ste odločeni, da pač ne, ampak jaz mislim, da rok ni izgovor, ker marsikje zamujamo, oz. pač pride zadeva kasneje na vrsto, da vsaj daste predlog, da se opravi javna predstavitev mnenj na glasovanje in pač člani o tem glasujemo. Se pa da zadeva sklicati v parih dneh in bi tudi ta rok 17. november ujeli.

Hvala za predlog. Jaz mislim in tudi strokovni sodelavci pravijo, da nimamo časa za sklic javne predstavitve, da je treba to na široko in da ne bo šlo do, 17. 11., je pa tudi dejstvo, da tudi če ne bomo glasovali o sklepu oz. mnenju bo ta veljal kot da je sprejet. Tako, da predlagam, da gremo z razpravo naprej in pozivam člane in članice, da se k razpravi prijavijo, če želijo. Želi kdo razpravljati? No, potem se k razpravi prijavljam sama. Aha, izvoli, Nataša Sukič.

Ja, kaj naj rečem. Mislim, zdaj, to so res občutki zelo hiteti počasi, če se le da. Tudi opozorila civilne družbe so seveda izjemno na mestu in pomembna. Zdaj, če slučajno vlada jih ne bo sprejela, kaj potem bomo pač ne upoštevali tega in vrzeli naprej? Glede na to, da se to sprejema šele prihodnje leto, je treba mogoče vsaj premisliti, če bo vlada, ne vem, bomo videli kako se bo Vlada sploh odzvala, saj ta sklep poziva vlado, da se opredeli. Ampak če se Vlada slučajno ne odzove pozitivno na to, kaj bomo? Ali bomo kar pustili takšne nevarnosti v tej vsej zadevi noter? To niso preproste stvari. Mi v Levici smo zmeraj bili zelo, zelo pazljivi v prejšnjih mandatih, ravno pri tovrstnih zadevah. To niso nedolžne stvari, če se karkoli, potem v realnosti in v praksi. Tako, da jaz ne vem kaj bi lahko naredili. Jaz se strinjam, da pozovemo Vlado, da se opredeli in s tem sklepom nima nobenega problema. Samo ne vem, kaj pa bomo, če se Vlada recimo ne bo akceptirala teh pobud, ki so zelo dobre, kaj pa potem? O tem je mogoče treba razmisliti, kaj naredimo. Mi smo le vendarle pristojno telo v parlamentu in potem bi bilo treba malo razmisliti, kateri so koraki naprej. Hvala.