Spoštovane članice in člani, vsi ostali prisotni!

Pričenjam 8. sejo Odbora za pravosodje.

Obveščam vas, da so zadržani in se seje ne morejo udeležiti naslednje članice in člani odbora: Andrej Hoivik.

Na seji kot nadomestne članice in člani odbora s pooblastili sodelujejo: Bojan Podkrajšek nadomešča Branka Grimsa in Lenart Žavbi nadomešča Andrejo Kert.

Ker k dnevnemu redu seje ni bilo predlogov za razširitev oziroma umik katere od predlaganih točk, je določen dnevni red seje, kot je bil predlagan s sklicem.

Prehajamo na 1. TOČKO DNEVNEGA REDA, TO JE NA OBRAVNAVO PREDLOGA STALIŠČA REPUBLIKE SLOVENIJE DO PREDLOGA DIREKTIVE EVROPSKEGA PARLAMENTA IN SVETA O PRILAGODITVI PRAVIL O NEPOGODBENI CIVILNI ODGOVORNOSTI UMETNI INTELIGENCI (DIREKTIVA O ODGOVORNOSTI NA PODROČJU UMETNE INTELIGENCE).

Na sejo k tej točki so vabljeni Ministrstvo za pravosodje.

Pričenjamo obravnavo Predloga stališča, ki ga bomo opravili na podlagi 154.h člena Poslovnika Državnega zbora.

Po opravljeni razpravi o predlogu stališča ter po razpravi in glasovanju o morebitnih amandmajih bo odbor oblikoval mnenje in ga poslal Odboru za zadeve Evropske unije kot pristojnemu odboru.

Besedilo dajem ministrici za pravosodje, ki mislim, da je ni danes, državnemu sekretarju dr. Igorju Šoltesu.

Izvolite besedo!

Hvala.

Hvala predsedujoča za besedo.

Spoštovane poslanke in poslanci, dobro jutro, rana ura.

Torej, gre za stališče Slovenije do predloga Direktive Evropskega parlamenta in Sveta o prilagoditvi pravil o nepogodbeni civilni odgovornosti o umetni inteligenci.

Gre pravzaprav za prvi tak primer, ki ga naslavlja Evropska komisija in gre pravzaprav za zelo zanimiv dokument, zlasti s stališča, ker v prihodnosti se bomo vse prej morali soočiti z umetno inteligenco, vedno bolj pogosto. In tu se bo postavilo mnogotero o številu vprašanj, od vprašanj, bom rekel, etike, do vprašanj seveda tudi odgovornosti v delovanju umetne inteligence, da pravzaprav ta imaginarni pojem počasi pripeljemo tudi v nek pravni okvir, ker sicer smo na bolj nevarni strani, kot si mislimo.

Evropska komisija je oktobra letošnjega leta predstavila predlog Direktive o odgovornosti na področju umetne inteligence in predlog se nanaša na področje, ki ga doslej evropsko pravo še ni urejalo. Predvsem je pa namen te direktive olajšati položaj odškodninskega upravičenca, če uveljavlja nepogodbeni civilno pravni odškodninski zahtevek na temelju krivdne odgovornosti, in da je do nastanka škode prišlo zaradi uporabe umetno inteligenčnega sistema. Sliši se kar zapleteno, gre pa predvsem za to, no, dokazno breme. Skratka, meni kot oškodovancu, če menim, da mi je bila povzročena škoda zaradi delovanja te umetne inteligence, lahko del krivdnega bremena prenesem na tega oziroma na upravljavca na način, da predloži on dokaze in evidentiranje delovanja sistema, na podlagi katerega potem lahko lažje uveljavljam svojo odškodnino.

Predlog uvaja pravila, ki bodo olajšala položaj oškodovancev, tako da bi lažje, ceneje in hitreje uveljavljali svoje odškodninske zahtevke. Predlog direktive pa razlikuje med načinom uveljavljanja zahtevka za umetno inteligenčni sistem velikega tveganja in za uveljavljanje zahtevka glede vseh ostalih umetno inteligenčnih sistemov. Potrebno je seveda reči, da predlog direktive obeh vrst sistemov ne opredeljuje, temveč se poslužuje definicij s predloga akta o umetni inteligenci, glede katerega je akt svet sprejel splošen pristop 6. decembra.

Ključna določba predloga direktive pa je, da pač, kot sem rekel, če bi potencialni oškodovanec verjetno izkazal, da je ta umetno inteligenčni sistem velikega tveganja povzročil škodo, bi lahko zahteval od nasprotne stranke razkritje ali zavarovanje dokazov tudi po sodni poti. Se pravi, predlog določa, da v primeru, če zavezanec za razkritje podatkov o letih ne bi hotel razkriti ali zavarovati dokazov, bi se, to je pomembno, ne domnevala vzročna zveza med krivdno odgovorne osebe in vzhodnimi podatki, se pravi na eni strani med krivdo odgovorne osebe pa povzročeno škodo, če zelo zelo poenostavim, ta del. In mislim, da, gre pa predvsem za to, ker oškodovancem je skoraj nemogoče ali pa izjemno zahtevno, drago dokazovati, bom rekel, to vzročno zvezo neki umetni inteligenci, če ne bi bila umetno inteligentna, potem bi bili mi tisti, ki bi vodili. Ravno zaradi tega je šlo evropsko pravo v smeri, da neko olajša to breme krivde ali pa breme odgovornosti in jo prelaga pravzaprav na ta visoko ali pa sistem velikega tveganja.

No, pri teh umetno inteligenčnih sistemih, ki niso sistemi velikega tveganja, pa bi taka domneva veljala bolj omejeno, se pravi samo v primeru, če bi šlo za odškodninskega upravičenca, ki bi imel pretirane težave dokazati vzročno zvezo, kar bo moralo pa ugotavljati sodišče.

Zelo bo zanimivo seveda spremljati sodno prakso, tudi na evropski ravni, kako bodo to po posameznih državah sodišča razsojala. Tako da, če rečem, pustimo se presenetiti. Pomembno pa je, da imamo prvi tak pravni okvir v okviru Evropske unije. Je pa res, da s tem se bo tudi Slovenija v svojem notranjem kazensko pravnem sistemu morala ali pa odškodninskem sistemu morala soočiti in teh, bom rekel, »sui generis« pojavov bo verjetno vedno več.

Bi pa mogoče tu omenil samo še eno zadevo. Pred, mislim da, dvemi tedni smo se vrnili iz obiska Sveta Svetu Evrope, in tam je poseben poudarek dan tudi Konvenciji o umetni inteligenci, ki je šel že čez drugo branje Sveta. Gre pa za to, da Svet postavlja, bom rekel, temelje, postavlja standarde, postavlja ta okvir razumevanja umetne inteligence v prostoru. Evropska unija, ki pa včasih oziroma včasih malo tekmujejo eden z drugim, to je mogoče malo moteče v tem prostoru, in namesto, da bi bolj sodelovale, pa določa s svojo uredbo, ki še ni sprejeta, ki je v teku razprav, bo določila pa, bom rekel, bolj pravila pa sankcije, če rečem bolj ta kaznovalni del. Slovenija tukaj tudi preko svojih predstavnikov aktivno deluje v obeh dokumentih.

Je pa dejstvo, na to smo tudi v Strasbourgu opozorili, da ta pravila, ki jih pripravlja Uredba s strani Evropske komisije, ne more ignorirati vsebine, ki jo bo določil Svet. Skratka, mora se nasloniti na tudi ta pravni okvir ali pa na standarde, ki jih bo postavil Svet Evrope. Tako da, mi močno si želimo in tudi izražamo stališče, da morajo, da mora Evropska komisija in Svet, Evropski svet, Council of Europe, čim bolj tesno sodelovati pri teh vprašanjih, ki se tičejo izzivov, bom rekel, za celoten ali pa za, ne za obe instituciji, ampak pravzaprav za njeno članstvo v tem širšem pomenu besede.

Tako da, mi seveda podpiramo to, ta predlog direktive Evropskega parlamenta.

In to je z moje strani zaenkrat vse.

Hvala.

Hvala lepa za besedo.

Prehajamo na razpravo.

Odpiram razpravo, če bi kdo želel.

Izvolite! Ja, samo ...

GOSPOD: OK, hvala. Samo besedo ali dve.

Lahko samo ...?

GOSPOD: Ja, izvolite.

Samo malček, samo eno pooblastilo bi še prebrala, da vas obveščam, da gospo Leno Gregurevič nadomešča gospod Miroslav Gregorič.

Hvala lepa.

Izvolite besedo!

Hvala lepa.

Pozdrav državnemu sekretarju gospod Šoltesu, spoštovani kolegi, kolegice!

Kot je bilo rečeno, do zdaj ni bilo nobene uredbe niti direktive s tega področja. Jaz se strinjam, da vsaj v neki širši javnosti področje umetne inteligence še vedno, bi rekel, nerazumljivo področje, zlasti, ko se bo implementiralo v kakšne zadeve, ki nas vse se dotikajo, recimo tako umetna inteligenca v zdravstvu. Zdaj recimo, en tak nazoren primer hočem povedati, zdaj umetna inteligenca v zdravstvu še nekako v zametkih. Zdaj bolj ali manj se nanaša, ne vem, na digitalizacijo podatkov in tako dalje, ampak, recimo hipotetično, če bi kdaj umetna inteligenca tudi sodelovala recimo pri operacijah, pri posegih, takrat bi pa to res bil, kako bi rekel, velik zalogaj, tudi takrat, če bi šlo kaj narobe. Takrat pa seveda, zdaj mi kot laiki, ki smo podvrženi potem neki medicinski stroki, kako bomo mi zdaj trdili in dokazali, da bo umetna inteligenca ravnala narobe. Tako da, tu se absolutno strinjam, da naj se ta, se pravi pravila, naj se toliko, bi rekel, tudi na ravni EU optimizirajo, da olajšajo položaj oškodovancev, ki bi pač izhajali iz različnih miljejev, da bodo, kot je bilo rečeno, lažje, ceneje ugotavljali potem oziroma uveljavljali svoje odškodninske zahtevke.

In mi se tudi zdaj, naša Poslanska skupina Slovenske demokratske stranke seveda podpira to, ta predlog direktive in bomo seveda tudi danes soglasno podprli.

Hvala za besedo.

Gospod Gregorič, izvolite besedo.

Hvala gospa predsedujoča.

Hvala lepa državnemu sekretarju Šoltesu za izčrpno razlago.

Jaz se na tole ne spoznam še. Nisem prebral originalnega osnutka direktive. Imam pa tu gradivo. In poznam pa kar precej dobro urejenost sistema za odgovornost proti jedrski škodi, ki je stara 40, 50 let. Tam so zato, da bi lahko jedrska industrija propagirala in rasla, in v izogib tožbam proti jedrskim elektrarnam v primeru jedrske nesreče, ki bi potopila vsako podjetje, so naredili najprej Pariško konvencijo z bruseljskim protokolom, potem pa Dunajsko konvencijo. In te konvencije so omejile zgornjo, zgornji nivo škodnega zahtevka. Tedaj je bilo 5 milijonov dolarjev v zlati podlagi, to je danes, ne vem, 100 milijonov. Ampak to je potem z nadgradnjo je to prišlo zdaj na par milijard. Za vsako jedrsko nesrečo je je par milijard, s tem, da mora biti teh komercialno zavarovanih. Ampak, skratka za industrijo so omejili nivo. Ampak po drugi strani so pa rekli, ni važno kakšen je vzrok nesreče, če pride do nesreče, ste odgovorni in se odgovornost sploh ne dokazuje, si odgovoren »liabil«.

Zdaj me pa tu zanima, ali je, tu imam, prvič imam vprašanje, kaj to pomeni, nepogodbeni civilni odgovornosti, beseda nepogodbeni - kako se to prevede in kaj sploh to je?

Drugo pa, ali je tu, ali se sploh pogovarja v tej, v tej direktivi o kakršnikoli limitaciji zneskov odgovornosti? Ne vem, kakšen je v Ameriki to »tort lone«, kaj je v Evropi, niso, v Ameriki neomejena, po navadi, če je to civilna zadeva je neomejeno, lahko za kavo, ki jo poliješ na McDonald's v avtu, dobiš 5 milijonov ali pa 10 milijonov, kolikor nastavijo, kakor so dobri odvetniki.

Pri nas, sem tudi zdaj že videl, da za en medicinski primer gre že v milijone evrov. No, skratka, ali je to predvideno omejeno ali je to prazno?

In drugo, govorili ste o dokaznem bremenu, ki je do zdaj bil izključno na ubogem potrošniku, ki je proti tem ali multinacionalkam ali tem firmam, ki to dobavljajo, totalno nebogljen, ker imajo tisto na tisti strani take advokate, take advokatske hiše, da sploh ne pride zraven. In zato me zanima, ali je dobavitelj umetne inteligence odgovoren brez dokazovanja oškodovancev ali kaj bo tu. No, to me zanima. Vsekakor pa pozdravljam to, ampak mogoče kot za korak naprej bi pa predlagal, da se dela na mednarodni konvenciji, kajti to bo veljalo samo v Evropi ta direktiva. Hvala lepa.

Hvala lepa. Izvolite za odgovor.

Se zahvaljujem za zelo zanimivo razpravo, že toliko nisem, bi rekel, tako vsebinsko slišal, da bi take teme prihodnosti govorim.

Kar se tiče tega, ne pogodbenega razmerja. To pomeni, da jaz nimam pogodbe v smislu klasičnega obligacijskega razmerja med eno in drugo stranko, ampak samo uporabljam nek sistem, uporabljam sistem, ampak nisem pa sklenil klasične pogodbe, sem pa v tem tako imenovanem ne pogodbenem razmerju. Tako, da to je poseben inštitut, ki se seveda uporablja tudi v civilnem prav.

Glede omejitve odškodninske odgovornosti. Sama uredba zaenkrat ne opredeljuje nekih višin škod, zaradi tega, ker se nanaša na vse potencialne primere. Recimo, vi ste govorili o jedrski nesreči, ta je zelo ne zamejena, ampak se nanaša konkretno na eno področje. Pri tej umetni inteligenci pa se ta lahko zgodi tudi pri jedrski, lahko se zgodil, to kar je spoštovani gospod Kaloh rekel, recimo pri v zdravstvu. Recimo na operaciji očesa, ki ti operira umetna inteligenca, kdo je odgovoren za to? Mogoče tu samo eno pojasnilo, v zdajšnjem sistemu, kjer je umetna inteligenca na nek način še vedno v rokah nekega upravljavca, ki s tem krmari ali pa daje neke vhodne podatke, je seveda odškodninska odgovornost na strani upravljavca. Umetna inteligenca sama po sebi ne je izvzeta, ker kaj pa je to, ali je to snov ali je to predmet, saj to so, bom rekel, bolj take razprave o prihodnosti. Tudi v Evropskem parlamentu, moram reči, smo več kot postavili na to vprašanje, recimo tudi vprašanje odgovornosti, predvsem pa tudi etike ali umetne inteligence, na kakšen način govorimo o teh etičnih standardih, ki se uporabljajo v delu poslovanja. Tako da prepričan pa sem, da bo neki limiti po posameznih področjih, do tega bo lahko prišlo. Bo pa zanimivo spremljati, ali se lahko umetna inteligenca zavaruje za primer odškodninske odgovornosti in kakšne bodo premije v takih primerih Govorim o tem, ker ti z odškodninsko odgovornostjo, kar se dogaja oziroma z zavarovanjem lahko tudi omejiš višino do določene vsote, od tam naprej zavarovalnice krijejo škodni dogodek. Tako, da to so vse vprašanja prihodnosti, prepričan pa sem, da se bo po moje zelo hitro, v parih letih pokazala potreba po določeni dopolnitvi te uredbe, zato pa je lažje uredbe spreminjati kot same direktive. Moram še reči, da za države članice je to bolj ali pa hitrejši postopek. Tako, da predvsem mislim, da bo, prihodnost pokazala v katero smer bo potrebna še dodatna pravna ureditev tega področja. Pomembno pa je, da smo dobili izhodišča iz katerih oziroma vsaj določeno pravno podlago iz katere lahko potem črpamo pravni okvir za prihodnost. Hvala za besedo.