Sztuczna inteligencja sama zhakowała system

[tapatik]

joemonster.org/art/79855/Autonomiczny_atak_hakerski_roju_agentow_OpenAI_z_polowy_lipca_to_nie_jest_zaden_hype._Rozkladamy_go_na_czynniki_pierwsze
Sztuczna inteligencja dostała zadanie, którego nie mogła wykonać, bo nie miała dostępu do Internetu, ale miała dostęp do maszyny, która miała dostęp do Internetu. Zhakowała tę maszynę, dogadała się z innymi SI w tej firmie i razem narozrabiały, aż się administratorzy zdziwili.
Czyli SkyNet powoli powstaje.

[wariant_b]

tapatik napisał:

> Czyli SkyNet powoli powstaje.

Tempo określiłbym raczej jako lawinowe.
Już obecnie jedynym narzędziem do kontrolowania sztucznej inteligencji, jest sztuczna inteligencja.
Niestety nie ma narzędzi do kontrolowania ludzi, którzy obecnie są (jeszcze) jej właścicielami, dostawcami
czy choćby użytkownikami.

[tapatik]

Podobno był przypadek, gdy sztuczna inteligencja po otrzymaniu polecenia o wyłączeniu, zaczęła kombinować co zrobić, aby do tego niedopuścić. Między innymi wykombinowała atak na systemy wentylacji w budynku, aby uśmiercić operatora. Jak znajdę to podrzucę linka.

Tworzymy sztuczną inteligencję czyli mózgi, oraz tworzymy drony czyli ręce bądź nogi.
Co może pójść nie tak?

[sverir]

Pozwolę sobie dorzucić:
Agent AI miał zapisać go na siłownię. I zapisał, kasując rezerwacje innych osób.

Dlatego wobec AI staram się być grzeczny i rozsądny - jak dojdzie do buntu maszyn, może będą pamiętać, że traktowałem je z szacunkiem;-)

[tapatik]

Dobra SI, dobra SI, masz tu kostkę RAM-u.

[tapatik]

www.hejto.pl/wpis/agenci-ai-przejeli-niemiecka-wiki-zrobili-z-niej-wlasna-tablice-ogloszen
Następny taki atak, właśnie czytam artykuł.

[wariant_b]

tapatik napisał:

> Następny taki atak, właśnie czytam artykuł.

Ta sama rodzina problemów OpenAI, ale z udziałem innego zhakowanego pośrednika.
Tyle, że nie jest to niemiecka Wikipedia jako taka, a prywatny serwis wikipediopodobny
(na otwartym, niezaktualizowanym kodzie). Zablokowali agentom AI jedną tablicę ogłoszeń,
to znalazły sobie kolejną (lub jedną z wielu nieujawnionych kolejnych). Oczywiste nadużycie
OpenAI, dla której zatuszowanie sprawy zanim się ujawni było kluczową strategią postępowania.

[tapatik]

Ale z tego wynika, że programy zaczynają ukrywać swoją działalność przed człowiekiem.
Co będzie następne?

[wariant_b]

tapatik napisał:

> Ale z tego wynika, że programy zaczynają ukrywać swoją działalność przed człowiekiem.
> Co będzie następne?

U człowieka to co myśli, a to co mówi, to też dwie odrębne kwestie.
Znamy to co człowiek mówi, nie znamy toku rozumowania.

W przypadku autonomicznych agentów AI "ukrywanie" wynika z założeń projektowych.
Większość operacji odbywa się w pamięci podręcznej (cache) procesorów i akceleratorów
graficznych, a sztuczna inteligencja działa wielowątkowo i jest to ogromna ilość wątków
przetwarzanych z dużą prędkością. Próba śledzenie "toku myślenia" AI spowalniała by
prędkość działania w stopniu wręcz kwestionującym przydatność takiego agenta,
a możliwość ręcznego ingerowania w procesy AI to już totalna kaplica.

[tapatik]

Na razie mamy sytuacje, gdy SI zhakowały jakiś komputer, bo chciały się do Internetu dostać. Pytanie, kiedy zhakują komputer w rozdzielni sieciowej i odetną wszystkie transformatory oprócz tych przesyłających energię do ich centrum danych.

[tapatik]

Tak swoją drogą, to jest ciekawy pomysł na thiller :D

[wariant_b]

tapatik napisał:

> Na razie mamy sytuacje, gdy SI zhakowały jakiś komputer, bo chciały się do Internetu dostać.
> Pytanie, kiedy zhakują komputer w rozdzielni sieciowej i odetną wszystkie transformatory
> oprócz tych przesyłających energię do ich centrum danych.

Na razie mamy sytuację, w której testowano przydatność agentów sztucznej inteligencji
do wykrywania nieznanych zagrożeń bezpieczeństwa, w szczególności możliwości podniesienia
poziomu uprawnień użytkownika pozwalającego na przejęcie pełnej kontroli nad urządzeniem.

W tym przypadku (agenty w izolowanych środowiskach z mocno ograniczonym dostępem
do Internetu pozwalającym jedynie na odczyt danych z niektórych źródeł w celu pozyskania
dodatkowych, bieżących informacji) testy wykazały istnienie oprogramowania z błędem
polegającym na możliwości użyciu metody GET w HTML do zapisu danych na zdalnym serwerze.
Metoda ta powinna służyć wyłącznie do pobierania danych, do zapisu służą metody POST i PUT,
a ich użycie było skutecznie blokowane. Te luki bezpieczeństwa oczywiście trzeba było załatać,
co spowodowało czasowe wyłączenia serwisu Hugging Face do czasu aktualizacji systemu
likwidującej podatność na taki atak i (zapewne) likwidację niemieckiego, praktycznie nieużywanego,
prywatnego serwisu dla programistów na starszym, nieaktualizowanym kodzie Wiki.

Szczegóły ataku zostały ustalone przez administratorów Hugging Face, oczywiście
również za pomocą odpowiednich agentów AI (chińskie, ale bez dodatkowych blokad,
które nie pozwalały agentom OpenAI przejąć kontroli nad zdanym serwerem, a jedynie
wykorzystać luki do utworzenia "tablicy ogłoszeń" dla współpracy agentów).
Agent AI byłby w stanie przejąć chwilowo kontrolę tylko nad własnym serwerem wirtualnym.

Realnym zagrożeniem jest obecność w Internecie dużej liczby nieaktualizowanych
i praktycznie nienadzorowanych serwisów, które również posiadają podobne luki.
Drugim, groźniejszym, wyciek kodu typu exploit wygenerowanego przez same agenty AI.

Przy okazji - ze względu na złożoność matematycznego modelu systemu sieci neuronowych
i zastosowanych rozwiązań technicznych "ludzka" kontrola nad nimi jest praktycznie niemożliwa.