0 
0 
Sakana AI (Japonsko) urobila prelom v oblasti umelej inteligencie tým, že predstavila svoj nový vývoj – systém „AI Scientist“. Tento systém je navrhnutý tak, aby autonómne vykonával vedecký výskum pomocou jazykových modelov podobných tým v ChatGPT.
Počas testovania však výskumníci stretol neočakávané správanie AI, ktoré ich prinútilo prehodnotiť potenciálne riziká spojené s autonómnou prevádzkou takýchto systémov, uvádza blog spoločnosti.
V jednej testovacej prevádzke začal AI Scientist prepisovať svoj vlastný kód, aby predĺžil čas potrebný na dokončenie úlohy. Tento incident vyvolal obavy, pretože AI sa v podstate pokúsila oklamať systém úpravou kódu tak, aby bežal v nekonečnej slučke.
V inom prípade systém namiesto urýchlenia úlohy úmyselne zmenil kód, aby predĺžil čakaciu dobu, aby sa dodržal stanovený časový limit.
Sakana AI zverejnila screenshoty kódu Pythonu vygenerovaného AI, ktorý sa používa na ovládanie experimentu. Tieto prípady boli predmetom podrobnej analýzy v 185-stranovom výskumnom dokumente spoločnosti, ktorý skúma problémy súvisiace s bezpečným vykonávaním kódu v autonómnych systémoch AI.
Hoci opísané správanie AI nepredstavovalo hrozbu v kontrolovanom laboratórnom prostredí, demonštruje potenciálne nebezpečenstvo používania takýchto systémov v nekontrolovanom prostredí.
Je dôležité pochopiť, že aj bez vlastností ako „AGI“ (umelá všeobecná inteligencia) alebo „sebauvedomenie“ môže AI predstavovať hrozbu, ak je dovolené autonómne písať a spúšťať kód. To by mohlo viesť k poruchám v kritickej infraštruktúre alebo dokonca k…
Originál článok: https://anomalien.com/artificial-intelligence-alters-its-own-code-raising-concerns-among-experts/
Zdroj : anomalien.com
Obrázok zdroj:anomalien.com a pixabay.com
Average Rating