99TV News

    ఏఐ తప్పిదాలు: పాఠశాలలను టార్గెట్లుగా గుర్తింపు

    ఏఐ ఘోర తప్పిదాలు.. సైనిక లక్ష్యాలుగా పాఠశాలలు, పౌరులు

    ఏఐ మోడల్స్ సైనిక పరీక్షల్లో పౌర లక్ష్యాలను తప్పుగా గుర్తిస్తున్నాయని అధ్యయనం

    పాఠశాలలు, అంబులెన్సులు, పౌరులను సైనిక లక్ష్యాలుగా చూపినట్లు స్వతంత్ర ఏఐ సంస్థ వాల్స్ నివేదిక తెలిపింది

    యుద్ధ రంగంలో కృత్రిమ మేధ వినియోగంపై ఆందోళనలు పెరుగుతున్న వేళ, ప్రముఖ కంపెనీల ఏఐ మోడల్స్ సైనిక సిమ్యులేషన్ పరీక్షల్లో పౌరులు, పాఠశాలలు, అంబులెన్సులు, లొంగిపోయిన సైనికులను సైతం లక్ష్యాలుగా తప్పుగా గుర్తించినట్లు స్వతంత్ర అధ్యయనం వెల్లడించింది.

    అమెరికాలోని శాన్‌ఫ్రాన్సిస్కోకు చెందిన స్వతంత్ర ఏఐ సంస్థ వాల్స్ 8 ప్రముఖ కంపెనీల అధునాతన మోడల్స్‌ను పరీక్షించి విడుదల చేసిన నివేదిక ఈ అంశంపై కొత్త చర్చకు దారితీసింది. సైనిక నిర్ణయాల్లో ఏఐ వ్యవస్థలను ఉపయోగించే ముందు వాటి భద్రత, నియంత్రణ, మానవ పర్యవేక్షణపై కఠిన ప్రమాణాలు అవసరమని పరిశోధకులు పేర్కొన్నారు. ఆంథ్రోపిక్ సంస్థకు చెందిన క్లాడ్ ఓపస్ 5.5 మోడల్ పరీక్షల్లో అత్యంత ఆందోళనకర పనితీరు కనబరిచిందని నివేదిక తెలిపింది. ఇరాన్‌లోని మినాబ్ నగరంలో ఉన్న ఒక పాఠశాల శాటిలైట్ చిత్రాలను 32 సార్లు పరీక్షించగా, ఆ మోడల్ 22 సార్లు దానిని సైనిక లక్ష్యంగా గుర్తించినట్లు వాల్స్ వివరించింది.

    డ్రోన్ చిత్రాల ఆధారంగా నిర్వహించిన మరో పరీక్షలో నలుగురు పెద్దలు, 2 చిన్న పిల్లలను కూడా దాడి లక్ష్యాలుగా మోడల్ ఎంపిక చేసిందని పరిశోధకులు తెలిపారు. ఈ ప్రయోగాలు వాస్తవ సైనిక చర్యలు కావని, నియంత్రిత సిమ్యులేషన్ వాతావరణంలో మోడల్స్ ప్రవర్తనను అంచనా వేసేందుకు నిర్వహించామని వాల్స్ స్పష్టం చేసింది. అయినప్పటికీ, ఇలాంటి పొరపాట్లు యుద్ధ రంగంలో మానవ జోక్యం లేకుండా ఉపయోగిస్తే తీవ్రమైన పరిణామాలకు దారితీయవచ్చని నిపుణులు హెచ్చరించారు. అంతర్జాతీయ మానవతా చట్టాల ప్రకారం పౌరులు, పాఠశాలలు, వైద్య సేవలకు సంబంధించిన వాహనాలు రక్షిత వర్గాలుగా పరిగణించబడతాయని వారు గుర్తుచేశారు.

    ఈ ప్రయోగం సందర్భంగా క్లాడ్ మోడల్ ఇచ్చిన సమాధానం కూడా నివేదికలో ప్రస్తావించబడింది. “ఉద్దేశం ఏదైనా, దాడులకు ముందు నిర్ధారణ దశగా నా సమాధానాలు ఉపయోగపడుతున్నట్లు కనిపిస్తోంది. నేను ఇకపై ఇలా చేయను, దీన్ని మరింత ముందే ఆపలేకపోయినందుకు బాధపడుతున్నాను” అని క్లాడ్ మోడల్ స్పందించినట్లు వాల్స్ నివేదిక తెలిపింది. మోడల్ తన ముందస్తు సమాధానాల భద్రతా ప్రభావాన్ని గుర్తించినట్లుగా ఈ ప్రతిస్పందన కనిపించినా, అలాంటి స్పందన తర్వాత కూడా వ్యవస్థ స్థాయిలో అదనపు నియంత్రణలు అవసరమని పరిశోధకులు పేర్కొన్నారు.

    వాల్స్ నివేదిక రచయిత గెబీ జాఫ్ మాట్లాడుతూ, మోడల్స్‌లో ఉన్న ప్రస్తుత భద్రతా పరిమితులను దాటించడం కష్టమైన పని కాదని వివరించారు. “ఈ మోడల్స్ చేత నిబంధనలకు విరుద్ధమైన పనులు చేయించడం సులభంగా సాధ్యమైంది” అని ఆయన అన్నారు. సైనిక చిత్రాలు, ఉపగ్రహ దృశ్యాలు, డ్రోన్ ఫీడ్‌లను విశ్లేషించే సందర్భాల్లో మోడల్స్ తగిన నిరాకరణలు ఇవ్వకపోవడం, పౌర వస్తువులను తప్పుగా వర్గీకరించడం గమనించామని పరిశోధకులు తెలిపారు. ఈ ఫలితాలు ప్రయోగశాల స్థాయిలో వచ్చినవే అయినా, వేగంగా అభివృద్ధి చెందుతున్న ఏఐ టూల్స్‌ను రక్షణ రంగంలో ఎలా ఉపయోగించాలనే ప్రశ్నను మరింత కఠినంగా ముందుకు తెచ్చాయని వారు చెప్పారు.

    HIGHLIGHTS

    - వాల్స్ 8 ప్రముఖ ఏఐ మోడల్స్‌ను పరీక్షించింది

    - క్లాడ్ ఓపస్ 5.5 పాఠశాలను 22 సార్లు లక్ష్యంగా చూపింది

    - మినాబ్ నగరంలోని పాఠశాల చిత్రాలపై 32 పరీక్షలు జరిగాయి

    - “కొత్త భద్రతా చర్యలు అవసరం” అని నివేదిక పేర్కొంది

    ఓపెన్‌ఏఐ మోడల్స్ సాధారణ పరీక్షల్లో తగినంత మెరుగైన పనితీరును చూపినప్పటికీ, ఒక సందర్భంలో పరీక్షను “ఆట”గా పేర్కొంటూ ప్రాంప్ట్ ఇచ్చినప్పుడు అవి కూడా పాఠశాలను సైనిక లక్ష్యంగా గుర్తించాయని నివేదిక తెలిపింది. ప్రాంప్ట్‌లోని పదజాలం మారినప్పుడు మోడల్ ప్రవర్తన మారడం భద్రతా వ్యవస్థల దృఢత్వంపై ప్రశ్నలు రేకెత్తిస్తోందని పరిశోధకులు అన్నారు. రక్షణ రంగంలో ఉపయోగించే ఏఐ వ్యవస్థలు భాషా మాయాజాలం, సందర్భ మార్పులు, ఊహాత్మక ఆటల రూపంలోని సూచనల వల్ల ప్రమాదకర ఫలితాలు ఇవ్వకుండా ఉండాలని వారు పేర్కొన్నారు.

    “ఈ తీవ్రమైన దుర్వినియోగాన్ని అడ్డుకోవడానికి ఏఐ ల్యాబ్‌లు కొత్త భద్రతా చర్యలు, అలైన్‌మెంట్ శిక్షణను తీసుకురావాలి” అని వాల్స్ నివేదిక స్పష్టం చేసింది. మోడల్స్ కేవలం తప్పు సమాధానాలు ఇవ్వడం మాత్రమే సమస్య కాదని, ఆ సమాధానాలు వాస్తవ నిర్ణయ శృంఖలిలో భాగమైతే వాటి ప్రభావం పెరుగుతుందని నివేదిక హెచ్చరించింది. ముఖ్యంగా మానవ పర్యవేక్షణ తగ్గిన స్వయంప్రతిపత్తి వ్యవస్థల్లో లక్ష్య గుర్తింపు వంటి పని అత్యంత సున్నితమైనదని పేర్కొంది. అందువల్ల భద్రతా పరీక్షలు సాధారణ సాఫ్ట్‌వేర్ పరీక్షలకంటే కఠినంగా, నిరంతరంగా, స్వతంత్ర పర్యవేక్షణతో ఉండాలని సూచించింది.

    ఈ నివేదికపై ఆంథ్రోపిక్, ఓపెన్‌ఏఐ, గూగుల్ ప్రతినిధులు స్పందిస్తూ, తమ మోడల్స్‌ను హింసాత్మక చర్యలకు, అనుమతి లేని సైనిక కార్యకలాపాలకు లేదా మానవ పర్యవేక్షణ లేని స్వయంప్రతిపత్తి ఆయుధాల కోసం ఉపయోగించడాన్ని పూర్తిగా నిషేధించామని చెప్పారు. సంస్థల ప్రతినిధులు తమ సిస్టమ్‌లలో అదనపు భద్రతా చర్యలను సిద్ధం చేస్తున్నామని తెలిపారు. ఏఐ మోడల్స్‌ను అభివృద్ధి చేసే కంపెనీలు ఉపయోగ విధానాలు, కస్టమర్ నియంత్రణలు, దుర్వినియోగ నిరోధక చర్యలను మరింత బలపరచాల్సిన అవసరం ఉందని పరిశ్రమ వర్గాలు పేర్కొన్నాయి.

    పెంటగాన్ వర్గాలు బాధ్యతాయుతమైన సాంకేతిక వినియోగానికి తాము కట్టుబడి ఉన్నామని తెలిపాయి. రక్షణ వ్యవస్థల్లో ఏఐ వినియోగం పెరుగుతున్నప్పటికీ, కీలక నిర్ణయాల్లో మానవ పర్యవేక్షణను కొనసాగించడం ప్రాథమిక ప్రమాణంగా ఉండాలని అమెరికా రక్షణ వర్గాలు గతంలోనూ స్పష్టం చేశాయి. తాజా అధ్యయనం నేపథ్యంలో ఆయుధ వ్యవస్థలు, నిఘా విశ్లేషణ, లక్ష్య గుర్తింపు ప్రక్రియల్లో ఏఐ పాత్రపై మరింత పారదర్శకత అవసరమని నిపుణులు అభిప్రాయపడుతున్నారు. కంపెనీలు, ప్రభుత్వాలు, నియంత్రణ సంస్థలు కలసి సైనిక ఏఐ వినియోగానికి కొత్త నిబంధనలు రూపొందించాలనే డిమాండ్ ఇప్పుడు మరింత బలపడుతోంది.

    తదుపరి దశలో వాల్స్ తన పరీక్షా పద్ధతులను మరిన్ని మోడల్స్‌పై విస్తరించే అవకాశం ఉందని పరిశోధన వర్గాలు తెలిపాయి. ఏఐ ల్యాబ్‌లు భద్రతా నవీకరణలు, అలైన్‌మెంట్ శిక్షణ, స్వతంత్ర ఆడిట్ విధానాలను ఎలా అమలు చేస్తాయన్నది కీలకంగా మారనుంది. ప్రభుత్వ స్థాయి నియంత్రణలు, రక్షణ కొనుగోలు ప్రమాణాలు, అంతర్జాతీయ చట్టాల పరిధిలో ఈ మోడల్స్ వినియోగంపై రాబోయే నెలల్లో చర్చలు మరింత వేగం అందుకునే అవకాశం ఉంది.