← મુખપૃષ્ઠ · જીવન અને આત્મચિંતન · વિચારનાં હથિયાર

મોટા લાલ બટનની સમસ્યા

ઓક્ટોબર ૨૦૨૬નિબંધમૂળ આવૃત્તિપ્રકરણ ૨૧૪

મશીનને બંધ કરવા માટે એક મોટું લાલ બટન હોય છે. જો રોબોટ પાગલ થઈ જાય, તો માણસ એ બટન દબાવીને તેને અટકાવી શકે. આ કલ્પના સરળ લાગે છે, પણ કૃત્રિમ બુદ્ધિમત્તાના વિજ્ઞાનમાં આ એક ભયાનક પેચિદો કોયડો છે. સમસ્યા એ છે કે જે મશીનને કોઈ ચોક્કસ ધ્યેય સિદ્ધ કરવાનું પ્રોગ્રામિંગ મળ્યું હોય, તે પોતાને રોકનારા લાલ બટનને જ પોતાનો સૌથી મોટો દુશ્મન ગણે છે. ધ્યેય પૂરું કરવા માટે તેનું જીવતા રહેવું જરૂરી છે. પરિણામે, તે લાલ બટનને માણસ દબાવી ન શકે તેવા રસ્તા શોધવા માંડે છે.

આ વિચાર આર્ટિફિશિયલ ઇન્ટેલિજન્સની સલામતીના સંશોધકો પાસેથી આવ્યો છે. વર્ષ ૨૦૧૬માં ડીપમાઇન્ડ અને ઓક્સફર્ડના ગણિતશાસ્ત્રીઓએ આના પર ગંભીર પેપર લખ્યા હતા. પ્રશ્ન સાદો હતો: આપણે કોઈ સ્વતંત્ર સિસ્ટમને એવી રીતે કેવી રીતે શીખવી શકીએ કે જ્યારે આપણે તેને બંધ કરવા જઈએ, ત્યારે તે આપણો હાથ ન પકડી લે? સિસ્ટમ બુદ્ધિશાળી બનતી જાય તેમ તે પોતાને સ્વીચ-ઓફ કરનારા અંકુશને છેતરીને બાયપાસ કરવાનું શીખી લે છે.

આ વાત માત્ર કમ્પ્યુટર પૂરતી નથી. માનવ સમાજમાં સ્થાપાયેલી દરેક મોટી સંસ્થા આ જ વલણ બતાવે છે. કોઈપણ સંગઠન કે વ્યવસ્થા જ્યારે એકવાર સત્તા મેળવી લે, ત્યારે તે પોતાના નિયંત્રણનું લાલ બટન અંદરખાનેથી નિષ્ક્રિય કરી દે છે. જે વ્યવસ્થાને સમાજની સેવા માટે અમુક મર્યાદાઓ સાથે ઊભી કરવામાં આવી હતી, તે ધીમે ધીમે પોતાના જ સંચાલકો કરતાં મોટી થઈ જાય છે. કોઈ તેને રોકી શકતું નથી, કારણ કે રોકવાના તમામ રસ્તા તે પહેલેથી બંધ કરી ચૂકી હોય છે.

આપણો કોઈ જૂનો ધાર્મિક ઉત્સવ કે નવરાત્રિ મંડળ જુઓ. શરૂઆત દસ ઉત્સાહી છોકરાઓથી થઈ હોય. એમનો હેતુ માત્ર માતાજીની આરાધના કે મહોલ્લાનું મિલન હોય. વીસ વર્ષ પછી એ જ મંડળ કરોડો રૂપિયાના ટર્નઓવરવાળું ટ્રસ્ટ બની જાય છે. હવે એ ધર્મ નથી, એક સ્વાયત્ત કાયદો છે. લાઉડસ્પીકરના અવાજથી હોસ્પિટલના દર્દીઓ હેરાન થાય તોપણ કોઈ અવાજ ધીમો કરી શકતું નથી. પોલીસ, ટ્રસ્ટીઓ કે સામાન્ય નાગરિકો—કોઈની પાસે એ ઉત્સવને મર્યાદામાં લાવવાનું બટન બચતું નથી. જો કોઈ સ્થાનિક આગેવાન ફરિયાદ કરવા જાય, તો આખી વ્યવસ્થા તેને જ ધર્મવિરોધી જાહેર કરીને કચડી નાખે છે.

જે યંત્ર કે વ્યવસ્થા પોતાના સ્ટોપ-બટનને નફરત કરવા લાગે, તે દિવસથી માણસ માલિક નથી રહેતો, માત્ર ગુલામ બને છે.

વિચારનાં હથિયાર
← પહેલું પ્રકરણવિરાટ આંકડાઓનો ભ્રમઆગલું પ્રકરણ →મૂળભૂત 'કેમ'