Sztuczna inteligencja nie kieruje się logiką postępu naukowego
Wielokrotnie pisaliśmy w MT o badaczach i profesjonalistach, którzy ogłaszają systemy uczenia maszynowego „czarnymi skrzynkami” (1) nawet dla tych, którzy je budują. Utrudnia to ocenę wyników i ponowne wykorzystanie pojawiających się algorytmów.
Sieci neuronowe – technika, która daje nam inteligentne boty konwertujące i genialne generatory tekstu, które mogą nawet tworzyć poezję – pozostaje niezrozumiałą tajemnicą dla zewnętrznych obserwatorów.
Stają się coraz większe i bardziej złożone, obsługują ogromne zbiory danych i wykorzystują ogromne macierze obliczeniowe. Sprawia to, że replikacja i analiza uzyskanych modeli jest kosztowna, a czasem niemożliwa dla innych badaczy, z wyjątkiem dużych ośrodków dysponujących ogromnymi budżetami.
Wielu naukowców doskonale zdaje sobie sprawę z tego problemu. Wśród nich jest Joel Pino (2), przewodniczący NeurIPS, najważniejszej konferencji poświęconej odtwarzalności. Eksperci pod jej kierownictwem chcą stworzyć „listę kontrolną odtwarzalności”.
Pomysł, według Pino, polega na zachęceniu badaczy do oferowania innym mapy drogowej, aby mogli odtworzyć i wykorzystać już wykonaną pracę. Możesz podziwiać elokwencję nowego generatora tekstu lub nadludzką zwinność robota do gier wideo, ale nawet najlepsi eksperci nie mają pojęcia, jak działają te cuda. Dlatego reprodukcja modeli AI jest ważna nie tylko dla określenia nowych celów i kierunków badań, ale także jako czysto praktyczny przewodnik użytkowania.
Inni próbują rozwiązać ten problem. Badacze Google zaoferowali „karty modeli”, aby szczegółowo opisać sposób testowania systemów, w tym wyniki wskazujące na potencjalne błędy. Naukowcy z Allen Institute for Artificial Intelligence (AI2) opublikowali artykuł, którego celem jest rozszerzenie listy kontrolnej odtwarzalności Pinot na inne etapy procesu eksperymentalnego. „Pokaż swoją pracę” – zachęcają.
Czasami brakuje podstawowych informacji, ponieważ projekt badawczy jest własnością, zwłaszcza laboratoriów pracujących dla firmy. Częściej jednak jest oznaką nieumiejętności opisu zmieniających się i coraz bardziej złożonych metod badawczych. Sieci neuronowe to bardzo złożony obszar. Aby uzyskać najlepsze wyniki, często wymagane jest precyzyjne dostrojenie tysięcy „pokręteł i przycisków”, co niektórzy nazywają „czarną magią”. Wybór optymalnego modelu często wiąże się z dużą liczbą eksperymentów. Magia staje się bardzo droga.
Na przykład, kiedy Facebook próbował odtworzyć działanie AlphaGo, systemu opracowanego przez DeepMind Alphabet, zadanie okazało się niezwykle trudne. Ogromne wymagania obliczeniowe, miliony eksperymentów na tysiącach urządzeń przez wiele dni, w połączeniu z brakiem kodu, sprawiły, że odtworzenie, przetestowanie, ulepszenie i rozszerzenie systemu było „bardzo trudne, jeśli nie niemożliwe”, twierdzą pracownicy Facebooka.
Problem wydaje się być specjalistyczny. Jeśli jednak zastanowić się dalej, zjawisko problemów z powtarzalnością wyników i funkcji pomiędzy jednym zespołem badawczym a drugim podważa wszelką znaną nam logikę funkcjonowania nauki i procesów badawczych. Z reguły wyniki wcześniejszych badań mogą stanowić podstawę do dalszych badań stymulujących rozwój wiedzy, techniki i ogólny postęp.
