Wstęp

Czym jest filozofia?

Każda nauka o czymkolwiek musi posiadać swój pewnik, fundament, aksjomat1 któremu nikt nie zaprzecza i jest ewidentnie prawdą. Z niego konsekwentnie wyprowadzane są dalsze prawdy. Dla fizyki jest to założenie że wszechświat rządzi się prawami, które możemy odkryć i poznać. Dla filozofii jest to samowiedza, czyli to że nikt nie jest w stanie zaprzeczyć że istnieje. Czym zajmuje się filozofia w odróżnieniu do innych nauk? Zadaje pytania o najdalsze przyczyny podczas, gdy nauki szczegółowe o przyczyny bliższe. W praktyce wygląda to tak:

"Fizycy rozprawiają o różnych ciałach, o ich przymiotach i siłach — ale co to jest ciało? Co siła? Skąd pochodzą materia i siła? Fizjologowie badają różne kształty, objawy i warunki życia — ale co jest życie? Skąd się ono bierze? Matematycy ścigają w nieskończoność stosunki liczb i kształtów — ale co to jest ilość? Czym jest przestrzeń?"4

Testerzy pytają: jaka jest przyczyna tego błędu? Filozofia testowania pyta: co to jest błąd? Tester pyta jaki jest cel tej funkcjonalności? Filozofia testowania pyta jaki jest cel testowania? Tester pyta jakiego rodzaju testu użyć? Filozofia pyta co to jest test? Filozofia szuka dalszej, albo najdalszej przyczyny zjawiska. Zatem filozofia jest odpowiedzią na pytanie o najdalsze przyczyny. Po tym, z pewnością zbyt krótkim wstępie, pragnę rozpocząć pracę nad filozofią testowania.

Dlaczego istnieje potrzeba zatrudniania testerów?

Co jest przedmiotem testowania w naszej branży? Jest nim oprogramowanie. Jaki jest cel istnienia oprogramowania? Oprogramowanie "ma pomagać ludziom". To jest wymaganie stawiane oprogramowaniu. Zawsze tak jest, napisany kod nigdy nie pomaga np. komputerom czy urządzeniom, zawsze pomaga ono człowiekowi w rozwiązywaniu problemów krok po kroku. Oprogramowanie nie musi pomagać w szczytnych celach, może pomagać ludzi okraść. Wciąż jest to pomoc komuś w realizacji celu. Jeśli pomaganie ludziom to cel oprogramowania, to celem testowania jest uzyskanie jak najdoskonalszej informacji o SUT2 (system under test). Testowanie, informując o zastanym stanie SUT, poznaje jego jakość.

Czym jest oprogramowanie?

Najszerzej rozumiane, oprogramowanie to zestaw programów wydających polecenia do wykonania dla komputera. Oprogramowania można rozdzielić na: 1. systemy operacyjne które zarządzają zasobami komputera i udostępniają serwis dla aplikacji komputera 2. aplikacje komputerowe, czyli konkretne zastosowania zasobów komputera przez użytkownika, albo inaczej wykonanie zadania użytkownika na komputerze. Oprogramowanie, czy systemowe czy do konkretnego zastosowania zawsze ma wytyczone oczekiwanie zachowanie zanim zostanie wytworzone. Jest określana dla niego funkcja którą ma spełnić jako narzędzie użytkownika.

Niestety wytworzone oprogramowanie nie zawsze spełnia swoją funkcję. Dzieje się tak głównie ze względu na złożoność dzisiejszych systemów. Stawia to właściciela oprogramowania w pozycji ryzyka iż oprogramowanie nie spełni swojego celu. Aby to ryzyko zminimalizować oprogramowanie podlega testowaniu swojej funkcji zanim trafi do użytkownika. Testerzy porównując oczekiwanie zachowanie do zastanego meldują o odbieganiu od wymagań stawianych oprogramowaniu. Te dewiacje są nazywane błędami. Zatem potrzeba zatrudniania testerów zasadza się na pewniku iż oprogramowanie posiada błędy.

Z tego płynie wniosek że podstawowym aksjomatem testowania jest założenie iż oprogramowanie posiada błędy, a celem testowania jest ich wykrycie, aby dały informację o systemie czy ten wymagania spełnia na obecnym etapie rozwoju czy od nich odbiega. Informacja o produkcie to rezultat stosunku oczekiwanego do zastanego.

Stąd wiadomo, że celem testowania jest uzyskanie informacji o obecnym zachowaniu sut, podobnie do metody naukowej gdzie uzyskuje się informacje o zachowaniu badanego bytu. Testowanie i metoda naukowa mają ze sobą wiele wspólnego.

Co to jest błąd?

W dalszym rozwoju pracy należałoby zdefiniować co to jest błąd? Jest to kwestia ontologiczna, należy zadać pytanie co sprawia że coś jest uważane za błąd? Błąd to odstępstwo oprogramowania od wymagań jego zachowania. Istnienie błędu, implikuje iż oprogramowanie ma określone zachowanie, aby zostało uznane oprogramowaniem wysokiej jakości.

Oto rozwój filozofii testowania i kilka pewników. Testowanie istnieje gdyż oprogramowanie posiada błędy. Oprogramowanie to mechanizm, który ma spełniać funkcję określoną wymaganiami. Błąd to odbieganie od wymagań w zachowaniu się oprogramowania. Spełnienie zaś wymagań czyni oprogramowanie wysokiej jakości.

Jakie są następstwa istnienia błędów?

Jakie są konsekwencje istnienia błędów w oprogramowaniu? W takiej sytuacji mamy do czynienia z oprogramowaniem niespełniającym oczekiwań, zatem należałoby błędy wyeliminować by działało. Inna konsekwencja to, że istnienie błędów prowadzi do decyzji o poprawieniu systemu, a następnie sprawdzeniu skuteczności tej poprawki.

Kolejnym pytaniem jest w jaki sposób dowiadujemy się o istnieniu błędów w oprogramowaniu? To wymaga uruchamiania oprogramowania i przeprowadzenia zaplanowanych testów. Za wykrycie dewiacji w sofcie odpowiedzialny zatem jest przeprowadzony test.

Co to jest test?

Co musi zawierać w sobie test, aby test był testem? Musi coś asercjonować. Koniecznym jest, aby każdy test dawał wynik prawda, fałsz bądź nieznany, inaczej nie da się uzyskać walidacji zachowania oprogramowania, a testy nie dostarczą danych potrzebnych do oceny jakości sut5. Czy istnieje uniwersalny test który wykryje wszystkie błędy jedną asercją? Niestety nie. Nie ma jednego testu na wszystko, w praktyce stosuje się różne poziomy testów, a ich dobór zależy od dojrzałości oprogramowania.

Na jakie typy dzielą się testy? To zawisło od funkcji oprogramowania oraz dojrzałości produktu. Każdy typ testu ma swoje możliwości i granice z istoty swojej definicji. Projektując zestaw testów trzeba wiedzieć co dany test sprawdza, a czego nie sprawdza. Test ma również założenia, pre kondycje. Zatem warunkiem wstępnym przed wyborem typu testu jest etap na którym znajduje się w rozwoju.

Jak zadezajnować, zaprojektować zestawy testowe? Musimy wybrać tyle typów, aby otrzymać pełną wiedzę o produkcie. Trzeba analizować system zarówno testami komponentowymi, integracyjnymi jak i e2e.

Pewnik

Typ testów ogranicza co możliwe do poznania o sut.

Jakie główne typy testów wyróżniamy?

E2E zakłada że wszystkie systemy są włączone i działają, taki test swoje granice zatacza najdalej, pozwalając na test kompletnej logiki systemu. Testy integracyjne polegają na sprawdzeniu jak się zachowują dwa komponenty systemu lub więcej razem. Test jednostkowy albo komponentowy jest największym ograniczeniem tego co sprawdza. Izoluje on pojedyńczy komponent sprawdzając jego zachowanie. Pozostałe testy są mieszanką typów powyższych.

Nowe pewniki

O istnieniu błędów informuje nas typ wykonanego testu. Testy posiadają swoje granice oraz założenia z definicji. Testy muszą twierdzić że coś jest albo nie jest poprzez asercję prawda bądź fałsz albo nieznany. Testy dostarczają dane, które pozwalają poznać jakość.

Oprogramowanie która nie działa zgodnie z zamierzeniami jest ontologicznie niepełne, co wymaga interwencji. Wszelkie błędy to oznaki niedoskonałości w realizacji bytu oprogramowania.

Czy pokrycie wszystkich przypadków użycia jest możliwe?

Co powinien zawierać w sobie test by otrzymać prawdziwe rezultaty o produkcie? Czy pokrycie testami wszystkich przypadków użycia jest możliwe? Wtedy otrzymalibyśmy wiedzę doskonałą. Czy może istnieją ograniczenia testowania w ogólności?

Rezultatem końcowym testowania jest pełna informacja o sut, zamiast częściowej. Ta wiedza to artefakt, wartości cennej i właściwie jest to główny produkt pracy testera. Co powinien zawierać w sobie test? Asercję która jest zbudowana na podstawie wymagań dla oprogramowania.

Dobrze stworzony zestaw testów da nam najpełniejszy obraz systemu, lecz dostarczanie tej wiedzy o sut ma swoje granice. Testowanie nie jest w stanie wykryć wszystkich możliwych błędów w złożonych systemach.

Gdy pod uwagę weźmiemy aplikację do kupna paliwa w 18 krajach dostępną przez web oraz mobile. Gdzie każdy użytkownik ma inny telefon, z innym osem, innym ekranem, do tego pod różnymi warunkami sieci. Liczba wszystkich możliwych permutacji przypadków testowych szłaby w miliardy. Stąd płynie wniosek, że testowanie całościowe skomplikowanych systemów nie jest możliwe.

Dlatego testowanie jest próbą oceny produktu przy pomocy ograniczonej liczby przypadków testowych. Testowanie dostarcza istotnej informacji o produkcie, ale nie gwarantuje jego pełnej niezawodności. Odpowiednio dobrany zestaw testów pozwoli zmniejszyć ryzyko proporcjonalnie do doskonałości dobru testów.

Ustalenie

Testowanie nie gwarantuje braku błędów, znacząco zmniejsza ryzyko ich wystąpienia. Odpowiednio dobrany zestaw testów pozwoli zmniejszyć ryzyko proporcjonalnie do doskonałości dobru testów.

Jak dobrać testy pod SUT?

Czy dobór zestawu testów to wszystko co stanowi o sukcesie uzyskanych informacji o systemie? Warunków sukcesu jest kilka. Na sukces składa się udana uprzednia analiza wymagań oraz zastanego stanu sut, to podstawa do oceny kryteriów doboru typu testu. Składową sukcesu jest udana konfiguracja środowiska i dostępu na nim do danych. Kolejną składową sukcesu jest udane przeprowadzenie procesu. Przedostatnią jest zgromadzenie rezultatów. Ostatnią przekazanie zdobytej wiedzy o sut do interesariuszy.

W kolejności zadań: Analiza czyli zrozumienie problemu. Dobór testów. Wykonanie czyli przeprowadzenie testów. Zgromadzenie rezultatów. Zakomunikowanie ich. Tu są kolejne podobieństwa do metody naukowej.

Kiedy oprogramowanie jest wysokiej jakości?

Powróćmy do kwestii niskiej bądź wysokiej jakości. Kiedy uznać że oprogramowanie jest wysokiej jakości? Zacznijmy od podziału na wewnętrzną jakość przed wdrożeniem i zewnętrzną jakość po wdrożeniu wedle ISO/IEC 250103. Na pierwszym etapie wysoka jakość jest wtedy, gdy spełni wymagania interesariuszy, oraz wtedy gdy testowanie uzna poziom ryzyka wystąpienia błędów krytycznych za wystarczająco niski.

Wdrożenie nie jest ostatnim etapem testowania, weryfikacja następuje również po wdrożeniu.

  • Jakość wewnętrzna — wysoka: system zachowuje się zgodnie z wymaganiami, ryzyko błędów niewykrytych jest niskie.
  • Jakość wewnętrzna — niska: system odbiega od wymagań lub brak wystarczających danych.
  • Jakość zewnętrzna — wysoka: system spełnia oczekiwania użytkowników.
  • Jakość zewnętrzna — niska: system nie spełnia oczekiwań.

Im lepiej dobrane testy → tym lepsze dane → tym trafniejsza ocena jakości. Nie da się testami poprawić jakości — można ją tylko lepiej poznać.

Testowanie znamy jako proces zapewniania jakości, podczas gdy precyzyjniej testowanie oznacza poznanie jakości. Testowanie nie tworzy jakości, tylko ją obserwuje. Jakość systemu jest wynikiem projektu, kodu, procesu wytwórczego. Tester nie zmienia systemu tylko zbiera dane na temat jego zachowania względem wymagań.

Nowe pewniki

Testowanie nie ulepsza produktu, tylko poznaje czy jest zły bądź dobry. Testowanie to poznanie jakości, nie jej zapewnienie.

Zapewnienie jakości nie jest przedmiotem testowania, jest następstwem testowania6. Proces zapewniania jakości jest proaktywny, prewentywny. A testowanie jest reaktywne, jest inspekcją. Koniec części pierwszej.

Streszczenie

Filozofia testowania stawia pytania o najdalsze przyczyny w dziedzinie testowania, takie jak "co to jest błąd?" czy "jaki jest cel testowania?". Oprogramowanie ma pomagać ludziom, a celem testowania jest poznanie jakości sut. Oprogramowanie to zestaw programów, które niestety często zawierają błędy z powodu złożoności, co uzasadnia potrzebę zatrudniania testerów do ich wykrywania. Błąd to odstępstwo oprogramowania od wymagań jego zachowania, co implikuje dążenie do oprogramowania wysokiej jakości. Test musi asercjonować, dając wynik prawda, fałsz lub nieznany, a jego typ i granice zależą od funkcji i dojrzałości oprogramowania. Pełne pokrycie testami jest niemożliwe w złożonych systemach. Jakość wewnętrzna to spełnienie wymagań przy niskim ryzyku błędów, a jakość zewnętrzna to spełnienie oczekiwań użytkowników po wdrożeniu, przy czym testowanie poznaje jakość, nie tworzy jej.


Ustalenia

  • Informacja. Celem testowania jest uzyskanie jak najdoskonalszej informacji o SUT. Testowanie, informując o zastanym stanie systemu, poznaje jego jakość.
  • Aksjomat. Podstawowym aksjomatem testowania jest założenie, iż oprogramowanie posiada błędy. Celem testowania jest ich wykrycie.
  • Asercja. Każdy test musi dawać wynik: prawda, fałsz lub nieznany. Bez asercji nie ma testu.
  • Granice. Typ testów ogranicza co możliwe do poznania o SUT. Każdy typ testu ma swoje możliwości i granice z istoty swojej definicji.
  • Ryzyko. Odpowiednio dobrany zestaw testów pozwoli zmniejszyć ryzyko proporcjonalnie do doskonałości doboru testów. Testowanie nie gwarantuje braku błędów, znacząco zmniejsza ryzyko ich wystąpienia.
  • Jakość. Testowanie nie ulepsza produktu — tylko poznaje czy jest zły bądź dobry. Testowanie to poznanie jakości, nie jej zapewnienie.
  • Inspekcja. Zapewnienie jakości nie jest przedmiotem testowania, jest jego następstwem. Proces zapewniania jakości jest proaktywny i prewentywny. Testowanie jest reaktywne — jest inspekcją.

Źródła i rodła

Publikacje i standardy, na których opiera się niniejsza praca.

1. Aksjomat: założenie, którego nie trzeba dowodzić, aby na nim zbudować dalszą teorię. ↑
2. SUT (System Under Test): system, który jest poddawany testowaniu w celu oceny jego funkcjonalności i jakości. ↑
3. ISO/IEC 25010: międzynarodowy standard jakości oprogramowania, który definiuje m.in. model jakości produktu oprogramowania, dzieląc ją na cechy wewnętrzne i zewnętrzne. ↑
4. Filozofia i jej zadanie, s29, ks. Marian Morawski. Lwów 1881r. Cytat otwierający rozważania o naturze pytań filozoficznych. ↑
5. "The Philosophy of Testing" — Max Kanat-Alexander. codesimplicity.com — esej o naturze asercji i granic testów. ↑
6. "Testing vs. Checking" — Michael Bolton. developsense.com — rozróżnienie między testowaniem a weryfikacją, źródło pojęcia testowania jako inspekcji. ↑