Przegląd narzędzi do automatycznego testowania aplikacji internetowych. Jan Płoszczyca SKISR 2006

Transkrypt

1 Przegląd narzędzi do automatycznego testowania aplikacji internetowych Jan Płoszczyca SKISR 2006

2 Plan prezentacji Problemy przy tworzeniu serwisów Definicja zautomatyzowanego testowania Mity i fakty związane z testowaniem Przegląd narzędzi Porównanie Podsumowanie

3 Problemy Migracja programistów Rotacja wymagań zleceniodawcy Wysokie koszty poprawy kodu Wybór narzędzi do testów Testy regresji (To co działało musi działać!) Bezpieczeństwo

4 Jakie narzędzie wybrać? możliwości niezawodność łatwe do zadoptowania wydajność kompatybilność symulacja użytkownika

5 Mity i fakty Narzędzia testujące to niestety również programy Czy tworzenie testów będzie równie starannie jak tworzenie samego produktu? Kiedy warto stosować?

6 Mity i fakty c.d. Automatyczne testowanie pozwala przetestować wiele interakcji systemu eliminując czynnik ludzki, tym samym poprawia jakość oprogramowania i przynosi znaczne oszczędności Czy maszyna jest bardziej niezawodna w interpretacji wyników działania programu?

7 Działanie narzędzi do automatycznego testowania Nagrywanie i odtwarzanie skryptów (GUI) Jak tworzony jest serwis nie ma znaczenia interesują nas jedynie odpowiedzi HTTP Najczęściej własny język skryptowy Cele testowania Funkcjonalność (symulacja działań użytkownika) Integralność witryny bezpieczeństwo(sql Injection, cross-site scripting, przepełnienie bufora,poprawność parametrów) Wydajność

8 Działanie - schemat Testowany Serwis Specyfikacja testów Narzędzie testujące (klient WWW) Raport z przebiegu wykonania testów

9 WebKing Zawansowany dojrzały produkt Bardzo rozbudowany zestaw gotowych funkcji Graficzny interfejs, gotowe kreatory

10 WebKing Testy funkcjonalne łatwy interfejs tworzenia testów Testy obciążeniowe wirtualni użytkownicy, zaawansowane gotowe scenariusze obciążąnia aplkacji Analiza front-end (przenośność, składnia, standardy) Testy bezpieczeństwa podstawowe klasy błędów,polityka bezpieczeństwa

11 WebKing analiza statyczna

12 WebKing analiza statyczna Zgodność ze standardami (HTML,XML,CSS, javascript itp.) - ponad 300 reguł wbudowanych Dostępność (paragraf 506 USA,WAI -W3C) Poprawność odnośników Pisownia (znaczniki,język słowniki ispell) Standardy kodowania wewnątrz firmy

13 WebKing testy funkcjonalne Błędy w javascript Poprawne wyświetlanie ramek, popup windows Błędy po stronie serwera Nie potrzebna znajomość języka programnowania Nagrywamy śćieżkę interakcji automatycznie wykrywa róznicę Dane z zewnętrznych źródeł do wypełniania formularzy

14 WebKing testy funkcjonalne

15 WebKing testy obciążeniowe wirtualni użytkownicy ( możliwość rozproszenia lokalizacji 'bottlenecks' ) gotowe scenariusze (wzrost liniowy, obciążenie szczytowe, stałe obciążenie) możliwość wygenerowania scenariusza na podstawie plików log serwera Obsługa danych z agentów SNMP (v1, v2c) Charakterystyka komfortu użytkownika ( czas odświeżania strony, obsługa cookie itd)

16 WebKing testy obciążeniowe

17 WebKing testy obciążeniowe

18 WebKing testy obciążeniowe

19 Web Inject

20 Web Inject - cechy Darmowy open-source Duże możliwości konfiguracji Pluginy (nagios,mrtg)

21 Web Inject

22 Web Inject

23 Web Inject <case id="1" description1="short description" description2="long description" method="post" url=" postbody="username=corey&password=welcome" verifypositive="verify this string exists" verifynegative="verify this string does not exist" logrequest="yes" logresponse="yes" sleep="3" /> <case id="2" description1="short description" description2="long description" method="get" url=" verifypositive="verify this string exists" verifynextpositive="{timestamp}" />

24 MaxQ

25 MaxQ - cechy Darmowy open-source Oparte na java, jython przenośność Możliwość uruchomiania testów z linii poleceń Łatwo można dostosować do własnych potrzeb

26 WebCanoo dlaczego java? odrzucenie techniki 'recordplay' Sprawdzone narzędzia ant httpunit xslt junit dbunit Htmltidy

27 WebCanoo <invoke description="goto start page" url="${start.page}" /> <setinputfield description="set user name" name="username" value="${user}" /> <setinputfield description="set password" name="password" value="${login.ok.password}" /> <clickbutton label="login" description="click the submit button" /> <verifytitle description="home Page follows if login ok" text="${login.ok.title}" />

28 WebCanoo <?xml version="1.0"?> <!DOCTYPE project [ <!ENTITY login SYSTEM "file:../modules/login.xml"> <!ENTITY step SYSTEM "file:../modules/step.xml"> ]> <project name="loginandstep" default="case" basedir=".."> <target name="case"> <webtest name="loginandstep"> &config; <steps> &login; &step; </steps> </webtest> </target> </project>

29 OpenQA: Selenium Wykorzystuje bezpośrednio przeglądarkę (testy działania aplikacji na różnych platformach IE,Firefox,Safari,Opera,Mozilla) użycie AJAX (XmlHttpRequest) Oprate na DHTML,javascript Testy mogą pisane w dowolnym jezyku(obsługa HTTP) (dostępne wrappery dla : Java,.NET,Python,Ruby) Dostępny tryb interaktywny

30 OpenQA: Selenium Problem same origing policy

31 OpenQA: Selenium IDE Plugin do firefox Debugowanie, edytor Record & play

32 Przykład testu w języku C# using Selenium; using NUnit.Framework; namespace MyTests { [TestFixture] public class GoogleTest { private ISelenium sel; [SetUp] public void SetUp() { sel = new DefaultSelenium("localhost", 4444, "*firefox", " sel.start(); } [Test] public void testgoogle() { sel.open(" sel.type("q", "hello world"); sel.click("btng"); sel.waitforpagetoload("5000"); Assert.AreEqual("hello world - Google Search", sel.gettitle()); } } } [TearDown] public void TearDown() { sel.stop(); }

33 Sahi Oparte na javascript Działa jako serwer proxy Tworzenie testów z poziomu przeglądarki Uruchamianie utworzonych testów z lini poleceń

34 Sahi

35 Sahi

36 Podsumowanie Szybkość a elastyczność Co tak naprawdę testujemy?

37 Podsumowanie - zalecenia Staranny dobór narzędzi(analiza użyteczności, wersje demo ) Uzupełnienie a nie zastąpienie tradycyjnego testowania rozważna strategia automatyzacji utrzymywanie zbiorów testów(jakość, a nie ilość) staranna analiza wyników

38 Dziękuję za uwagę.. Pytania?

39 Źródła