testenv en testautomation
authorCharlie Gerhardus <charlie.gerhardus@somedomain.something>
Sun, 4 Oct 2015 15:55:42 +0000 (17:55 +0200)
committerCharlie Gerhardus <charlie.gerhardus@somedomain.something>
Sun, 4 Oct 2015 15:55:42 +0000 (17:55 +0200)
2approach.tex

index 743c9d3..48537ef 100644 (file)
@@ -42,7 +42,7 @@ to the SUT.
 
 The client will deliver a product for certification. This means our team will only conduct acceptance testing and assume that the client who requested certification has conducted unit, module and integration testing. We will only be conducting black-box testing and the client is not required to handover any source-code. Initially we will conduct several basic test cases based on experience acquired from previous certification requests (error guessing). If the product fails these basic tests we reject it and seize all further activities. If the product is not rejected we will proceed with more thorough testing. For each test we produce a test report. If any of the test cases fail the product is still rejected but in order to deliver usable feedback to the client we will still produce a test report.
 
-\subsection{Test generation}
+\subsubsection{Test generation}
 
 The basic tests mentioned in section \ref{levels} are conducted using a checklist. If any of the checks fail we immediately reject the product.
 
@@ -91,4 +91,26 @@ We will test all possible combinations of requests/packet order/packet content.
        \item Header: valid/invalid
        \item Payload: valid/invalid
        \item ...
-\end{enumerate}
\ No newline at end of file
+\end{enumerate}
+
+\subsubsection{Test environment en automatization}
+
+All the tools we are going to use togetter with the SUT gives us the following collection of software.
+
+\begin{enumerate}
+       \item Windows, used as a host OS.
+       \item Linux, used as both a host and guest OS.
+       \item VirtualBox, used to run the guest OS containing the SUT.
+       \item Wireshark, used on the host in order to capture and analyze network traffic.
+       \item Bit-Twist, used to prepare network packets.
+\end{enumerate}
+
+All test will be conducted in a virtual environment. We will use VirtualBox to run a Linux distro with the product installed. All the different tests are performed either in VirtualBox (basic tests) or from the host system (transmission analysis). When testing network transmissions we will only analyze the packets received on the host system which originate from the product running in the virtual environment. The host system is disconnected from the Internet or any other network in order to prevent unnecessary traffic.
+
+For each test case (except for the basic tests) a file containing previously captured network traffic will be replayed using Wireshark. We will use Bit-Twist to update the prepared packets with the MAC address of the guest network adapter. The response packets coming from the guest OS will be recorded and analyzed at a later stage. The valid packets are obtained by capturing traffic between known working alternatives to the SUT. The invalid packets are generated from this valid traffic using Bit-Twist. The boundary values for the different parameters (fields in packets) are determined by hand.
+
+\begin{enumerate}
+       \item VirtualBox, https://www.virtualbox.org/
+       \item Whireshark, https://www.wireshark.org/
+       \item Bit-Twist, http://bittwist.sourceforge.net/
+\end{enumerate}