meer cases
[tt2015.git] / a2 / 1cases.tex
index 18420a7..05bfbbc 100644 (file)
@@ -7,84 +7,68 @@ are to be run in a terminal. Commands prefixed with a \texttt{\#} should be run
 with root permissions. Commands prefixed with a \texttt{\$} should be run with
 user permissions.
 
-\begin{table}[H]
-\begin{tabularx}{\linewidth}{|l|X|}
+\begin{longtable}{|p{.2\linewidth}|p{.8\linewidth}|}
        \hline
-       Check 1 & Get the SUT in a workable state. \\
+       Check 1 & Get the SUT in a workable state.\\
        \hline
-       Course of action &
-               \begin{enumerate}
-                       \item Import the VirtualBox image into VirtualBox.
-                       \item Boot the vm.
-                       \item Verify the SUT booted successfully and the network modules
-                               are loaded.
-               \end{enumerate}\\
-       \hline Passed & \textit{Yes/No} \\
+       \multirow{3}{*}{Course of action} 
+               & 1. Import the VirtualBox image into VirtualBox.\\
+               & 2. Boot the vm.\\
+               & 3. Verify the SUT booted successfully and the network modules are
+               loaded.\\
+       \hline
+       Passed & \textit{Yes/No} \\
        \hline\hline
-       Check 2 & Verify the SUT is complete. \\\hline
-       Course of action &
-               \begin{enumerate}
-                       \item Boot the SUT as in \emph{Check 1}.
-                       \item Verify the loopback device exists by running
-                               \texttt{\$ ifconfig}.
-                       \item Verify the \emph{echo-server} is present on the system.
-                       \item Verify \emph{Scapy} is present on the system by running
-                               \texttt{\$ scapy}.
-                       \item Verify all scripts used for testing are present on the
-                               system.
-               \end{enumerate}\\
+       Check 2 & Verify the SUT is complete. \\
+       \hline
+       \multirow{5}{*}{Course of action}
+               & 1. Boot the SUT as in \emph{Check 1}.\\
+               & 2. Verify the loopback device exists by running 
+                       \texttt{\$ ifconfig}.\\
+               & 3. Verify the \emph{echo-server} is present on the system by running
+                       \texttt{\$ file code/server/Main.java}\\
+               & 4. Verify \emph{Scapy} is present on the system by running
+                       \texttt{\$ scapy}.\\
+               & 5. Verify all scripts used for testing are present on the system.\\
        \hline
        Passed & \textit{Yes/No}\\
-       \hline \hline
+       \hline\hline
        Check 3 & Initialize the testing environment.\\
        \hline
-       Course of action &
-                       \begin{enumerate}
-                               \item Boot the SUT as in \emph{Check 1}.
-                               \item Setup iptables by executing 
-                                       \texttt{\# code/iptables.sh}~\footnote{ The IPTables script
-                                       ensures that the OS does not drop packets due to an the
-                                       unknown source.}
-                               \item Navigate to the working directory by running
-                                       \texttt{\$ cd /home/student/tt2015}
-                               \item Compile the echo server by running 
-                                       \texttt{\# cd code/server \&\& make \&\& cd -}
-                               \item Start the echo server by running
-                                       \texttt{\# cd code/server \&\& java Main}
-               \end{enumerate}\\
+       \multirow{5}{*}{Course of action}
+               & 1. Boot the SUT as in \emph{Check 1}.\\
+               & 2. Setup iptables by executing
+                       \texttt{\# code/iptables.sh}~\footnote{The IPTables script ensures
+                       that the OS does not drop packets due to an the unknown source.}\\
+               & 3. Navigate to the working directory by running
+                       \texttt{\$ cd /home/student/tt2015}\\
+               & Compile the echo server by running 
+                       \texttt{\# cd code/server \&\& make \&\& cd -}\\
+               & Start the echo server by running
+                       \texttt{\# cd code/server \&\& java Main}\\
        \hline
        Passed & \textit{Yes/No}\\
        \hline\hline
        Check 4 & Test the tool environment.\\
        \hline
-       Course of action &
-               \begin{enumerate}
-                       \item Initialize the SUT as in \emph{Check 3}
-                       \item Execute the test script by running
-                               \texttt{\# code/client/helloworld.py}.
-                       \item Verify the console displays a success message.
-               \end{enumerate}\\
+       \multirow{3}{*}{Course of action}
+               & 1. Initialize the SUT as in \emph{Check 3}\\
+               & 2. Execute the test script by running
+                       \texttt{\# code/client/helloworld.py}\\
+               & 3. Verify the console displays a success message.\\
        \hline
        Passed & \textit{Yes/No}\\
        \hline\hline
-       Check 5 & All test inputs and scripts are present. \\\hline
-       % DIT MOET NOG EVEN ANDERS
-       Course of action & 
-               \begin{enumerate}
-                       \item Boot the SUT as in \emph{Check 1}.
-                       \item Execute the command \texttt{ls scripts/tests}
-                       \item Verify that there is a file named case$X$ for each test case $X$
-                       \item Use \emph{ls packets}
-                       \item Verify that there is a file named \texttt{single.pcap} and
-                       \texttt{multi.pcap}.
-               \end{enumerate}\\
+       Check 5 & All test inputs and scripts are present.\\\hline
+       \multirow{2}{*}{Course of action}
+               & 1. Boot the SUT as in \emph{Check 1}.\\
+               & 2. Verify that the test generation script is present by running
+                       \texttt{\$ file code/client/test.py}\\
        \hline
        Passed & \textit{Yes/No}\\
        \hline
-\end{tabularx}
-\end{table}
-
-\newpage
+       \caption{Preflight checklist\label{tbl:preflight}}
+\end{longtable}
 
 \subsection{Testing of SUT}
 The SUT is a series of services for other computer programs with no end-user
@@ -112,16 +96,33 @@ these partitions are given.
                        \item n=small payload packets
                        \item n=big payload packets
                \end{enumerate}
-       \item Correct or incorrect \emph{source port}
-       \item Correct or incorrect \emph{destination port}
+       \item \emph{source port}
+               \begin{enumerate}
+                       \item Correct
+                       \item Incorrect
+               \end{enumerate}
+       \item \emph{destination port}
+               \begin{enumerate}
+                       \item Correct
+                       \item Incorrect
+               \end{enumerate}
        \item Bits flipped in \emph{payload}
                \begin{enumerate}
                        \item Correct payload
                        \item Payload with even number of bits flipped
                        \item Payload with odd number of bits flipped
                \end{enumerate}
-       \item Correct or Incorrect \emph{checksum}
-       \item Packets received in or out of order, or missing packets
+       \item \emph{checksum}
+               \begin{enumerate}
+                       \item Correct
+                       \item Incorrect
+               \end{enumerate}
+       \item Packet order
+               \begin{enumerate}
+                       \item Correct
+                       \item Out of order
+                       \item Missing packets
+               \end{enumerate}
 \end{enumerate}
 
 \textbf{hier iets over waarom deze partities relevant zijn! Waarom odd en 
@@ -134,20 +135,26 @@ to do so) tested with the different request sizes of partition 1.
 
 This is expressed in Table~\ref{table:testpairs}.
 
-\begin{table}
-% DIT MAAK IK NOG EVEN MOOI
-       \begin{tabularx}{\linewidth}{p{2cm} | l | p{2cm} | l | p{1cm} || c | c | p{1.3cm} | p{1.3cm}}
-       \textbf{Payload}      & \textbf{checksum}  & \textbf{destination port} & \textbf{order}         & \textbf{source port} & \textbf{payload 0} & \textbf{payload 1} & \textbf{payload small} & \textbf{payload big} \\  \hline \hline
-       Correct               & Correct   & Correct          & In order       & Correct     & \checkmark & \checkmark & \checkmark & \checkmark \\  \hline
-       Correct               & Incorrect & Incorrect        & Missing packet & Incorrect   & \xmark & \xmark & \checkmark & \checkmark \\  \hline
-       odd\# of bits flipped  & Correct   & Incorrect        & Out of order   & Incorrect   & \xmark & \xmark & \checkmark & \checkmark \\  \hline
-       odd\# of bits flipped  & Incorrect & Correct          & Missing packet & Correct     & \xmark & \xmark & \checkmark & \checkmark \\  \hline
-       even\# of bits flipped & Correct   & Incorrect        & Missing packet & Correct     & \xmark & \xmark & \checkmark & \checkmark \\  \hline
-       even\# of bits flipped & Incorrect & Correct          & Out of order   & Incorrect   & \xmark & \xmark & \checkmark & \checkmark \\  \hline
-       odd\# of bits flipped  & Incorrect & Incorrect        & In order       & Incorrect   & \checkmark & \checkmark & \checkmark & \checkmark \\  \hline
-       even\# of bits flipped & Incorrect & Incorrect        & In order       & Incorrect   & \checkmark & \checkmark & \checkmark & \checkmark \\  \hline
-       Correct               & Incorrect & Incorrect        & Out of order   & Correct     & \xmark & \xmark & \checkmark & \checkmark \\  
-\end{tabularx}
+\begin{table}[H]
+       \centering
+       \begin{tabular}{|l|l|l|l|l|l|l|l|l|l|l|}
+               \hline
+               & \multicolumn{10}{c|}{\textbf{Partition}}\\
+               \hline
+               & \# & 4 & 5 & 3 & 6 & 2 & 1a & 1b & 1c & 1d\\
+               \hline\hline
+               \multirow{9}{*}{Instance} 
+               & 1 & a & a & a & a & a & \checkmark & \checkmark & \checkmark & \checkmark\\
+               & 2 & a & b & b & c & b & \xmark & \xmark & \checkmark & \checkmark\\
+               & 3 & c & a & b & a & b & \xmark & \xmark & \checkmark & \checkmark\\
+               & 4 & c & b & a & c & a & \xmark & \xmark & \checkmark & \checkmark\\
+               & 5 & b & a & b & c & a & \xmark & \xmark & \checkmark & \checkmark\\
+               & 6 & b & b & a & b & b & \xmark & \xmark & \checkmark & \checkmark\\
+               & 7 & c & b & b & a & b & \checkmark & \checkmark & \checkmark & \checkmark\\
+               & 8 & b & b & b & a & b & \checkmark & \checkmark & \checkmark & \checkmark\\
+               & 9 & a & b & b & b & a & \xmark & \xmark & \checkmark & \checkmark\\
+               \hline
+\end{tabular}
 \caption{Combinations of test cases}
 \label{table:testpairs}
 \end{table}
@@ -192,7 +199,69 @@ covered and the number of individual tests is still feasible.
 
 \subsection{Test cases}
 
-%\begin{table}
+Before every test case use the following steps to initialize the testing environment.
+
+\begin{enumerate}
+       \item Boot the vm using VirtualBox.
+       \item Setup iptables by executing \texttt{\# code/iptables.sh}
+       \item Navigate to the working directory by running \texttt{\$ cd /home/student/tt2015}
+       \item Start the echo server by running \texttt{\# cd code/server \&\& java Main}
+\end{enumerate}
+
+\begin{longtable}{|p{.2\linewidth}|p{.8\linewidth}|}
+       \hline
+       Nr & 1 \\\hline
+       Title & Single valid request with 1byte payload. \\\hline
+       Input & Generated packets. \\\hline
+       Expected output & Packets echoed back by Echo-Server. \\\hline
+       \multirow{2}{*}{Course of action}
+ & 1. Use the steps listed above in order to start the SUT. \\
+ & 2. Execute the script by running \texttt{\# code/client/tests/1.py} \\\hline
+       Valid trace & Verify that the script prints 'Success'. \\\hline
+       \hline
+       
+       Nr & 2 \\\hline
+       Title & Single valid request with 65495bytes payload. \\\hline
+       Input & Generated packets. \\\hline
+       Expected output & Packets echoed back by Echo-Server. \\\hline
+       \multirow{2}{*}{Course of action}
+       & 1. Use the steps listed above in order to start the SUT. \\
+       & 2. Execute the script by running \texttt{\# code/client/tests/2.py} \\\hline
+       Valid trace & Verify that the script prints 'Success'. \\\hline
+       \hline
+       
+       Nr & 3 \\\hline
+       Title & 5 valid requests with 1byte payload. \\\hline
+       Input & Generated packets. \\\hline
+       Expected output & Packets echoed back by Echo-Server, in the same order as the client sent them. \\\hline
+       \multirow{2}{*}{Course of action}
+       & 1. Use the steps listed above in order to start the SUT. \\
+       & 2. Execute the script by running \texttt{\# code/client/tests/3.py} \\\hline
+       Valid trace & Verify that the script prints 'Success'. \\\hline
+       \hline
+       
+       Nr & 4 \\\hline
+       Title & 5 valid requests with 65495bytes payload. \\\hline
+       Input & Generated packets with 65495bytes payload. \\\hline
+       Expected output & Packets echoed back by Echo-Server, in the same order as the client sent them. \\\hline
+       \multirow{2}{*}{Course of action}
+       & 1. Use the steps listed above in order to start the SUT. \\
+       & 2. Execute the script by running \texttt{\# code/client/tests/4.py} \\\hline
+       Valid trace & Verify that the script prints 'Success'. \\\hline
+       \hline
+       
+       Nr & 5 \\\hline
+       Title & 5 valid requests with 1byte payload sent out of order. \\\hline
+       Input & Generated packets with 1byte payload, two packets are swapped in position. \\\hline
+       Expected output & All requests sent up to and including
+        the swapped packet with the lowest sequence number, the remaining packets are dropped. \\\hline
+       \multirow{2}{*}{Course of action}
+       & 1. Use the steps listed above in order to start the SUT. \\
+       & 2. Execute the script by running \texttt{\# code/client/tests/5.py} \\\hline
+       Valid trace & Verify that the script prints 'Success'. \\\hline
+       \hline
+\end{longtable}
+
 %\begin{tabularx}{\linewidth}{| l | X|}
 %\hline
 %Nr & 1 \\\hline
@@ -230,5 +299,3 @@ covered and the number of individual tests is still feasible.
 %      \end{enumerate} \\\hline
 %\end{tabularx}
 %\end{table}
-
-\newpage