Add explenation of partitions
[tt2015.git] / a2 / 1cases.tex
index 40bd1b9..9ffc07d 100644 (file)
@@ -7,81 +7,69 @@ are to be run in a terminal. Commands prefixed with a \texttt{\#} should be run
 with root permissions. Commands prefixed with a \texttt{\$} should be run with
 user permissions.
 
-\begin{longtabu}{|l|X|}
+\begin{longtable}{|l|rp{.8\linewidth}|}
        \hline
-       Check 1 & Get the SUT in a workable state.\\
+       Check 1 & \multicolumn{2}{l|}{Get the SUT in a workable state.}\\
        \hline
-       Course of action &
-               \begin{enumerate}
-                       \item Import the VirtualBox image into VirtualBox.
-                       \item Boot the vm.
-                       \item Verify the SUT booted successfully and the network modules
-                               are loaded.
-               \end{enumerate}\\
-       \hline Passed & \textit{Yes/No} \\
+       \multirow{3}{*}{Course of action} 
+               & 1. & Import the VirtualBox image into VirtualBox.\\
+               & 2. & Boot the vm.\\
+               & 3. & Verify the SUT booted successfully and the network modules are
+               loaded.\\
+       \hline
+       Passed & \multicolumn{2}{l|}{\textit{Yes/No}}\\
        \hline\hline
-       Check 2 & Verify the SUT is complete. \\\hline
-       Course of action &
-               \begin{enumerate}
-                       \item Boot the SUT as in \emph{Check 1}.
-                       \item Verify the loopback device exists by running
-                               \texttt{\$ ifconfig}.
-                       \item Verify the \emph{echo-server} is present on the system.
-                       \item Verify \emph{Scapy} is present on the system by running
-                               \texttt{\$ scapy}.
-                       \item Verify all scripts used for testing are present on the
-                               system.
-               \end{enumerate}\\
+       Check 2 & \multicolumn{2}{l|}{Verify the SUT is complete.}\\
        \hline
-       Passed & \textit{Yes/No}\\
-       Check 3 & Initialize the testing environment.\\
+       \multirow{5}{*}{Course of action}
+               & 1. & Boot the SUT as in \emph{Check 1}.\\
+               & 2. & Verify the loopback device exists by running 
+                        \texttt{\$ ifconfig}.\\
+               & 3. & Verify the \emph{echo-server} is present on the system by running
+                       \texttt{\$ file code/server/Main.java}\\
+               & 4. & Verify \emph{Scapy} is present on the system by running
+                       \texttt{\$ scapy}.\\
+               & 5. & Verify all scripts used for testing are present on the system.\\
        \hline
-       Course of action &
-                       \begin{enumerate}
-                               \item Boot the SUT as in \emph{Check 1}.
-                               \item Setup iptables by executing 
-                                       \texttt{\# code/iptables.sh}~\footnote{ The IPTables script
-                                       ensures that the OS does not drop packets due to an the
-                                       unknown source.}
-                               \item Navigate to the working directory by running
-                                       \texttt{\$ cd /home/student/tt2015}
-                               \item Compile the echo server by running 
-                                       \texttt{\# cd code/server \&\& make \&\& cd -}
-                               \item Start the echo server by running
-                                       \texttt{\# cd code/server \&\& java Main}
-               \end{enumerate}\\
+       Passed & \multicolumn{2}{l|}{\textit{Yes/No}}\\
+       \hline\hline
+       Check 3 & \multicolumn{2}{l|}{Initialize the testing environment..}\\
        \hline
-       Passed & \textit{Yes/No}\\
+       \multirow{5}{*}{Course of action}
+               & 1. & Boot the SUT as in \emph{Check 1}.\\
+               & 2. & Setup iptables by executing
+                       \texttt{\# code/iptables.sh}~\footnote{The IPTables script ensures
+                       that the OS does not drop packets due to an the unknown source.}\\
+               & 3. & Navigate to the working directory by running
+                       \texttt{\$ cd /home/student/tt2015}\\
+               & 4. & Compile the echo server by running 
+                       \texttt{\# cd code/server \&\& make \&\& cd -}\\
+               & 5. & Start the echo server by running
+                       \texttt{\# cd code/server \&\& java Main}\\
+       \hline
+       Passed & \multicolumn{2}{l|}{\textit{Yes/No}}\\
        \hline\hline
-       Check 4 & Test the tool environment.\\
+       Check 4 & \multicolumn{2}{l|}{Test the tool environment.}\\
        \hline
-       Course of action &
-               \begin{enumerate}
-                       \item Initialize the SUT as in \emph{Check 3}
-                       \item Execute the test script by running
-                               \texttt{\# code/client/helloworld.py}.
-                       \item Verify the console displays a success message.
-               \end{enumerate}\\
+       \multirow{3}{*}{Course of action}
+               & 1. & Initialize the SUT as in \emph{Check 3}\\
+               & 2. & Execute the test script by running
+                       \texttt{\# code/client/helloworld.py}\\
+               & 3. & Verify the console displays a success message.\\
        \hline
-       Passed & \textit{Yes/No}\\
+       Passed & \multicolumn{2}{l|}{\textit{Yes/No}}\\
        \hline\hline
-       Check 5 & All test inputs and scripts are present. \\\hline
-       % DIT MOET NOG EVEN ANDERS
-       Course of action & 
-               \begin{enumerate}
-                       \item Boot the SUT as in \emph{Check 1}.
-                       \item Execute the command \texttt{ls scripts/tests}
-                       \item Verify that there is a file named case$X$ for each test case
-                               $X$
-                       \item Use \emph{ls packets}
-                       \item Verify that there is a file named \texttt{single.pcap} and
-                       \texttt{multi.pcap}.
-               \end{enumerate}\\
+       Check 5 & \multicolumn{2}{l|}{All test inputs and scripts are present.}\\
        \hline
-       Passed & \textit{Yes/No}\\
+       \multirow{2}{*}{Course of action}
+               & 1. & Boot the SUT as in \emph{Check 1}.\\
+               & 2. & Verify that the test generation script is present by running
+                       \texttt{\$ file code/client/test.py}\\
+       \hline
+       Passed & \multicolumn{2}{l|}{\textit{Yes/No}}\\
        \hline
        \caption{Preflight checklist\label{tbl:preflight}}
-\end{longtabu}
+\end{longtable}
 
 \subsection{Testing of SUT}
 The SUT is a series of services for other computer programs with no end-user
@@ -101,13 +89,14 @@ a feasible test suite the tests are divided into equivalence partitions. Below
 these partitions are given.
 
 \begin{enumerate}
-       \item \emph{Number of packets} in request~\footnote{A request is considered
-               establishing a connection (handshake) and a number of payload packets}
+       \item \emph{Number of segments} in request~\footnote{A request is
+               considered establishing a connection (handshake) and a number of
+               payload segments}
                \begin{enumerate}
-                       \item 0 payload packets
-                       \item 1 payload packet
-                       \item n=small payload packets
-                       \item n=big payload packets
+                       \item 0 payload segments
+                       \item 1 payload segments
+                       \item n=small payload segments
+                       \item n=big payload segments
                \end{enumerate}
        \item \emph{source port}
                \begin{enumerate}
@@ -119,11 +108,11 @@ these partitions are given.
                        \item Correct
                        \item Incorrect
                \end{enumerate}
-       \item Bits flipped in \emph{payload}
+       \item Bit errors in \emph{payload}
                \begin{enumerate}
                        \item Correct payload
-                       \item Payload with even number of bits flipped
-                       \item Payload with odd number of bits flipped
+                       \item Payload with bit flips that do not show in checksum
+                       \item Payload with bit flips that do show in checksum
                \end{enumerate}
        \item \emph{checksum}
                \begin{enumerate}
@@ -138,8 +127,32 @@ these partitions are given.
                \end{enumerate}
 \end{enumerate}
 
-\textbf{hier iets over waarom deze partities relevant zijn! Waarom odd en 
-even number of bits flipped bijv interessant?}
+These partitions were chosen since they correspond to key parts of the TCP
+specification. 
+
+TCP segments are send over a TCP connection from a \emph{source} to a \emph{destination port}. Therefore segments which are received that have a 
+source or destination port set to an incorrect value should not be regarded
+as segments belonging to the connection by the SUT. 
+
+TCP uses a \emph{checksum} to catch any error introduced in headers, when this
+checksum does not match the actual computed checksum the SUT should
+disregard the received segment.
+
+The TCP checksum is also an inherently weak one, as it is simply the 
+bitwise negation of the addition, in ones complement arithmetic, 
+of all 16 bit words in the header and data of the segment (excluding the
+checksum itself). Therefore any \emph{bit error} where the ones complement value
+of one word
+increases by one, and the value of another decreases by one, is undetected. 
+The SUT should exhibit the same behavior and accept packets where these type
+of bit errors occur.
+
+TCP guarantees that segments are delivered in order,even when they are received
+\emph{out of order} and that missing segments are resend. The SUT should
+exhibit the same behavior. If segments are received out of order it should
+deliver them in order. Missing segments should be re-requested (by ACK-ing
+the correct sequence number).  
+
 \bigskip
 
 Partitions 2 to 6 are tested using pairwise testing to keep the number of test