added discussion on not testing checksums
authorpimjager <pim@pimjager.nl>
Sun, 15 Nov 2015 19:27:05 +0000 (20:27 +0100)
committerpimjager <pim@pimjager.nl>
Sun, 15 Nov 2015 19:27:05 +0000 (20:27 +0100)
a2/1cases.tex
a2/2results.tex

index 85064bc..d30a937 100644 (file)
@@ -73,7 +73,7 @@ user permissions.
        \caption{Preflight checklist\label{tbl:preflight}}
 \end{longtable}
 
-\subsection{Testing of SUT}
+\subsection{Testing of SUT} \label{sec:testingofsut}
 The SUT is a series of services for other computer programs with no end-user
 facing interface. Therefore the SUT will be tested solely by calling it's
 services through various automated scripts. An automated test suite will be
index 4e685ed..eaa1731 100644 (file)
@@ -66,36 +66,22 @@ Table~\ref{tbl:preflightresults} and Table~\ref{tbl:testcasesresults} this is
 the case. Therefore the SUT has PASSED/FAILED this test.\r
 %This failure is due to the failure of the test case(s) 1,2,3,n as specified\r
 %where the SUT failed to behave in the expected way by... %behavior dat SUT wel\r
-%%liet zien\r
+%%liet zien \r
 \r
-%\r
-%\textbf{TODO: DEZE TABEL WEL UPDATEN!!}\r
-%\r
-%\begin{table}\r
-%\begin{tabularx}{\linewidth}{| l | X|}\r
-%      \hline\r
-%Check 1 & Get the SUT in a workable state. \\\hline\r
-%Course of action & \begin{enumerate}\r
-%      \item Import the VirtualBox image into VirtualBox.\r
-%      \item Boot the vm.\r
-%      \item Verify the SUT booted succesfully and the network module(s) are loaded.\r
-%\end{enumerate} \\\hline\r
-%Passed & \textit{\st{Yes}/No} \\\hline \hline\r
-%Check 2 & Verify the SUT is complete. \\\hline\r
-%Course of action & \begin{enumerate}\r
-%      \item Use the course of action for \emph{Check 1} in order to boot the SUT.\r
-%      \item Verify the loopback device exists using \emph{ifconfig}\r
-%      \item Verify the \emph{echo-server} is present on the system.\r
-%      \item Verify \emph{Scrappy} is present on the system.\r
-%      \item Verify all scripts used for testing are present on the system.\r
-%\end{enumerate} \\\hline\r
-%Passed & \textit{\st{Yes}/No} \\\hline \hline\r
-%Check 3 & Initialize the testing environment. \\\hline\r
-%Course of action & \begin{enumerate}\r
-%      \item Boot the SUT (see \emph{Check 1}).\r
-%      \item Setup iptables by executing \emph{./scripts/setup/iptables.sh}\r
-%      \item Setup ... by executing \emph{./scripts/setup/...}\r
-%\end{enumerate} \\\hline\r
-%Passed & \textit{\st{Yes}/No} \\\hline\r
-%\end{tabularx}\r
-%\end{table}\r
+\subsection{Notes on results}\r
+Due to severe difficulties with implementing the corruption of a checksum any\r
+tests which mention corruption of the checksum, that is, all tests testing\r
+the different partitions 4a, 4b, 4c, 5a and 5b as mentioned in \r
+Section~\ref{sec:testingofsut}, are always done with a valid checksum. These\r
+tests always fall in partition 4a and 5a. \r
+\r
+These difficulties arise because TCP-checksum computation is something which is\r
+done\r
+on the hardware level or somewhere otherwise quite far from the software\r
+implementation of anything calling the TCP-stack. Due to this, changing the\r
+checksum of the segments send from the test script to the SUT is not possible\r
+without writing raw data to the network sockets, which would result\r
+in high changes of manual errors.\r
+\r
+Because of this these partitions are not tested and the SUT is not tested for\r
+the requirement that it should disregard segments with invalid checksums. 
\ No newline at end of file