small frontend update
authorMart Lubbers <mart@martlubbers.net>
Tue, 9 Dec 2014 12:03:22 +0000 (13:03 +0100)
committerMart Lubbers <mart@martlubbers.net>
Tue, 9 Dec 2014 12:03:22 +0000 (13:03 +0100)
thesis2/2.requirementsanddesign.tex

index 57af052..94a7c28 100644 (file)
@@ -137,8 +137,38 @@ thus be adapted to change the crawler for possible source changes for example.
 
 \subsubsection{Add new crawler}
 \label{addcrawler}
 
 \subsubsection{Add new crawler}
 \label{addcrawler}
-TODOOO
+The addition or generation of crawlers is the key feature of the program and it
+is the smartest part of whole system as it includes the graph optimization
+algorithm to recognize user specified patterns in the data. The user has to
+assign a name to a RSS feed in the boxes and when the user presses submit the
+RSS feed is downloaded and prepared to be shown in the interactive editor. The
+editor consists of two components. The top most component allows the user to
+enter several fields of data concerning the venue, these are things like:
+address, crawling frequency and website. Below there is a table containing the
+processed RSS feed entries and a row of buttons allowing the user to mark
+certain parts of the entries as certain types. The user has to select a piece
+of an entry and then press the appropriate category button. The text will
+become highlighted and by doing this for several entries the program will have
+enough information to crawl the feed as shown in Figure~\ref{addcrawl}
+
+\begin{figure}
+       \label{addcrawl}
+       \caption{Example of a pattern in the add crawler component}
+\end{figure}
+
 \subsubsection{Test crawler}
 \subsubsection{Test crawler}
+The test crawler component is a very simple non interactive component that
+allows the user to verify if a crawler functions properly without having to
+need to access the database or the command line utilities. Via a dropdown menu
+the user selects the crawler and when submit is pressed the backend generates a
+results page that shows a small log of the crawler, a summary of the results
+and most importantly the results, in this way the user can see in a few gazes
+if the crawler functions properly. Humans are very fast in detecting patterns
+and therefore the error checking goes very fast. Because the log of the crawl
+operation is shown this page can also be used for diagnostic information about
+the backends crawling system. The logging is pretty in depth and also shows
+possible exceptions and is therefore also usable for the developers to diagnose
+problems.
 
 \subsection{Backend}
 \subsubsection{Program description}
 
 \subsection{Backend}
 \subsubsection{Program description}
@@ -164,7 +194,7 @@ function without intervention of a programmer that needs to adapt the source.
 
 \subsubsection{Libraries}
 The libraries are called by the main program and take care of all the hard
 
 \subsubsection{Libraries}
 The libraries are called by the main program and take care of all the hard
-work. Basically the libaries are a group of python scripts that for example
+work. Basically the libraries are a group of python scripts that for example
 minimize the graphs, transform the user data into machine readable data, export
 the crawled data to XML and much more.
 
 minimize the graphs, transform the user data into machine readable data, export
 the crawled data to XML and much more.