Interneta apstaigāšanas robotu klastera izveide

Abstract

Maģistra darbs ir veltīts aktuālai tēmai mūsdienās – informācijas meklēšana Internetā un datu ieguve no tā. Lai veidotu Interneta apstaigāšanas robotu, ir izpētīts un apzināts Internet datu apjoms, tā īpašības, Internet robotu apstaigāšanas algoritmi, īpatnības. Par cik darba tēma ir saistīta tieši ar klasterotu Internet robotu, tad darba pamatā ir apskatītas un izzinātas galvenās klasterošanas tehnoloģijas. Pamat nodaļās ir izklāstīti sistēmas mērķi, arhitektūra, algoritmi, kā arī klasterošanas tehnoloģijas. Darba rezultātā ir izveidota reāla sistēma – klasterots Interneta robots, kurš atbilst augstas veiktspējas un augstas pieejamības klastera prasībām.

Master’s paper is dedicated to an actual issue in these days – search of information on the Internet and acquiring data from it. To create a spidering Internet robot the data amount on the Internet, it's characteristics, the algorithms and characteristics of spider robots have all been researched. As this papers title contains also cluster term then author is paying attention to cluster technologies in nowadays. The architecture, algorithms, the activity of it, clustering technologies has been laid out in the main chapters. As the base for the paper a cluster of Internet crawler has been built that satisfies features of high performance and high availability cluster.