Zoekmachines moeten in zeer korte tijd goede resultaten kunnen opleveren voor wat er in de zoekbalk wordt ingevoerd. Dergelijke zoekmachines doen dit door altijd alle websites te bezoeken en links te volgen. Dit wordt door menig bedrijf ‘crawlen’ genoemd.
Het crawlen van websites wordt niet gedaan door een mens, maar wordt verricht door een programma dat een spider of bot wordt genoemd. Dit gebeurt op een systematische en automatische manier. Spiders of bots van zoekmachines beoordelen gecrawlde webpagina's op basis van verschillende marktfactoren. Vervolgens slaat het de gegevens van de gecrawlde webpagina op in een index. De zoekmachine gebruikt deze index om uiteindelijk in een korte en snelle tijd te reageren op de opgegeven zoekterm en zorgt ervoor dat de juiste informatie links getoond worden.
Door de zoekmachines (zoals die van Google) zijn zakelijke informatie als SEO en SEA ontstaan. Als er gekeken wordt naar Google, dan geven ze een score omtrent jouw website en hoe hoger de score, hoe zichtbaarder de website is. Dit kan op twee manieren. Bij SEO geldt een organische manier van zichtbaar zijn. Hiervoor hoeft een bedrijf in principe niet te betalen. Het is ook mogelijk om voor een betaalde versie te kiezen en dan wordt het bedrijf bovenaan gezet. Lees meer over SEO en SEA door gebruik te maken van de zoekmachine.