Presentation av examensarbete Högskoleingenjör

Titel: Kombinering av webbtjänster utan publika API utifrån specificerad platspositionering - Med metasökning och webbskrapning

Respondent: Gustav Hjertman och Hasan Kavak

Datum och tid: 2016-10-27 kl 13.00

Plats: Sal C, Electrum i Kista, Kistagången 16

Opponenter:

Examinator: Anders Sjögren

Språk: svenska

Anmälan om närvaro: ingen

Sammanfattning

Att utveckla nya webbtjänster kanvara en dyr process och mycket av den funktionalitet som är av intresse för utvecklare finns redan tillgänglig på Internet i form av komponenter eller tjänster.Företag söker dessutom i allt större utsträckning att extrahera data från redan existerande källor på webbeni syfte att generera marknadsvärde. Som en följd av att webbtjänster i allt större utsträckning öppnat upp sina system genomimplementation avpublika API har så kallade mashups, applikationer uppbyggda genom kombinering av andra webbtjänster, vunnitpopularitet.Alla webbtjänster med funktionalitet som eftersöksav företag erbjuder dock intepublikaAPIoch tvingarutvecklaretillatt leta efterandra metoder för att extrahera data av intresse.Syftet med denna rapport äratt beskriva hur webbtjänster som inte erbjuderpublika APIkan kombinerasutifrån platspositioneringtill en ny webbtjänst. Detta åstadkoms genom utvecklandet av en prototyp till en webbapplikationmed sökfunktionalitetdär Hotels.com och Restaurangkartan.se utnyttjades som underliggande webbtjänster.Dessa webbtjänster valdes utifrånen undersökning av flertalet liknande tjänsterdär webbsidornas sökformulär samt URL för sökresultatenanalyserades. Prototypen utveckladesgenom en agil och iterationsbaserad metod med inslag av återanvändningsorienterad systemutveckling.Arbetet beskrivet i denna rapport har visat att det är möjligtatt kombinera webbtjänster som inte erbjuderpublika API,utifrån specificerad platspositionering,genomen kombination av metasökning och webbskrapning.Den resulterande prototypenkan beskrivas som entyp avmetasök-mashupsom utnyttjar webbskrapning för att extrahera data från de underliggande webbtjänsterna, meden arkitektur beståendes av fyra huvudkomponenter;leverantörer av data, vilka är de underliggande webbtjänster som utnyttjas; applikationsserver, den server på vilken applikationen exekveras ochdärlogiken för metasökning och webbskrapninghuserar; klientens webbläsareför grafisk representationav,samt interaktion med applikationen; databasför att hålla information om platspositionering samtövrig relevant data.För att försäkra att prototypen presterade korrekt jämfördesdess sökresultat kontinuerligt mot de underliggande webbtjänsternas sökresultat.Avslutningsvisargumenteras det för att webbskrapning inte bör användas i kommersiellt syfte utan de berörda parternasgodkännande, främst på grund av de etiska och lagliga problem metoden kan ge upphov till. Även utvecklarnas totala brist på kontroll över de utnyttjade webbtjänsternas funktionalitet bidrar till att metoden inte kan rekommenderas för hållbart kommersiellt bruk.
Nyckelord
Webbtjänster, mashups, webbskrapning, metasökning, kombinering