+45 55 55 79 38 info@viteco.dk

Svenske Spel præsenterede på Exasol Xperience18, hvordan de arbejder med deres big data til blandt andet spilafhængighed. De startede med at bruge Tableau Extracts, men er nu gået en anden vej for at opnå tilstrækkelig performance.

Forbrugerbeskyttelse mod spilafhængighed vigtigere end overskud

Svenska Spel bruger data intensivt til Business Intelligence og rapportering, ad hoc analyse og predictive analytics. Især det sidste bruges til at forudsige og identificere spillere, der har en adfærd, der tyder på spilafhængighed. På grund af deres statslige ejerforhold, har Svenska Spel ligesom Danske Spil en forpligtelse til at sikre at spilafviklingen sker på en ordentlig måde. Da de således ikke har som eneste mål at skabe størst muligt overskud, arbejdes der aktivt med at identificere og håndtere ludomani / spilafhængighed (på engelsk: Predict gambling addiction).

Spil er big data

Svenska Spel arbejder med omkring 2.5 mia. rækker data. En datamængde, der vokser kraftigt. De startede med at bruge Cognos mod Oracle Exadata, men løsningen blev for dyr. Næste forsøg blev at bruge Hadoop i Hortonworks udgaven med Tableau som rapportering via Hive (SQL grænsesnit mode Hadoop). Her oplevede mange Tableau-brugere lang ventetid. Problemet var at Hadoop blev brugt forkert. Det fungerer godt til at indlæse data i, men ikke til direkte on-line forespørgsel. For at løse problemet introducerede Svenska Spel Tableau Extracts, der er Tableaus egen løsning til den slags. Desværre brød det sammen efter at have loaded blot 5-6 måneders data ind i Extracts. Som en sidste løsning forsøgte man at etablere aggregerede tabeller, men endte i et administrativt helvede, så selvom det kunne løse problemet, var det ikke praktisk gennemførbart.

Tableau Extracts erstattes af Exasol

Brugerne af data I Svenska Spel er meget kundeorienterede, og for at tælle antal kunder (personer) kommer man til at lave mange ”count distinct” på tværs af fx spiltyper. Opgørelserne er ofte på rullende perioder (12 måneder, 3 uger) og typisk med mange dimensioner. Dimensioner som produktkategori, produkttype og salgskanal har desuden hierarkier på mange niveauer. Alt sammen forhold, der øger kompleksiteten og performancekrav til løsningen. Endelig er det brug for data med fuld granularitet, da man skal ned på transaktionsnieau for at give fuld fleksibilitet for brugerne i deres udtræk. Hvordan opfylder man sådanne krav? Hos Svenska Spel ”løftede man hovedet” og kiggede på dataplatforme, der potentielt kunne løse opgaven. Der blev kigget på AtScale, Druid, HP Vertica, Spark og Exasol. Under afprøvningen blev alle de øvrige kandidater sat til vægs af en Exasol virtuel maskine.

As a database developer it’s fantastic to work with Erik Eklund

Fra 30 minutter til 28 sekunder

Svenska Spels tilpassede arkitektur har stadig Hortonworks Hadoop med Hive. Den bruges som data lake, hvor data integreres i en Data Vault og der dannes dimensionel datamart. Ovenpå dette har de lagt Exasol som et rent performancelag, som Tableau tilgår. Tableau Extracts er udfaset. I stedet kopieres den dimensionelle datamart til Exasol med alle 2.5 mia. rækker – ikke længere kunde det seneste halve år. Det har givet en voldsom svartidsforbedring i forhold til Tableau Extracts. Til de mest komplekse metrikker bruger Svenska Spel stadig aggregerede tabeller, men det er blevet hurtigere at arbejde med. Dannelse af de aggregede tabeller er nedbragt fra 30 minutter på Hadoop til 28 sekunder på Exasol. Selvom Svenska Spel har fået en ekstremt hurtig database, er der stadig behov for at arbejde med performance. Der er ind i mellem behov for at kigge på den SQL som Tableau genererer for at optimere performance, og en prioritering af brugergrupper har også været nødvendig. Så selvom træerne nærmest vokser ind i himlen, kommer der stadig en enkelt sky engang i mellem. De nye muligheder, som performanceforbedringen skaber, skal gerne gøre indsatsen omkring spilafhængighed endnu bedre.

Share This