Pārāk daudz datu: cik lielu informācijas apjomu glabā internetā?

Kamēr pirmajam datoram rit astotais gadu desmits, salīdzinot ar visparastāko mūsdienu telefonu – tas neprata neko. Elementāru matemātisku darbību izpildei bija nepieciešamas vairākas sekundes un visu informāciju tas nolasīja no perfolentēm, par cik tam nemaz nebija iebūvētās operatīvās atmiņas. Šodien, ar nelielu un mobilu ierīču starpniecību, mēs vienā mirklī apmaināmies ar ziņām un pat multimediju failiem.

---

Visbiežāk mēs pat neiedomājamies, kādu datu apjomu dienas garumā ģenerējam un kur šie dati tiek glabāti. Pateicoties internetam, 2017. gadā vienā dienā Google apstrādā vairāk datu, nekā fiksēts visā rakstītajā literatūrā un visās pasaules valodās līdz interneta izgudrošanai. Jāņem vērā arī tas, ka globālajam tīmeklim ir pieslēgta tikai daļa planētas iedzīvotāju.

Lielais grūdiens

Strauji augošais datu apjoms bija iemesls tam, ka parādījās aizvien jaunas mājaslapas un internets izplatījās aizvien plašāk, jo viena lieta ir krāt un uzglabāt informāciju, cita – ar to dalīties. Pirmā mājaslapa parādījās 1990. gadā un atspoguļoja tikai tekstuālu informāciju – World Wide Web tehnoloģijas aprakstu.

Pirmajos gados mājaslapu skaits internetā pieauga divas reizes katrus trīs mēnešus. 1993. gada jūnijā visā pasaulē bija jau 130 mājaslapu, taču jau decembrī – 623. 1996. gada sākumā mājaslapu skaits sasniedza jau 100 000, taču 2014. gadā to jau ir vairāk kā miljards un šodien to ir 1,2 miljardi. Tas ir aptuveni sešas reizes mazāk, nekā cilvēku uz Zemes un trīs reizes mazāk nekā interneta lietotāju (3,6 miljardi). Tādejādi, uz katru mājaslapu varam rēķināt 3 interneta lietotājus.

Mājaslapu skaita pieaugums no 1993. līdz 2017. gadam

Avots: Internetlivestats.com

Izteikti ātri interneta auditorija ir augusi kopš 2010. gada un tā pamatā ir mobilā tīkla 3G un 4G izplatība. Šobrīd pasaulē ir 3,3 mljrd. ierīču, kas 912 milj. lietotāju nodrošina mobilo piekļuvi internetam, taču aplēses lēš, ka jau 2020. gadā to skaits sasniegs attiecīgi 4,3 un 1,8 milj [1]. Neskatoties uz milzīgajiem cipariem, ievērojama pasaules iedzīvotāju daļa tīmekli izmanto no citiem pieejas kanāliem.

3G un 4G lietotāju skaita pieauguma prognoze līdz 2020. gadam

Avots: Internetlivestats.com

Tā, 1995. gadā visu lietotāju skaits sasniedza 1% no Zemes iedzīvotāju skaita, jeb aptuveni 14 milj. cilvēku. Laika periodā no 1999. līdz 2013. gadam interneta lietotāju skaits pieauga 10 reizes. Pirmais miljards tika sasniegts 2005. gadā un pēc pieciem gadiem tīmekļa auditorija bija pārsniegusi 2 miljardu atzīmi [2]. Interneta lietotāji pasaulē sadalīti visai nevienmērīgi: 2013. gada dati liecina, ka aptuveni puse no visiem interneta lietotājiem atrodas Āzijā, taču vismazākā – Klusā okeāna valstīs (0,9%)

Interneta lietotāju skaits

Avots: Internetlivestats.com

Google atklāj, ka 2008. gadā apstrādājusi 20 petabaitus ar datiem dienā, taču šodien analoģisks datu apjoms tiek apstrādāts 8 (!!!) minūtēs. Salīdzinājumam, visas seriāla “Troņu spēles” sezonas sver ~70 GB pie 1024x576 lielas izšķirtspējas. Un šādu datu apjomu Google apstrādā dažās sekundēs.

Google meklētājs apstrādā sekojošu pieprasījumu skaitu:

• 1998. g.– 9800 dienā, 3,2 milj. gadā
• 2007. g. – 1,2 mljrd. dienā, 438 mljrd. gadā
• 2016. g. – 3 mljrd. dienā, 1,2 triljoni gadā

Cik sver internets

Pirmais 5MB cietais disks paradījās pirms 60 gadiem. Tas svēra aptuveni tonnu un pēc izmēriem pielīdzināms lielam mūsdienu ledusskapim. Iekš masīvā korpusa atradās 50 diski ar 60 centimetru diametru. Šodien šādā izmērā var tikt ievietotas divas serveru statnes, savukārt nelielā zibatmiņā varam ietilpināt vairākus simtus gigabaitu.

Cieto disku izmēri un atmiņas apjomi

5 MB 1956. gads	1 TB 2017. gads

YouTube.com

YouTube – pasaules lielākais legālais video hostings. Pirmais video tika ielādēts 2005. gada 23. aprīlī un šodien šī resursa auditorija ir 30 milj. apmeklētāju dienā, taču kopumā resursu izmanto 1,3 mljrd. cilvēku visā pasaulē. Ik minūti YouTube vietnē tiek augšupielādētas 300 stundas ar video [3].

• 2012. g. – līdz 4 mljrd. skatījumu dienā
• 2017. g. – 3,25 stundas mēnesī, 5 mljrd. video dienā
• 973 mljrd. video pēdējā gada laikā
• 5 petabaiti – YouTube vietnes svars

Avots: Expandedramblings.com

Facebook.com

Facebook auditorija sastāda 1,94 mljrd. Tas ir krietni vairāk kā YouTube un vairāk, kā jebkuram citam sociālajam tīklam pasaulē. Salīdzinājumam, Google+ izmanto nedaudz vairāk kā pus miljards lietotāju, Twitter – 300 milj. Tik liela sociālā tīkla izplatība skaidrojama ar to, ka, tostarp, bezmaksas pieeja tiek nodrošināta nabadzīgākajam Āzijas un Āfrikas iedzīvotāju slānim, kas ir Marka Cukerberga Internet.org projekta nopelns. Interesanti, ka daļa nabadzīgāko reģionu interneta lietotāju nemaz nenojauš, ka lietojot Facebook, izmanto internetu.

• 1,94 mljrd. lietotāju
• 1,28 mljrd. aktīvu lietotāju ik dienu
• 300 milj. fotogrāfiju tiek augšupielādēti ik dienu
• 510 000 komentāru, 293 statusu un 136 000 fotogrāfiju tiek ievietoti ik minūti

Avots: Zephoria.com

Kas tālāk?

Tiek lēsts, ka līdz 2020. gadam pasaulē būs 50 mljrd. internetam pieslēgtu ierīču, no tām 6,1 mljrd. – viedtālruņi [4]. Zemes iedzīvotāji sasniegs 7,75 mljrd. (kas ir 6,5 reizes mazāk) un katrs iedzīvotājs ģenerēs 1,7 Mb informācijas ik sekundi. Aptuveni trešā daļa no visiem datiem tiks glabāta mākonī. 2013. gadā kopējais internetā apstrādājamo datu apjoms veidoja 4,3 zettabaitus un katru gadu tas dubultojas. Sagaidāms, ka līdz 2020. gadam šis rādītājs pieaugs līdz 44 zettabaitiem. Ir grūti to salīdzināt ar kaut ko aptveramu. Taču mēģiniet iedomāties, ka viens zettabaits ir ekvivalents 44 triljoniem gigabaitu, un ievietot tos visus var, piemēram, 4.4 miljardos 10 terabaitu diskos.

Kur tas viss tiek glabāts?

Interneta giganti informācijas glabāšanai un apstrādei būvē milzīgus datu centrus. Visbiežāk dati par to atrašanās vietu, aprīkojumu un izmēriem netiek atklāti. Labākajā gadījumā, internetā ir atrodamas fasāžu bildes. Taču pirms vairākiem gadiem Google pavēra noslēpumaino priekškaru vienam no saviem datu centriem. Datu centrs Google, kur tiek darbināti serveri, kuros izvietoti YouTube video apjomos, kas augstāk aprakstīti, izvērsts 10 000 kvadrātmetros. Taču Google ir milzīga korporācija ar daudzmiljonu ienākumiem, kas var atļauties izvērst jaudīgu infrastruktūru augošajiem datu apstrādes tempiem.

Viens no Google datu centriem

Tehnoloģiju attīstība iet roku rokā ar datu izaugsmi, jo tālāk, jo vairāk. Šeit runa iet ne tikai par bildēm, saziņu un citām ikdienā pašsaprotamām un jau ierastām lietām, tostarp par lietotāju uzvedību, ieradumiem – Big Data.

Big Data – tā ir mūsdienu nafta, tā ļauj darīt dažādas lietas, kuru starpā – servisu un pat pilsētas infrastruktūras adaptācija iedzīvotāju prasībām, veikt daudz konkrētākus mērījumus, piemēram, izmērīt faktisko tūristu plūsmu pilsētā, analizēt lietotāju uzvedību un uz šo datu pamata izvirzīt daudz precīzākas prognozes.

Neskatoties uz to, ka Big Data izmantošana jau šodien ir lielo uzņēmumu realitāte arī Latvijā, daudzi uzņēmumu vadītāji aizvien uzskata, ka tas ir dārgi un šo procesu veikšanai nepieciešams “superdators”. Faktiski šīs izmaksas var iedalīt dažādos segmentos, kur pirmais – vieta datu glabāšanai. Speciāli aprīkots datu centrs vai serveru jauda uzņēmuma ietvaros būs nemainīgi nepieciešama un neprasa lielus ieguldījumus. Otra – datu analīze. Tam nepieciešamas lielas skaitļošanas jaudas, kas kā reiz – maksā dārgi. Taču, neskatoties uz to, pielietojums tām nav regulārs, tikai analīzes etapā, taču visu pārējo laiku resursi tiek uzglabāti.

Mūsdienu tehnoloģijas ļauj apstrādāt Big Data mākonī, kombinējot publisko un privāto mākoņu resursus un jaudu, tādejādi izmantojot hibrīdmākoni. Privātie mākoņi būs piemēroti gadījumā, ja pieeja datiem nepieciešama regulāri, piemēram, kad runa iet par datu uzglabāšanu. Tādā gadījumā vērts analizēt, kas ir izdevīgāk: izbūvēt un uzturēt speciāli aprīkotas serveru telpas vai nomāt infrastruktūru un skaitļošanas jaudu no datu centru pakalpojumu sniedzēja. Publiskais mākonis būs piemērots tad, ja resursi ir nepieciešami laiku pa laikam, pamatā datu analīzei un prognožu veikšanai. Šajā gadījuma viennozīmīgi izdevīgāk būs nepieciešamo jaudu pirkt no publisko mākoņu pakalpojumu sniedzējiem. Turklāt, lietojot publisko mākoni, aizvien lielāku popularitāti iemanto pay-as-you-go princips, jeb samaksa par fiziski izlietoto jaudu.