Són dades grans de 1TB?

Hem entrat a l'edat de les dades pel bé. Tot el que fem en línia i fins i tot deixa pistes fora de línia a les dades de les galetes als nostres perfils de les xarxes socials. Així doncs, quantes dades hi ha realment? Quantes dades processem diàriament? Benvinguts al Zetbyte Era.

S' ha estimat CiscoComment que l'any 2016 hem passat un zettabyte en el tràfic d'Internet anual total, totes les dades que hem pujat i compartit a la xarxa mundial, la major part d'haver estat compartint fitxers. A zettabyte és una mesura de capacitat d' emmagatzematge, que és igual a 10007 (1.000,000.000,000.000 bytes). Un zettabyte és igual a mil exabytes, mil milions de terabytes, o un bilió de gigabytes. Dit d'altres paraules, en altres paraules, en Zinks i molt! Especialment si tenim en compte que Internet no té ni 40 anys. En Cisco s'estima també que el trànsit anual creix al voltant de 2 zettabytes.

El trànsit d'Internet és només una part de l'emmagatzematge total de dades, que inclou també tots els dispositius personals i empresa. Estimes per a la capacitat d'emmagatzematge total de dades que tenim ara mateix, en 2019, va variar, però ja estan a 1050 zttabyte interval . Per 2025 aquest és S' ha estimatThe role of the transaction, in past tense Per créixer fins a l'abast de 150200 zettabytes.

Sens dubte, la creació de dades només pot contenir-se en propers anys, així que us podríeu preguntar: hi ha algun límit d' emmagatzemar dades? No realment, ni més ni menys, hi ha límits, però estan tan lluny que guanyaríem Tidyt a qualsevol lloc prop d'ells aviat. Per exemple, només un gram d' ADN Pot emmagatzemar 700 terabytes de dades, cosa que vol dir que podríem emmagatzemar totes les nostres dades ara mateix a l'ADN de l'any 1500kg de l'ADN, que encaixa en una habitació normal. Això no obstant, està molt lluny del que ara podem fabricar. La Disc dur més gran La creació té 15 terabytes, i la El SSD arriba més gran 100 terabytes.

El terme Dades grans Es refereix a un conjunt de dades que és massa gran o massa complex per als dispositius d' ordinador ordinaris per processar. Per això, és relatiu a l'energia informàtica disponible en el mercat. Si mireu recent Historial de dades , llavors el 1999 vam tenir un total de 1.5 exabytes de dades i 1 gigabyte es va considerar grans dades. Ja el 2006, s'estimaven dades totals a 160 exabytes nivell 1000% més en 7 anys. En la nostra Zetbyte Era 1 gigabyte ja no és una gran data, i té sentit parlar sobre grans dades que comencen com a mínim 1 terabyte. Si haguéssim de posar-ho en termes més matemàtics, aleshores sembla natural parlar de grans dades respecte als conjunts de dades que excedeixen les dades completes creades al món dividit per 10003.

Per a que les dades siguin útils, no n'hi ha prou per a emmagatzemar-les, també l'heu d' accedir i processar. Un pot mesurar el procés de processament d'ordinadors per segon (IPS) o operacions en coma flotant per segon (FLOPS). Tot i que IPS és més ampli que FLOP, també és menys precís i depèn d'un llenguatge de programació utilitzat. D'altra banda, FLOPS és fàcil d'imaginar com estan directament relacionats amb el nombre de multiplicació/divisions que podem fer per segon. Per exemple, una calculadora simple d' agenda necessita que diversos FLOP sigui funcional, mentre que la majoria de les CPU modernes es troben a l' interval de 20 GB60 GFLOFELS (gigaFLOPS = 10003 FLOP). La violació del registre s' ha construït l' ordinadorThe role of the transaction, in past tense El 2018 per IBM ha arribat a 122,3 petaFLOPS (1000;5 FLOPS), que és de diverses milions més ràpid que un PC normal ( 200 petaflops en un rendiment pic.)

Les GPU fan millors amb càlculs de punts flotants arribant a diversos centenars de GFLOPS (massa dispositius de mercat). Les coses s'estan posant interessants quan mires a l'arquitectura especialitzada. L'última tendència és construir maquinari per potenciar l'aprenentatge de màquines i l'exemple més conegut és TPU per Google que arriba 45 teraFLOPS (1000; FLOPS) i es pot accedir a través del núvol.

Si necessites realitzar càlculs molt grans i no Tu mateix tens superordinador, el següent millor és llogar-lo, o calcular-ho en el núvol. Amazon Us dóna a 1 petaFLOPS amb P3 mentre GoogleQuery ofereix un pod de TPU amb velocitat a 11,5 petaFLOPS.

Permet que en eur-se tot junt: teniu les dades, teniu poder de computació per a coincidir-les, de manera que aquest és el moment d'utilitzar-les per a obtenir noves percepcions. Per beneficiar-te de tots dos has de donar torn a l'aprenentatge de la màquina. La Intel·ligència artificial està al capdavant de l'ús de dades, ajudant a fer prediccions sobre el trànsit, el trànsit o la salut (des de descobrir nous medicaments a la detecció primerenca del càncer).

L'AI necessita formació per realitzar tasques especialitzades, i mirant quant cal per assolir el rendiment màxim és un gran indicador d'energia informàtica contra les dades. Therets aCity name (optional, probably does not need a translation) un gran informe de OpenAI des del 2018 avaluant aquestes mètriques i la conclusió que des de 2012 l'entrenament de l'AI mesurada en petaflops/ dia (petaFD) es doblava cada 5 mesos. Un petaFD consisteix en realitzar 10005 operacions de xarxa neuronals per segon, o un total de 1020 operacions. El gran tema d' aquesta mètriques és que no només pren arquitectura d' una xarxa (en una forma de nombre d'operacions necessàries), sinó que es connecta amb la implementació dels dispositius actuals (compila el temps).

Podeu comparar quant s'utilitzava petaFD en els avenços recents de la IA, mirant el següent diagrama:

El líder està insuficientment. AlfaGo Zero deepMind amb més de 1.000 petaFD usat o 1 exaFD. Quant té això en compte els recursos? Si haguéssiu de replicar el mateix maquinari, podríeu acabar gastant fàcilment prop de 33. Com s'estima aquí En detall. Per a fer-hi una estimació més baixa, basant-se en la gràfica de 1000 petaFD és com utilitzar la millor Amazon P3 durant 1.000 dies. Amb el preu actual a $3.218 per hora, això donaria 33 dòlars. 218 x 24 (hores) x 1000 (dias) = $749,2232. Aquest és el límit més baix en el que assumeix que una operació de xarxa neural és una operació de punt flotant i que tens el mateix rendiment a P3 com a diferents GPUs/TPUL usat per DeepMind.

Això demostra que l'AI necessita molta energia i recursos per formar-se. Hi ha exemples d'avenços recents en l'aprenentatge de màquines quan no es necessitava gaire en termes d'energia informàtica o dades, però sovint, el poder de computació addicional és bastant útil. Per això construir millor superordinadors i centres de dades més grans tenen sentit, si volem desenvolupar intel·ligència artificial i per tant la nostra civilització com tota una. Podeu pensar en superordinadors de manera similar a Gran Haverron Colliders Tu construïes col·lisions més grans i més grans perquè puguis accedir a veritats més profundes sobre el nostre univers. El mateix té a veure amb la intel·ligència informàtica i artificial. No entenem que la nostra intel·ligència o com fem tasques creatives, però l'augment de l'escala de FLOPS pot ajudar a resoldre el misteri.

Edombres el Zetbyte Era! I millor beneficis d'això ràpidament, com Yottabyte Era no està gaire lluny.