Saturs
- Konkrēta datu precizēšanas loma
- Datu inženieri un mainīgā lielo datu ainava
- Bez kļūdām, bez stresa - jūsu soli pa solim, kā izveidot programmatūru, kas maina dzīvi, neiznīcinot savu dzīvi
- Datu inženieri: datu precizēšana
- Datu glabāšana
- Datu inženieri kā sērkociņu veidotāji
Avots: Paulus Rusyanto / Dreamstime.com
Izņemšana:
Datu inženieri bieži tiek sajaukti ar datu zinātniekiem, taču abās lomās ir būtiskas atšķirības.
Mūsdienās datu inženieri ir ļoti pieprasīti, taču pārāk daudziem vadītājiem un citiem ir svarīgi jautājumi par to, ko šie speciālisti dara.
Starp programmatūras inženieriem un datu inženieriem pastāv ievērojams neskaidrības, kā arī jautājumi par datu zinātnieku un datu inženieru sadarbību. Veiciet visu veidu jauno lielo datu projektu, tostarp mašīnmācīšanās un biznesa ieskata rīku apvienošanu, ņemšanu vērā, un jums ir ievērojams neskaidrības par datu inženiera lomu un to, kas varētu būt viņu ikdienas darbs.
Lasīt: 6 galvenie datu zinātnes jēdzieni, kurus varat apgūt, izmantojot tiešsaistes mācīšanos
Konkrēta datu precizēšanas loma
Runājot vispārīgi, datu inženieris ir atbildīgs par darbu ar datu sistēmām un datu pilnveidošanu, lai tās ietilptu tajās sistēmās, kur datu zinātniekam ir nedaudz atšķirīga loma tiešā darbā ar lielu datu kopu tīrīšanu un organizēšanu.
Ja būtu viens vienkāršs veids, kā atšķirt to, ko parasti dara zinātnieki, un to, ko parasti dara datu inženieri, jūs varētu teikt, ka datu zinātnieks apskatīs datus caur visaptverošo objektīvu savukārt datu inženieris apskatīs datus caur datu bāzes vai lielas datu apstrādes sistēmas acīm.
“Datu inženieri… specializējas datu zinātnieku darba pārvēršanā sacietētos, uz datiem balstītos programmatūras risinājumos biznesam,” saka Nima Negahban, CTO un Kinetica dibinātājs, aprakstot, kāpēc datu inženieriem nākamajos gados būs liels pieprasījums. “Tas ietver padziļinātu AI izstrādes, testēšanas, izstrādes un audita procesu izveidi, kas ļauj uzņēmumam mēroga mērogā iekļaut AI un datu cauruļvadus visā uzņēmumā. Liela daļa no tā, kas attiecas uz datu inženieriem modernā uzņēmumā, ir darbs, kas saistīts ar grūti izstrādātu un uz datiem balstītu programmatūras risinājumu izveidi. ”
Šis ierobežojums - ideja, ka datu inženieri strādā tieši ar lielajiem datiem sistēmas, ir galvenais veids, kā saprast, ko datu inženieris piedāvā darba devējam.
Datu inženieri un mainīgā lielo datu ainava
Būdami lielu datu sistēmu un datu bāzu uzstādītāju uzturētāji, datu inženieri bieži pārzina īpašas tehnoloģijas, piemēram, Apache Hadoop.
Bez kļūdām, bez stresa - jūsu soli pa solim, kā izveidot programmatūru, kas maina dzīvi, neiznīcinot savu dzīvi
Jūs nevarat uzlabot savas programmēšanas prasmes, ja nevienam nerūp programmatūras kvalitāte.
Bet viņi mēdz arī daudz uzzināt par to, kā ir attīstījušās šīs lielās datu apstrādes sistēmas un kuri pretendenti gūst popularitāti mūsdienu uzņēmējdarbības pasaulē.
Tikai pirms dažiem gadiem Apache Hadoop bija zelta standarts lielai datu apstrādei. Datu inženieri piesaistīja Hadoop tādiem rīkiem kā YARN un MapReduce un ražoja klasterizētas, strukturētas datu apstrādes sistēmas.
Tagad Hadoop, šķiet, zaudē citu veidu sistēmām.
Rakstā Yaron Haviv tikai pirms dažiem mēnešiem The New Stack rakstā ar nosaukumu “Vai Kubernetes nogremdēs Hadoop kuģi?” Rakstnieks Yaron Haviv atzīmē, ka konkurenti Cloudera un Hortonworks tagad ir apvienojušies un ka jaunie Apache rīki, piemēram, Spark, virza Hadoop pret sava veida novecošanos. .
Turklāt mākoņdatošanas pakalpojumu sniedzējiem ir savas lielas datu apstrādes sistēmas, kas varētu arī patikt datu inženiera darbplūsmai.
Trešā un ļoti lielā kustība ir vērsta uz konteineru virtualizāciju. Konteinera iestatīšanā dažādiem datu konteineriem ir kopīga galvenā operētājsistēma un tiek parādītas plānas uzbrukuma virsmas, vienlaikus maksimāli palielinot efektivitāti visā platformā. Tādas konteineru tehnoloģijas kā Kubernetes ir pārņēmušas daudzus projektus, kas agrāk darbojās Hadoop un pirms tam vienkāršos relāciju datu bāzes serveros.
“Viena no Kubernetes lielākajām priekšrocībām ir tā pārnesamība,” raksta Havivs, “ļaujot lietotājiem veidot kopas, kas aptver vairākus mākoņus vai ir sadalītas vairākās vietās. Pārnesamība arī atvieglo mikroservisu attīstību vai testēšanu mākonī un automātisku izvietošanu vienā vai vairākās malu vietās. ”
Datu inženieri: datu precizēšana
Datu inženieriem ir arī galvenā loma, kas saistīta ar neapstrādātu datu ņemšanu un to strukturēšanu. Datu zinātnieki to var izdarīt arī daļēji; tomēr atkal, datu inženieri parasti apskatīs neapstrādātu datu uzlabošanu un filtrēšanu īpašā datu bāzes sistēmā. Datu uzlabošanas procesā jūs tos varat uzskatīt par “sistēmu operatoriem” vai “sistēmas īpašniekiem” - viņi bieži domā par datu tīrīšanu īpašā vidē. (Plašāku informāciju par datu zinātniekiem skat. Darba loma: datu zinātnieks.)
Vietnē DataScienceGraduatePrograms.com informatīvs ievada resurss izceļ šo datu inženierijas būtības daļu:
Datu inženieri koncentrējas uz lielo datu lietojumiem un novākšanu. Viņu loma neietver daudz analīžu vai eksperimentālu dizainu. Tā vietā viņi atrodas tur, kur gumija sakrīt ar ceļu ... izveido saskarnes un mehānismus informācijas plūsmai un piekļuvei.
Datu glabāšana
Uzņēmumiem ir arī neskaitāmas izvēles iespējas, kā uzglabāt datus. Datu inženieris var būt atbildīgs par šāda veida izvēles novērtēšanu.Piemēram, varētu būt noderīgāk izmantot pārdevēju krātuves pakalpojumus no Amazon vai citiem pārdevējiem. Amazon S3 objektu glabāšanas modelis piedāvā jaunus veidus, kā rīkoties ar uzglabāto informāciju, kas ievieš jauninājumus tradicionālajā lieko neatkarīgo disku (RAID) sistēmu masīvā, kas bija norma tikai pirms dažiem gadiem.
Datu inženieri kā sērkociņu veidotāji
Tāpat kā cita veida lomas, datu inženieriem arī ir loma organizācijas struktūrā un, mēģinot virzīt biznesu uz priekšu, pārliecinoties, ka mērķi un uzdevumi atbilst esošajām struktūrām.
Lai to panāktu, ir jāmeklē iepirkšanās no vadītājiem vai citām ieinteresētajām personām. Daļai no tā ir jāpārliecinās, vai starpprogrammatūra tiek iesprausta datu krātuvē vai ka lielās datu sistēmas var darīt savu maģiju bez šķēršļiem. Tas viss bieži ir datu inženiera kompetencē, kurš pārvietos izsmalcinātus un izstrādātus datus, izmantojot īpašas konkrētas IT sistēmas un datu bāzes modeļus, tā, lai atvieglotu biznesa pamatmērķus.
Tas viss parāda, kā datu inženieri ļoti bieži ir “datu noliktavas aizbildņi” - ja jautājumi krustojas ar lielo datu raksturu un sistēmām, kas tos izmanto vai glabā, tie bieži vien ir priekšā un centrā orgkartes atbildē. Padomājiet par to, kā datu inženieris iekļaujas mūsdienu un rītdienas biznesa pasaulē.