Iṣẹ

Sipaki śiśanwọle data mimọ siseto
(I) DStream ati RDD
Gẹgẹbi a ti mọ, Iṣiro ṣiṣan ṣiṣan Spark da lori Spark Core, ati ipilẹ ti Spark Core jẹ RDD, nitorinaa ṣiṣan ṣiṣan gbọdọ jẹ ibatan si RDD daradara.Sibẹsibẹ, Sipaki ṣiṣan ko jẹ ki awọn olumulo lo RDD taara, ṣugbọn awọn abstracts kan ti ṣeto ti awọn imọran DStream, DStream ati RDD jẹ awọn ibatan ifisi, o le loye rẹ bi apẹrẹ ohun ọṣọ ni Java, iyẹn ni, DStream jẹ imudara ti RDD, ṣugbọn ihuwasi jẹ iru si RDD.
DStream ati RDD mejeeji ni awọn ipo pupọ.
(1) ni iru awọn iṣe iyipada, gẹgẹbi maapu, dinkuByKey, ati bẹbẹ lọ, ṣugbọn tun diẹ ninu awọn alailẹgbẹ, gẹgẹbi Ferese, mapWithStated, ati bẹbẹ lọ.
(2) gbogbo wọn ni awọn iṣe iṣe, gẹgẹbi foreachRDD, kika, ati bẹbẹ lọ.
Awoṣe siseto ni ibamu.
(B) Ifihan ti DStream ni Sipaki ṣiṣan
DStream ni orisirisi awọn kilasi ninu.
(1) Awọn kilasi orisun data, gẹgẹbi InputDStream, pato bi DirectKafkaInputStream, ati bẹbẹ lọ.
(2) Awọn kilasi iyipada, deede MappedDStream, ShuffledDStream
(3) awọn kilasi igbejade, ni igbagbogbo bii ForEachDStream
Lati eyi ti o wa loke, data lati ibẹrẹ (input) si opin (ijade) jẹ nipasẹ eto DStream, eyi ti o tumọ si pe olumulo ko le ṣe ina taara ati ṣe afọwọyi awọn RDD, eyi ti o tumọ si pe DStream ni anfani ati ọranyan lati jẹ. lodidi fun awọn aye ọmọ ti RDDs.
Ni awọn ọrọ miiran, Spark Streaming ni ohunlaifọwọyi afọmọiṣẹ.
(iii) Ilana ti iran RDD ni Spark Streaming
Ṣiṣan igbesi aye ti awọn RDD ni ṣiṣan Spark jẹ inira bi atẹle.
(1) Ni InputDStream, data ti o gba ti yipada si RDD, gẹgẹbi DirectKafkaInputStream, eyiti o ṣe agbekalẹ KafkaRDD.
(2) lẹhinna nipasẹ MappedDStream ati iyipada data miiran, akoko yii ni a npe ni RDD taara ti o baamu si ọna maapu fun iyipada.
(3) Ninu iṣẹ ṣiṣe iṣẹjade, nikan nigbati RDD ba han, o le jẹ ki olumulo ṣe ibi ipamọ ti o baamu, awọn iṣiro miiran, ati awọn iṣẹ miiran.