Integracijų stebėjimas: perspėkite apie tylą, ne tik apie klaidas

Išimtis užregistruojama, suveikia įspėjimas, kažkas ją ištaiso. Šis ciklas veikia - gedimams, kurie pakankamai garsūs, kad praneštų apie save patys. Bet gedimai, kurie mūsų klientams kainuoja realius pinigus, yra tylūs: tiekėjas tyliai pakeitė SFTP raktą, nakties eksportas sukūrė tinkamą failą su nuliu eilučių, eilės vartotojas „veikia", bet nieko neapdoroja.

Nieko nesugedo. Viskas tiesiog sustojo.

Srauto metrikos svarbesnės už būsenos patikras

Būsenos patikra atsako į klausimą „ar procesas veikia?" Tačiau svarbus klausimas yra „ar darbas iš tikrųjų buvo atliktas?" Todėl pagrindinis signalas kiekvienoje mūsų prižiūrimoje integracijoje yra srauto metrika - įrašų skaičius per laiko intervalą, palyginant su tuo, kiek tas intervalas paprastai turi:

• Per valandą sinchronizuoti užsakymai, su darbo dienų / savaitgalio bazinėmis reikšmėmis - ramus sekmadienis yra normalu; ramus antradienis 10:00 val. yra incidentas.
• Failų gavimas traktuojamas kaip terminas, o ne įvykis: „partnerio X kainų failas turi būti gautas iki 06:30" - įspėjimas suveikia, kai failas neatvyksta.
• Bendra vėlavimo trukmė, matuojama nuo šaltinio laiko žymos iki įrašymo paskirties vietoje, o ne nuo įrašo patekimo į eilę.

Nulinių eilučių problema

Verta atskirai paminėti dažniausiai pasitaikantį tylų gedimą: suplanuota užduotis, kuri sėkmingai įvykdoma, bet be jokio rezultato. Šaltinio pusėje pakeistas filtras, prisijungimo duomenys prarado skaitymo teisę į vieną lentelę, datos intervalo klaida atmetė viską - ir užduotis baigiasi kodu 0, viskas žalia.

Kiekvienas mūsų diegiamas duomenų išgavimas turi tikėtinumo ribą: mažiausią rezultato apimtį, kuri kada nors buvo teisėta tai užduočiai ir tam kalendoriniam kontekstui. Jei rezultatas žemiau šios ribos, vykdymas sulaikomas, ir žmogaus paklausiama: „šis vykdymas grąžino 0 eilučių; per pastaruosius 90 antradienių vidurkis buvo 4 200 - tęsti?" Ši viena apsauga sugavo daugiau realių incidentų nei visi mūsų išimčių įspėjimai kartu sudėjus.

Tyla yra signalas. Sąmoningai ją stebėkite, nes ji niekada apie save nepraneš pati.