Integrációk monitorozása: riasztás a csendre, nem csak a hibákra

Egy kivétel naplózásra kerül, egy riasztás elsül, valaki kijavítja. Ez a hurok működik - azoknál a hibáknál, amelyek elég hangosan jelentkeznek ahhoz, hogy felhívják magukra a figyelmet. Azok a hibák, amelyek valódi pénzbe kerülnek az ügyfeleinknek, a csendesek: a szállító csendben lecserélte az SFTP-kulcsot, az éjszakai export egy érvényes, de nulla sort tartalmazó fájlt állított elő, a sorfogyasztó „fut”, de semmit sem dolgoz fel.

Semmi nem hibázott. Minden leállt.

Folyamat-metrikák az állapotellenőrzések helyett

Egy állapotellenőrzés arra a kérdésre válaszol, hogy „életben van-e a folyamat?”. Az igazán fontos kérdés az, hogy „megtörtént-e a munka?”. Ezért minden általunk üzemeltetett integráció elsődleges jelzése egy folyamat-metrika - időszakonkénti rekordszám, összevetve azzal, amit az adott időszak normálisan hordoz:

• Óránként szinkronizált megrendelések, hétköznapi/hétvégi alapértékekkel - egy csendes vasárnap normális; egy csendes kedd 10:00-kor incidens.
• Fájlérkezések határidőként, nem eseményként kezelve: „X partner árfájljának 06:30-ig kell megérkeznie” - a riasztás akkor sül el, ha nem érkezik meg.
• Végponttól végpontig tartó késleltetés, a forrás időbélyegétől a célrendszeri commitig mérve, nem a sorba kerüléstől.

A nullasoros probléma

Külön említést érdemel a leggyakoribb csendes hiba, amellyel találkozunk: egy ütemezett feladat, amely üres kimenettel is sikeresnek minősül. A forrásrendszerben megváltozott egy szűrő, egy hitelesítő adat elvesztette az olvasási jogát egy táblához, egy dátumtartomány-hiba mindent kizárt - és a feladat 0-val lép ki, mindenhol zöld.

Minden általunk szállított kinyerés rendelkezik egy hihetőségi küszöbbel: a legkisebb kimeneti mérettel, amely valaha is jogosnak számított az adott feladatnál és naptári kontextusban. A küszöb alatt a futás visszatartásra kerül, és egy embert kérdeznek meg: „ez 0 sort eredményezett; az elmúlt 90 kedd átlaga 4200 volt - folytassuk?”. Ez az egyetlen védőháló több valódi incidenst fogott ki, mint az összes kivétel-riasztásunk együttvéve.

A csend egy jel. Tudatosan műszerezze fel rá a rendszert, mert magától sosem fogja bejelenteni magát.