Kaip išmatuoti riziką naudojant geresnį OKR.

Aš tapau dideliu tikslo ir pagrindinio rezultato (OKR) gerbėju įmonėse, kurios į juos žiūri rimtai. Apibūdinsiu metodą, kuriam pritarta ir kuris tinka OKR ir išmatuoja pasirinktos rizikos sumažėjimą (arba padidėjimą). Tai informuos komandos sprendimą sumažinti arba padidinti inžinerines pastangas siekiant sumažinti šią riziką.

Šis metodas yra panašus į tai, kaip meteorologas prognozuoja orą.

Jei norite giliai pasinerti į OKR, galite tai perskaityti, žiūrėti ar perskaityti.

OKR yra paprastas būdas išreikšti motyvacinį tikslą ir įsipareigoti sudaryti trumpą išmatuojamų rezultatų, kurie pastūmėja grupę to tikslo, sąrašą. Jie kartais keičiasi nuo vykdomosios valdžios iki visų darbuotojų. OKR yra įprasta praktika tarp technologijų kompanijų ir daugelio saugos komandų, su kuriomis aš dirbu.

Paimkite, pavyzdžiui:

Tikslas: patobulinti autentifikavimą nuo kūrėjų nešiojamųjų kompiuterių iki gamybos.

Šis tikslas nėra blogas, tačiau praleista daug rizikos įvertinimo galimybių.

Mes sumažinsime retą, didelę įtaką turinčią kiekybiškai įvertinamą metodą.

Paprastai tokio tipo riziką sunku įvertinti.

Istoriniai duomenys (niekada neįvyko) menkai informuoja apie mūsų ateitį (ar taip galėjo nutikti?).

Prognozavimo ir įvertinimo metodais galime išmatuoti, kokia tikimybė gali įvykti ateityje, net jei praeityje trūksta to scenarijaus istorinių duomenų. Mes naudojame grupės „neapibrėžtumą“ kaip tarpinį rizikos koeficientą ir išmatuosime. Mes valdysime pažinimo paklaidus, susijusius su prognozėmis.

TIKSLAS: Parašykite tikslą su „rizikos scenarijumi“.

Jūsų tikslas yra sumažinti scenarijuje išreikštą riziką.

Žemiau yra anksčiau minėtas tikslas, kuris buvo surašytas siekiant sumažinti riziką. Tai parašyta su tam tikrais patobulinimo būdais:

Tikslas: patobulinti autentifikavimą nuo kūrėjų nešiojamųjų kompiuterių iki gamybos.

Tai nebūtinai yra blogas tikslas, tačiau jį galima patobulinti perrašant kaip scenarijų.

Tikslas: Sumažinkite riziką, kad „priešininkas prieigai prie gamybos buvo sukurtas naudojant nešiojamąjį kompiuterį trečiąjį ketvirtį“.

Jie atrodo panašūs, tiesa?

  • Pagrindinis skirtumas yra tas, kad scenarijus yra tikimybinis. Galima numatyti tikėtinas frazes. Prognozavimas yra gerai ištirtas, paprastai suprantamas (pvz .: oras), kiekybinis ir įvertina jūsų netikrumą.

Neapibrėžtumas yra tas dalykas jūsų smegenyse, kuris verčia gūžtelėti pečiais dėl pasirinktų rinkinių ar stipriai jaustis dėl vieno iš jų. Kaip paaiškėja, grupės neapibrėžtumą galima išmatuoti tiesiogiai. Ekspertų neapibrėžtumą paversime matavimo tikslo įgaliotiniu.

  • Nedidelis skirtumas yra tas, kad scenarijus apdovanoja inžinieriaus kūrybingumą.

Pavyzdžiui, ar sumažinus kūrėjų, kuriems reikia gamybos kredencialų, skaičių pagerėja autentifikavimas? Ne, tai šiek tiek pasiekia. Bet tai sumažintų riziką, o pagrindinis rezultatas labiau suderinamas su pakeistu tikslu. Tai buvo geresnis tikslas, todėl galbūt mūsų pagrindiniai rezultatai bus geresni.

„Rizikos scenarijaus“ tikslas neapibūdina sprendimo. Tai tik nustato švarią prognozę. Scenarijus gali padėti geriau apibrėžti riziką kaip būsimą įvykį, kurio reikia vengti.

Geras iš anksto numatomas scenarijus apima apgalvotą grėsmės, vektoriaus, turto ar poveikio derinį. Galite kūrybiškai nuspręsti dėl konkrečios apimties ar rizikos pridėdami susiaurinimo ar išplėtimo specifiškumą. Prognozė turi nuspręsti dėl konkretaus laiko.

PAGRINDINIAI REZULTATAI: Pasirinkite gaires ar metriką ir įsipareigokite prognozuoti.

Pirma, lengvi dalykai. Pagrindiniai rezultatai turi būti išmatuojami. Ankstyvomis „Google“ dienomis Marisa Meyer sakė:

„Tai nėra pagrindinis rezultatas, nebent jis turėtų numerį“.

Viena paprasta matavimo forma yra dvejetainiai pasiekimai: 1 - atlikta, 0 - nepadaryta. Pavyzdžiui: „Mes pridėjome XYZ verslo programą prie mūsų prisijungimo platformos“. Jei tai padarėte, gausite „1“!

Kitas būdas yra pasirinkti kiekybinę metriką, pvz., „Taisyti X klaidas“ arba „sumažinti X incidentus“ arba „samdyti N inžinierius“. Tai yra būtini, įprasti ir atspindi projekto tikslus bei veiklos rodiklius. Tikriausiai esate prie to pripratę. Jie taip pat gali duoti gerų rezultatų.

Tačiau jie iš tikrųjų neišmatuoja su mūsų scenarijumi susijusios rizikos sumažėjimo. Jie greičiau atsilieka nuo atlikto darbo rodiklio. Šis darbas sukūrė vertę mažinant riziką, tačiau jūs dar iš tikrųjų neišmatuojote rizikos sumažėjimo. Jūs tiesiog manote, kad dėl jūsų pastangų rizika mažėja.

Bet kiek? O kas, jei jis iš tikrųjų padidėjo?

Saugumo metrikos palyginimas su tikrumo matavimu

Tradiciniai saugumo rodikliai yra labai naudingi dėl jų informacinės vertės. Jie informuoja apie mūsų netikrumą rizikos atžvilgiu, tačiau neatspindi tikimybinio rizikos pobūdžio ir dažnai neišreiškia didžiulio neapibrėžtumo, kurį galime turėti dėl konkretaus scenarijaus.

Pavyzdžiui, manau, kad istorinis pažeidžiamumų skaičius ar regresų dažnis tiesiogiai nerodo rizikos, tačiau tai neabejotinai padeda sužinoti apie mano netikrumą dėl to, ar dėl tų duomenų atsiras susijęs scenarijus, ar ne.

Taip yra todėl, kad vertė, kurią mes priskiriame atskirai metrikai, kinta nuolat.

Bet kuri konkreti metrika gali būti mano informatyviausi duomenų taškai ... kol kažkas nepakeis. Mano nuomone, ankstesni duomenys būtų nuvertinti iškart, išgirdus naują informaciją, kuri rėkia „oi nesąmonė“, atsižvelgiant į senus duomenis, ar bet kokį trapų modelį, kurį bandėme sukurti šiuo klausimu.

Dabar pereikime prie „sunkiosios pusės“. Padarykime tai OKR.

Tai iš tikrųjų yra labai lengva, kai jūs jį pakabinate.

OKR pavyzdys, skirtas matuoti:

Kaip minėta, mes parengsime šį OKR, kad jis būtų suderinamas rizikos matavimui su prognozavimo ir įvertinimo metodais.

Štai mažos AWS saugos komandos OKR pavyzdys:

Tikslas:

Sumažinkite tikimybę, kad „AWS prodiusavimo duomenys buvo paskelbti visuomenei trečiąjį ketvirtį“.

Pagrindiniai rezultatai:

  1. Įsipareigoja paminėti AWS_SECRET_KEY pasirodys #security laike.
  2. Fotoatsarginis dujotiekis bus perkeltas į AWS vaidmenį.
  3. Pilnas saugos beždžionių perspėjimo dujotiekis link mūsų aptikimo budėjimo.
  4. Užbaik prieš ir po prognozių bei „CloudTrail“ medžioklę.

Dėl pirmųjų pagrindinių rezultatų (1–3) nereikia diskutuoti. Tai tik įprastas gamyklos inžinerinis darbas, ir jūs galite išsirinkti bet ką. Paskutinis pagrindinis rezultatas (Nr. 4) bus tas, į kurį mes orientuosimės toliau.

Norėdami įvertinti šį rizikos scenarijų, naudosime prognozių skydą. Tai sustiprins mūsų galimybę tikimybiniu būdu išmatuoti pagrindinį OKR rizikos scenarijų.

1. Prieš pradėdami dirbti: „pradinio“ prognozė.

Tarkime, kad tai yra trečiojo metų ketvirčio OKR. Birželio pradžioje keli įvairūs ir apmokyti asmenys, susipažinę su OKR, prognozuoja scenarijaus įvykimo tikimybę (tikėjimo procentas).

Mūsų dalyviai yra beždžionė (), vienaragis (), karvė () ir pingvinas (). Trumpai juos sukalibruojame, kad mąstytų tikimybiškai (mokymai internetu). Jie turi prieigą prie bet kokios metrikos, modelių, pomirtinių pavyzdžių, konsultantų audito ar infrastruktūros schemų. Visa tai naudinga ir informuoja apie jų prognozę.

Aukščiau pateikta prognozė yra 78% tikrumas, kad „CloudTrail“ medžioklė neatskleidžia jokių incidentų. Yra 14 proc. Tikimybė, kad incidentas gali būti aptiktas, ir 6 proc. Tikimybė, kad atsidursime didelėse problemose.

Dabar apsvarstykite, kad kiekvienos kategorijos komisijos pateiktas 33 proc. Atsakymas būtų reiškęs visišką netikrumą, tarsi jie pažodžiui neturi informacijos ar nuomonės. Pvz., Scenarijus galėjo būti parašytas kita kalba. Šiuo atveju taip nėra, dalyviai netiki, kad kiekviena galimybė yra lygi kitai. Jie mano, kad labai tikėtina, kad nė vienas incidentas neįvyks, atsižvelgiant į jų žinias apie aplinką ir galimas grėsmes.

Taigi ši grupė tikimybiškai išsako savo nuomonę, kad greičiausiai per tą laiką įvykio neįvyks. Tačiau aptiktas incidentas nėra visiškai netinkamas dalykas. Tai atsitinka daugelyje kitų kompanijų. Jie turi tikėti, kad yra nedidelė tikimybė, kad tai įvyks.

Tiesą sakant, komisijos narys (beždžionė seems) atrodo tikras, kad kažkas bus rastas.

Gerai, kad beždžionė opinion skiriasi nuo grupės nuomonės. Apie tai aptarsime vėliau - komisijai nereikia sutikti!

2. Dabar atlikite savo darbą, darykite pažangą kaip įprasta.

Ketvirčio viduryje didžiausias dėmesys skiriamas savo tikslų įgyvendinimui, kaip įprasta. Tiesiog dirbk.

Kaip buvo išdėstyti mūsų tikslai, komanda sukuria perspėjimą, reaguoja į programą, kad galėtų naudoti AWS vaidmenis, ir dislokuoja saugos beždžionę. Tikiuosi, kad jiems viskas gerai ir jie bus baigti!

Šis metodas neturi jokios įtakos jūsų kasdieniam darbui. Tai tiesiog nukreipia darbą siekiant išmatuojamo rezultato. Užsikrėskite rizika, kaip paprastai.

3. EOQ. Mes padarėme pažangą! Dabar mes lyginame su pradine padėtimi.

Ketvirčio pabaigoje mes įsipareigojome padaryti du dalykus.

Pirmiausia dedame pastangas medžiodami „CloudTrail“ žurnalus tikrindami ir išsiaiškindami, ar galime pašalinti bet kokius P0 įvykius iš mūsų tyrimo pastangų.

Antra, komisija vėl vertina savo vertę, išskyrus mūsų kito ketvirčio (Q4) netikrumą.

Mūsų grupė yra apsiginklavusi naujomis žiniomis. Šio ketvirčio progresas ir „CloudTrail“ medžioklės rezultatas labai pakeis mūsų nuomonę apie šį scenarijų.

Tarkime, komandai pavyko pasiekti kitus svarbiausius rezultatus, o pažeidimų vertinimas buvo aiškus.

Mes vėl prognozuojame. Štai rezultatai.

Dabar galime pastebėti, kiek daug tikrumo komisija įgijo ar prarado dėl jų pastangų. Šiame pavyzdyje mūsų įsitikinimai dar labiau linkę link tikrumo (toliau nuo 33%). Ar mūsų darbas turėjo įtakos mūsų komisijos tikrumui? Ši grupė mano.

Tokiu atveju pagerinome savo tikrumą, susijusį su šia rizika. Mes turime 5% kiekybinį pagerėjimą teisinga linkme.

4. Priimkite vadovybės sprendimą, remdamiesi duomenimis.

Dabar esate ginkluotas už veiksmingą sprendimų priėmimą.

Panašu, kad tai prognozuoja pažeidimą viename iš dešimties ketvirčių.

  • Ar tai pakankamai gerai?
  • Ar norime tai dar pagerinti, ar turime kitų rizikų?
  • Koks yra mums priimtinas slenkstis?
  • Kiek pastangų ir išteklių mums reikia, kad tai pranoktume?

Kodėl toks požiūris?

Žmonės yra sukurti taip, kad apdorotų skirtingus informacijos šaltinius ir greitai priimtų naują informaciją, kad galėtų priimti sprendimus.

Visą ketvirtį neabejotinai gausime informacijos, pakeičiančios mūsų tikrumo lygį dėl mūsų pasirinktos rizikos.

Ši informacija gaunama iš daugybės vietų: pats darbas, pramonės tendencijos, pažeidimai, galbūt pranešimai apie pažeidžiamumą kitose infrastruktūros srityse, mūsų pačių išnaudojami tyrimai, „bombos“ paviešinimo tviteris ir kt.

Tačiau mūsų pasitikėjimas šiais informacijos šaltiniais yra dinamiškas. Mes negalime priklausyti nuo individualios, statinės metrikos, kad galėtume parodyti savo riziką, nes jų sprendimų priėmimo vertė greitai keičiasi. Mes galėtume panaudoti savo pačių tikrumą kaip šios rizikos pataisą, kuri, kaip žinoma, yra išmatuojama, kruopščiai ištirta, teikiant vis daugiau rekomendacijų, kaip patobulinti prognozavimo metodus kaip matavimo instrumentą.

Tiesą sakant, ekspertų iškvietimas yra svarbus veiksnys tikimybiniame rizikos vertinime kitose pramonės šakose, tokiose kaip branduolinė, aviacijos ir aplinkos.

Mums tai nėra nauja, tiesiog nauja.

Izoliacija nuo šališkumo rizikos.

Prognozavimas yra pavojingas, kai į tai nežiūrima griežtai. Kognityvinė paklaida yra gerai ištirta, ir tas išvadas reikia dažnai kartoti. Blogo prognozavimo rizika švelninama skirtingai.

Moksliniai tyrimai gina, kad prognozavimą galima patobulinti, kai:

  1. Paneliai mokomi mąstyti tikimybiškai ir apie šališkumą.
  2. Norėdami sujungti ir išlyginti šališkumo įtaką, komisijos nariai yra sujungti į komandą. Svarbiausia įvairovės perspektyva!
  3. Panelistai ne kartą susiduria su savo prognozių rezultatais (kalibravimas). (Internetiniai mokymai, geras teismo sprendimas, pasitikėjimo savimi kalibravimas)
  4. Ekspertų grupės yra raginamos suskaidyti scenarijų į detalesnes dalis, ir jiems suteikiama skaidri prieiga prie turimų duomenų, kurių jiems reikia norint juos suprasti.
  5. Tvirtas tikrosios „Juodosios gulbės“ supratimas. Jie apgaudinėja prognozuotojus.
  6. Nemėginkite numatyti ir sušvelninti visos rizikos, būkite pasirengę neišvengiamai nesėkmei.
  7. Atsisakykite paaukštinimo ir atlyginimo iš „OKR“ ir prognozių rezultatų, kad išvengtumėte smėlio maišo, kuris jau yra darbuotojų veiklos valdymo problema.

Tik paklausę komisijos narių prognozių „galvok greitai!“ Tikrai duos blogų rezultatų. Griežtas metodas turi didesnę matavimo (susitikimų) kainą, tačiau yra daug lengvesnis nei metodai su negražiomis rizikos matricos lentelėmis.

Bet ... aš visada „darau prielaidą“, todėl tai neveikia!

Visiškai teisinga manyti, kad esate pažeistas. Norėčiau bet kuriai organizacijai suteikti labai didelę tikimybę (99%), kad kažkuris sunkumas turi kažkokią prieštaringą veiklą jų valdomoje sistemoje. Tai man reiškia „prisiimti pažeidimą“.

Tačiau nesveika manyti, kad kiekvienam kiekvienos sistemos komponentui kiekvienu momentu pakenkia kiekvienas priešininkas. Racionalūs žmonės, net FUD šlepetės, neina taip toli į gilų pabaigą.

Racionaliai giliai pesimistiškas protas vis tiek palieka erdvės abejonėms, tik daugiau ar mažiau nei kiti. Jei tikite, kad asmenų pastangos pagerins riziką, tuomet galite įvertinti netikrumo sumažėjimą tikimybiškai. Pessimistas tikrai netiki, kad, pavyzdžiui, dėl jų darbo viskas blogėja.

Trumpai tariant, net pesimistinį pagrindą galima patobulinti, ir turėti porą pesimistų komisijoje iš tikrųjų yra labai, labai geras dalykas.

Rizikos įvertinimo ir prognozavimo ateitis

Per daugelį ketvirčių galime dar labiau sustiprinti tikimybių metodą. Mes galime pristatyti „Red Teams“, „Brier Scores“ ir pramonės pavyzdžių atranką, kad galėtume vadovautis mūsų prognozėmis. Galime susitarti dėl duomenų vertės ir stebėti, kaip jie kinta. Mes galime „Chatham House“ arba anonimizuoti prognozes, kuriomis galime pasidalyti su kolegų saugumo komandomis.

Prognozių rezultatus galime įtraukti į Monte Karlo modeliavimą, leisdami mums pasimokyti iš NASA, Branduolinio licencijavimo ir kitų sričių, kurios yra platesnės nei kibernetinis saugumas, patirties ir patirties, kad suprastume kraštutinę riziką.

Organizacijos turi daug galimybių pritaikyti rizikos prognozavimo praktiką. Norint gauti gerus rezultatus, nereikia milžiniškos energijos. Pradėjus nuo mažų, pavyzdžiui, remiantis rizika pagrįstais OKR, galima akivaizdžiai sumažinti jūsų organizacijos riziką ir padėti organizacijai nustatyti kiekybinę riziką.

Išvada

OKR yra įprastas būdas vadovauti inžinierių komandai. Sukūrę su įvertinimo ir prognozavimo metodais suderinamus OKR, galime geriau įvertinti rizikos mažinimo pažangą.

Šie metodai netrukdo „kaip“ komanda atlikti savo darbą, tiesiog matuojama, „kiek“ dėl to gali keistis. Jei šiuo metu neturite jokio rizikos matavimo metodo, tada bet kuris kiekybinis metodas turėtų būti geresnis nei tas, kurį turite. Ši strategija daro minimalų poveikį inžinerijos praktikai, tuo pačiu priartindama komandą prie išmatuojamo rizikos mažinimo laipsnio.

Papildoma literatūra

Rizikos prognozavimas: aukšto lygio šio metodo pristatymas.

Paprasta rizikos analizė: giliai pasinerkite į rizikos prognozavimą.

Žudyti mažą vištieną: ištirti rizikos prognozavimo apribojimus ir galimybes.

Saugumo rizikos išskaidymas į scenarijus: skirstant riziką į scenarijų hierarchiją, pradedant nuo plataus ir išsamesnio.

Greitas ir lėtas mąstymas: Nobelio premijos laureatai ištiria žmogaus pažinimo klaidas, dažniausiai susijusias su šališkumu.

Super prognozavimas: moksliniai tyrimai, kaip galima sumažinti pažinimo klaidas ir panaudoti jas veiksmingose ​​prognozavimo grupėse.

Kaip įvertinti bet kokį kibernetinio saugumo riziką: puikus šaltinis ginant prognozavimą kaip matavimo metodą. Stiprios diskusijos, skatinančios vertinimo reikšmę priimant sprendimus.

Ryanas McGeehanas rašo apie saugumą terpėje.