OSSO 2023 recap + highlights

2023 – betere omgevingen, betere security

Waar we vorig jaar druk bezig zijn geweest legacy op te ruimen, was dit jaar meer een jaar van de uitbreidingen: ArgoCD, NetworkPolicies, Cilium, Loki/Mimir…

ContainerDay Security

Met het gehele OSSO team zijn we afgelopen maart naar Hamburg geweest, naar ContainerDay Security 2023. Daar hebben we bijgepraat over de huidige stand van zaken op security gebied binnen Kubernetes.

Hier kwam het laatste zetje wat we nodig hadden om Cilium te gaan uitproberen voor Kubernetes networking.

Cilium networking is de bom

Na goede ervaringen met Cilium zijn we van de vorige CNI afgestapt. We zijn nu super tevreden met de networking in onze nieuwe generatie Kubernetes clusters. BGP is goed te configureren, en met de onmisbare Hubble tool kun je eenvoudig tot je enkels diep de NetworkPolicies in.

Nieuwe standaarden op gebied van Kubernetes security

NetworkPolicies en PodSecurity is niet meer eng en blijkt goed te implementeren. Dit stelt ons in staat om van de grond af clusters secure neer te zetten.

Verbeterde deployments

Naast Ansible voor consistente deployments hebben we inmiddels ArgoCD omarmd: de tool om updates en wijzigingen op de door OSSO beheerde Kubernetes clusters te krijgen. I.c.m. geavanceerde en inmiddels supersnelle CI pipelines hebben we veel meters gemaakt om versies, config en manieren van deployment op de rit en op één lijn te krijgen.

Uiteraard gaat er wel eens wat mis.

De Harbor apocalypse

Eind november ging een update aan Harbor, onze container registry, stuk. Het aantal toegestane PostgreSQL connecties was te laag, en Harbor ging daar niet goed mee om: een flink aantal container images werd ten dele verwijderd.

Failed to pull image "harbor.osso.io/ossobv/go-amqp2worker:v0.5-5-gf75d51d":
  rpc error: code = NotFound desc = failed to pull and unpack
  image "harbor.osso.io/ossobv/go-amqp2worker:v0.5-5-gf75d51d"

😱

We hadden natuurlijk backups, maar deze hoefden niet aangesproken te worden omdat bijna alle images makkelijk opnieuw te genereren waren via de goed geconfigureerde CI pipelines bij ons en bij onze klanten.

😎

DNS issues

Aan het begin van het jaar hebben we een paar keer last gehad van Denial-of-Service aanvallen op onze DNS-infrastructuur. Dit hebben we toen meteen gerevamped, naar een stabielere DNS setup. Naast onze eigen servers maken we gebruik RcodeZero die DNS slaving over meerdere locaties levert d.m.v. anycast. Dit zorgt voor maximale beschikbaarheid tijdens gerichte aanvallen.

Dat slaapt meteen weer een stuk rustiger.

Blackout scenario’s

Wat ook zorgt voor rustiger slaap zijn de verbeteringen die we hebben doorgevoerd op het gebied van blackout scenario testing. Hoewel de kans klein is, bestaat er altijd de kans dat meerdere datacenters tegelijk uitvallen. In welke volgorde moeten we de systemen dan weer op laten komen? Kunnen we alle data vinden? Het zou lullig zijn als encryption keys alleen te vinden zijn op drives die zelf ge-encrypt zijn met die keys.

Hoewel het absoluut een pain in the ass zal zijn om vanuit nul op te starten, zijn we er nu wel gerust op dat het lukt.

Bedrijfshulpverlening

Over onverwachte scenario’s gesproken: in 2023 heeft het gehele team een BHV-cursus gedaan. Het was leerzaam, gezellig en zeker voor herhaling vatbaar.

Certificeringen

Minder vlammend dan het BHV-certificaat halen, was het wederom halen van onze ISO27001 en NEN7510 certificeringen. Bij vlagen irritant om te doen, maar absoluut ook nuttig: OSSO is weer gecertificeerd tot 2025/2026.

We zijn dit jaar ook begonnen met de voorbereidingen om PCI-DSS compliant te worden.

Overige verbeteringen

Reeds aangekondigd in het vorige jaar, en nu echt beschikbaar:

• Grafana dashboard voor logging/metrics weergave;
• Loki voor log ingestion;
• Mimir voor metrics;
• Suricata voor NIDS;
• de eerste uplink op 100Gbit.

En we zijn druk aan het test-draaien met:

• Tempo voor traces;
• Pyroscope voor profiling;
• nieuwe Nokia 7750SR-1 routers;
• een GPU-enabled Proxmox server, voor VMs met tijdelijke GPU-capaciteit.

Op zo’n VM zijn overigens de plaatjes gegenereerd voor de kerstkaart, net als vorig jaar met Stable Diffusion:

Open Source

Uiteraard zijn we bij OSSO all the way Open Source. We proberen de community te steunen door fixes terug te geven en waar mogelijk onze eigen sources publiek beschikbaar te maken (met name op GitHub).

Dit jaar zijn we Silver Member lid geworden van de CNCF, de Cloud Native Computing Foundation. Deze stichting ondersteunt en bevordert open source cloud oplossingen en is een schakel om vendor lock-in te voorkomen. Een goed doel voor onze steun.

Jaar afgesloten in stijl

Het jaar bij OSSO is weer in stijl afgesloten met een kerstdiner en een gaming day. Wees het komende jaar ook welkom om onder het genot van een koffie of biertje te bespreken waar we kunnen assisteren met meer Open Source, meer Kubernetes, meer inzicht en meer security.

🍻