72.000 $ in due ore: il test con Cloud Run e Firestore sfuggito di mano

Milkie Way, una piccola startup fondata da Sudeep Chauhan, stava testando su Cloud Run uno scraper web che salvava ciò che trovava in Firestore. Aveva impostato un budget di 7 $. Un bug faceva sì che lo scraper ricorresse all'infinito quando le pagine si collegavano tra loro, e le impostazioni predefinite di Cloud Run di allora gli permettevano di scalare su molte istanze, ciascuna con molte richieste.

In circa due ore, una notte, ha eseguito circa 116 miliardi di letture Firestore e 33 milioni di scritture. La fattura inizialmente mostrava circa 5.000 $ e si è chiusa a poco meno di 72.000 $. La lezione di Chauhan, come citata da The Register: "Fail fast, learn fast with cloud is a bad idea." (cioè, «"fallisci in fretta, impara in fretta" con il cloud è una cattiva idea»).

Dopo che l'azienda ha inviato a Google un rapporto dettagliato sull'incidente, Google ha cancellato la fattura come gesto eccezionale. Il post originale sul blog, "We Burnt $72K testing Firebase + Cloud Run and almost went Bankrupt" (cioè, «Abbiamo bruciato 72.000 $ testando Firebase + Cloud Run e siamo quasi andati in bancarotta»), non è più online.

• Un limite allo scaling. Un valore basso di istanze massime sul servizio Cloud Run avrebbe limitato la velocità con cui il ciclo poteva spendere.
• Agire sul budget, non solo avvisare. Il budget di 7 $ esisteva; inviava solo avvisi, che arrivano con ore di ritardo. Un kill switch automatico avrebbe interrotto la fatturazione al primo report oltre il limite, a una frazione di 72.000 $.
• Guardare l'utilizzo, non il costo. Miliardi di letture Firestore in un'ora sono un picco che Cloud Monitoring mostra in pochi minuti. Una regola sui picchi di utilizzo delle letture Firestore sarebbe scattata molto prima del primo report dei costi.