72.000 $ en dos horas: la prueba de Cloud Run y Firestore que se desbocó

Milkie Way, una pequeña startup fundada por Sudeep Chauhan, estaba probando en Cloud Run un web scraper que guardaba lo que encontraba en Firestore. Habían fijado un presupuesto de 7 $. Un bug hizo que el scraper se llamara recursivamente sin fin cuando las páginas se enlazaban entre sí, y los valores por defecto de Cloud Run en aquel momento le permitían escalar a muchas instancias que atendían muchas peticiones cada una.

En unas dos horas, una noche, hizo unos 116.000 millones de lecturas de Firestore y 33 millones de escrituras. La factura mostró primero unos 5.000 $ y terminó en algo menos de 72.000 $. La lección de Chauhan, según la citó The Register: "Fail fast, learn fast with cloud is a bad idea." («Lo de fallar rápido y aprender rápido con el cloud es una mala idea.»)

Después de que la empresa enviara a Google un informe detallado del incidente, Google les perdonó la factura como gesto excepcional. El artículo original del blog, "We Burnt $72K testing Firebase + Cloud Run and almost went Bankrupt" («Quemamos 72.000 $ probando Firebase + Cloud Run y casi nos arruinamos»), ya no está disponible.

• Un límite al escalado. Un ajuste bajo de instancias máximas en el servicio de Cloud Run habría acotado la velocidad a la que el bucle podía gastar.
• Actuar sobre el presupuesto, no solo alertar. El presupuesto de 7 $ existía; solo enviaba alertas, que llegan con horas de retraso. Un kill switch automático habría cortado la facturación en el primer informe que superara el límite, por una fracción de los 72.000 $.
• Vigilar el uso, no el coste. Miles de millones de lecturas de Firestore en una hora son un pico que Cloud Monitoring muestra en minutos. Una regla de picos de uso sobre las lecturas de Firestore habría saltado mucho antes del primer informe de costes.