US$ 72.000 em duas horas: o teste com Cloud Run e Firestore que saiu do controle

A Milkie Way, uma pequena startup fundada por Sudeep Chauhan, estava testando no Cloud Run um web scraper que salvava o que encontrava no Firestore. Eles tinham definido um orçamento de US$ 7. Um bug fez o scraper entrar em recursão infinita quando as páginas apontavam umas para as outras, e os padrões do Cloud Run na época permitiram que ele escalasse para muitas instâncias, cada uma atendendo muitas requisições.

Em cerca de duas horas, durante uma noite, ele fez aproximadamente 116 bilhões de leituras e 33 milhões de gravações no Firestore. A fatura mostrou primeiro cerca de US$ 5.000 e terminou em quase US$ 72.000. A lição de Chauhan, como citada pelo The Register: "Fail fast, learn fast with cloud is a bad idea." ("falhar rápido, aprender rápido com a cloud é uma má ideia.")

Depois que a empresa enviou ao Google um relatório detalhado do incidente, o Google perdoou a fatura como um gesto excepcional. O post original, "We Burnt $72K testing Firebase + Cloud Run and almost went Bankrupt" ("Queimamos US$ 72 mil testando Firebase + Cloud Run e quase fomos à falência"), não está mais no ar.

• Um limite de escala. Uma configuração baixa de máximo de instâncias no serviço do Cloud Run teria limitado a velocidade com que o loop podia gastar.
• Agir com base no orçamento, não apenas alertar. O orçamento de US$ 7 existia; ele só enviava alertas, que chegam com horas de atraso. Um kill switch automático teria cortado o faturamento no primeiro relatório acima do limite, por uma fração dos US$ 72.000.
• Observar o uso, não o custo. Bilhões de leituras no Firestore em uma hora são um pico que o Cloud Monitoring mostra em minutos. Uma regra de pico de uso nas leituras do Firestore teria disparado muito antes do primeiro relatório de custos.