AI와 함께 만드는 삶

누구나법률 2장(진짜 문제는 기술이 아니라 돈이었다)에서 나온 개념 세 가지: LLM 멀티 프로바이더 체인, SSE vs REST, 무료 호스팅의 콜드 슬립.LLM 폴백 체인 — 왜 모델 하나로는 안 되나AI 서비스를 하나의 LLM(예: Claude API)에만 의존해서 만들면, 그 모델이 막히는 순간 서비스 전체가 멈춘다. 막히는 이유는 다양하다 — API 비용 한도 초과, 요청 제한(rate limit), 일시적 서버 장애. 하나에만 의존하면 그 하나가 곧 전체의 장애 지점(single point of failure)이 된다.그래서 실무에서 흔히 쓰는 패턴이 "주 모델이 실패하면 다음 모델로 자동 전환"하는 폴백 체인이다. 1순위(Groq) 실패 → 2순위(Gemini) 시도 → 3순위(Ollama,..

AI 서비스인데, AI를 하나 빼버렸다첫날 커밋 메시지에 이렇게 적어뒀었다.Tech stack: React 18 / FastAPI / SQLite / Claude·Groq·Ollama (Multi-LLM)Claude를 메인으로 두고, 실패하면 Groq로, 그것도 안 되면 Ollama(로컬)로 넘어가는 구조였다. 그런데 4일 뒤, 2026년 4월 20일 오전 9시 23분에 이런 커밋이 올라갔다. fix: remove Claude from LLM chain, fix Groq fallback bugClaude를 체인에서 통째로 뺐다. AI로 서비스를 만들면서, 정작 서비스 두뇌에서는 Claude를 뺀 셈이다.이유는 버그였다. 코드를 열어보면 이렇다. pythonif provider in ("groq", "au..