공공데이터 CSV 448K건 증분 동기화 — 52초를 0.3초로 줄인 3-Layer 최적화
HTTP HEAD 사전 체크 · High-Water Mark 역순 스캔 · Score 임계값 노이즈 필터링 공공데이터포털 81MB CSV → PostgreSQL 서버리스 동기화 실전기 문제 정의 — 왜 최적화가 필요했나 건축 법규 검토 AI 시스템에서 “지구단위계획 고시 매칭” 기능을 구현하고 있었습니다. VWorld API로 특정 주소의 지구단위계획 정보를 조회하면 ntfc_sn(고시 일련번호)이 반환되는데, 이 번호만으로는 실제 고시 문서에 접근할 수 없습니다. 토지이음(eum.go.kr)에 고시 목록이 있지만, 해당 사이트의 WAF가 AWS IP 대역을 차단하고 있어 직접 API 호출이 불가능했습니다. 대안으로 공공데이터포털에서 제공하는 고시목록 CSV 파일을 PostgreSQL DB에 넣고 매칭하는 전략을 선택했습니다. ...