OKOMO는 IoT 센서로부터 실시간 데이터를 수집하고, 이를 정제·분석·시각화하는 통합 데이터 운영 시스템입니다. Spring Boot 기반 수집 API, BigQuery 기반 시계열 데이터 웨어하우스, Google Looker Studio(구 Data Studio) 대시보드를 통해 전체 파이프라인을 구성했습니다. 또한 GKE와 GitLab CI/CD로 배포·운영 자동화를 구현해 안정성과 확장성을 확보했습니다.
IoT 센서 데이터 파이프라인 및 실시간 분석 시스템
수집·정제·저장·분석·시각화·배포까지 자동화된 엔드투엔드 데이터 운영 인프라
프로젝트 개요
핵심 기능
센서 데이터 수집 API
- Spring Boot 기반 REST API
- Jakarta Bean Validation(및 커스텀 Validator)로 스키마 검증
- 이상값 정규화, 예외 로깅, 격리 저장(DLQ) 지원
BigQuery 시계열 웨어하우스
- 파티셔닝/클러스터링 기반 스키마 설계
- BigQuery Storage Write API로 저지연 스트리밍 저장
- 중복 방지용 idempotency 키(이벤트 ID) + MERGE 기반 정합성 유지
실시간 KPI 대시보드
- Google Looker Studio 연동(구 Data Studio)
- Pre-aggregation View/Materialized View/BI Engine로 실시간 응답 가속
- 공정/디바이스/지역 등 사용자 맞춤 필터
운영 자동화 및 신뢰성
- GKE + Helm 기반 배포, Liveness/Readiness Probe 적용
- GitLab CI/CD로 테스트-빌드-릴리즈 자동화
- 네임스페이스 격리, RBAC, Workload Identity, Secret 관리
아키텍처 구성
IoT Sensor → Spring Boot API(검증/정규화) → BigQuery(Storage Write API) → Looker Studio 실시간 대시보드 → GKE + GitLab CI/CD 자동화
수집·저장·분석·시각화·배포를 모듈화하고, DLQ/관측성/권한 관리를 포함해 장애 대응력과 운영 유연성 확보
기술 스택
백엔드: Java, Spring Boot, Jakarta Bean Validation(Hibernate Validator), OpenAPI/Swagger 데이터 웨어하우스: BigQuery(Partitioning, Clustering, Views, (선택) Materialized View, (선택) BI Engine), Storage Write API 시각화: Google Looker Studio(구 Data Studio) 인프라: Docker, GKE(Namespaces, RBAC, Workload Identity, ConfigMap/Secret) CI/CD: GitLab CI(테스트/빌드/Helm 배포 자동화) 관측성(선택): OpenTelemetry, Prometheus/Grafana, 중앙 로깅
담당 역할/기여 사항
데이터 모델링 및 성능 최적화
- BigQuery 스키마 파티셔닝/클러스터링 설계, Pre-aggregation/Materialized View 도입
- 쿼리 비용/지연 최적화 및 KPI 지표 모델링
수집 API 엔지니어링
- Spring Boot로 스트리밍 수집 API 구현
- Bean Validation + 커스텀 Validator, DLQ(격리 테이블) 설계, 예외 로깅
인프라/배포 자동화
- GKE 배포(Helm), 네임스페이스 분리 및 RBAC/Secret 관리
- GitLab CI 파이프라인 구축 및 무중단 배포 전략 수립