웹에 있는 데이터 중 AI가 바로 처리할 수 있는 건 20%도 안 된다. 나머지 80%는 HTML, PDF, 이미지, 동영상, 로그인 뒤에 숨겨진 페이지들이다. 기계가 소화하기엔 엉망인 형태. 그런데 AI를 실제 비즈니스에 갖다 쓰려면 대규모·고품질·도메인 특화 데이터가 꼭 필요하다. 이 간극을 메우는 게 바로 웹 데이터 인프라 레이어(Web Data Infrastructure Layer)다.
AI가 웹 데이터를 바로 못 쓰는 이유
인터넷은 사람이 읽도록 만들어졌다. 기계용이 아니다. MIT 테크놀로지 리뷰도 이 점을 짚은 바 있다. 웹의 근본 구조 자체가 AI 데이터 수집의 발목을 잡는다.
- 비정형 데이터: HTML 마크업, 중첩 테이블, 동적 JavaScript 렌더링 — 구조가 제각각이라 일괄 처리가 안 된다
- 접근 제한: 로그인 월(paywall), CAPTCHA, robots.txt, IP 차단
- 품질 불균일: 같은 주제라도 출처마다 형식과 신뢰도가 다르다
- 실시간성 문제: 가격 데이터, 재고 정보는 캐시한 순간 이미 구식이 된다
크롤러랑 뭐가 다른가
단순 크롤러와는 차원이 다르다. 수집(Crawling) → 파싱(Parsing) → 정제(Cleaning) → 구조화(Structuring) → 저장(Storage) → 제공(Delivery)까지, 파이프라인 전체를 아우른다. 원시 웹 데이터를 AI가 소화 가능한 형태로 변환하는 중간 계층이라고 보면 된다.
이 레이어가 급부상한 건 LLM 파인튜닝과 RAG(Retrieval-Augmented Generation) 파이프라인 수요가 폭발하면서다. 도메인별 지식 베이스를 쌓거나 실시간 웹 검색 결과를 AI에 연동할 때, 모두 이 인프라가 필요하다.
기술 구성 4가지
1. 웹 크롤러 & 스크레이퍼
정적 HTML부터 SPA(Single Page Application)까지 처리하는 헤드리스 브라우저 기반 크롤러다. Playwright, Puppeteer, Scrapy가 대표 도구고, 규모가 커지면 분산 크롤링 아키텍처가 필수다.
2. 데이터 파서 & 추출기
수집된 원시 HTML에서 의미 있는 정보만 뽑아내는 레이어다. LLM 기반 파서인 Diffbot, Firecrawl은 구조 없는 페이지도 자연어 이해로 필드를 추출한다. 솔직히 기존 룰 기반 파서와 LLM 파서의 차이가 여기서 크게 갈린다.
3. 데이터 클렌징 파이프라인
중복 제거, 언어 감지, 품질 스코어링, 개인정보(PII) 필터링이 들어간다. AI 학습 데이터셋 품질은 모델 성능에 직결되는 문제다. 이 단계를 건너뛰면 결국 “garbage in, garbage out”이 된다.
4. 벡터 스토어 & 검색 인덱스
정제된 데이터를 임베딩 벡터로 변환해 저장하는 단계다. Pinecone, Weaviate, pgvector 같은 벡터 데이터베이스가 RAG 파이프라인의 중심축 역할을 한다.
자체 구축? 외주? 구매? — 기업 전략 3가지
- 자체 구축(In-house): 데이터 통제권은 최대다. 단, 엔지니어링 비용·유지보수·스케일링이 모두 내부 책임이다. 데이터 독점이 경쟁 우위인 기업에 어울린다.
- 서드파티 API 활용: Bright Data, Apify, Zyte 같은 전문 플랫폼을 쓰는 방식이다. 개발 속도가 빠르고 법적 리스크 관리가 상대적으로 쉽다. 비용은 데이터 볼륨에 비례해 올라간다.
- 데이터 마켓플레이스 구매: AWS Data Exchange, Snowflake Marketplace 등에서 이미 정제된 데이터셋을 산다. 속도는 빠르지만 커스터마이징 한계가 뚜렷하고, 경쟁사도 똑같은 데이터를 쓴다는 구조적 약점이 있다.
법적 리스크, 생각보다 깊다
기술 문제이기 전에 법적 문제다. 안일하게 넘어갔다가 소송에 휘말린 사례가 적지 않다.
- robots.txt 준수: 법적 구속력은 없지만, 위반하면 계정 차단이나 법적 분쟁 리스크가 따른다
- 저작권: 뉴욕타임스 vs. OpenAI 소송처럼, AI 학습 목적 사용에 저작권자가 동의하지 않은 경우 소송 리스크가 현실이 된다
- GDPR / 개인정보보호법: EU 사용자 데이터가 섞이면 GDPR이 적용된다. 국내 기업은 개인정보보호법 준수도 필수다
- 컴퓨터사기남용법(CFAA): 미국에서 무단 접근으로 간주되면 형사 처벌까지 간다
LinkedIn vs. hiQ Labs 판결처럼 공개 데이터 수집의 합법성은 나라마다 해석이 다르다. 법무팀과의 사전 협의는 건너뛰면 안 된다.
이 판을 키우는 플레이어들
웹 데이터 인프라는 이제 독립 산업 카테고리로 자리 잡는 중이다. 주요 플레이어들이다.
- Bright Data (구 Luminati): 프록시 네트워크 + 데이터 수집 플랫폼. 기업 고객 중심으로 운영한다
- Firecrawl: LLM 친화적 마크다운 변환에 특화된 스크래핑 API
- Apify: 클라우드 기반 크롤링 플랫폼. 비개발자도 쓸 수 있는 Actor 마켓플레이스를 운영한다
- Diffbot: AI 기반 웹 파싱 및 구조화된 지식 그래프(Knowledge Graph) 제공
- Common Crawl: 비영리 오픈 웹 크롤 데이터셋. GPT, LLaMA 등 대형 모델의 사전학습 데이터로 쓰인다
모델보다 파이프라인이 AI 경쟁력을 가른다
모델 성능 격차가 좁혀지는 속도는 무섭게 빠르다. GPT-4, Claude, Gemini의 벤치마크 차이는 1~2년 전보다 훨씬 줄었다. 이제 차별화 지점은 어떤 데이터로 학습하고, 어떤 데이터를 RAG 파이프라인에 연결하느냐로 이동했다.
자사 도메인에 특화된 고품질 웹 데이터를 확보하고, 이를 체계적으로 AI에 연결하는 기업이 범용 모델에만 기대는 경쟁사보다 더 정확하고 신뢰도 높은 AI 서비스를 만든다. 웹 데이터 인프라 레이어는 선택지가 아니다. AI 경쟁력의 기반 자체다.