Google News를 신뢰도 높은 매체만 남길 수 있을까

Scope

핵심 질문

Google News나 RSS에서 특정 신뢰 매체만 남기는 source filtering은 어떻게 구현하고 어떤 한계가 있는가?

Research

핵심 근거

Feed item title에 매체명이 포함되더라도 안정적인 machine-readable source field라고 가정하기 어렵다.
실제 원문 URL의 hostname을 확인해 allowlist와 매칭하는 방식이 더 안전하다.
매체 신뢰도는 주제와 기사 유형에 따라 다르므로 단일 점수보다 목적별 allowlist가 실용적이다.

Draft

가능하지만 Google News 화면에 보이는 매체명 문자열만 필터링하는 것보다 원문 domain을 확인하는 편이 안정적이다.

원문 URL 기준

Feed item 링크는 신뢰할 수 없는 입력이다. 원문 요청이 정말 필요하다면 HTTP(S)와 허용된 목적지·포트만 받고, 매 요청의 DNS 응답(IP 버전 모두)에서 loopback·사설·link-local·metadata 등 허용하지 않는 대상을 차단한다. DNS를 검사만 하고 다시 호스트 이름으로 연결해서는 안 된다. 실제 HTTP 클라이언트는 검증한 공개 IP로 연결을 고정하되 원래 hostname의 HTTP Host, TLS SNI와 인증서 검증을 유지해야 한다. 자동 redirect를 끄고 각 Location 및 재시도·대체 연결에도 같은 목적지·DNS·실제 연결 검증을 반복하며 hop·시간·응답 크기와 네트워크 egress를 제한한다. 이 통제를 강제할 수 없다면 피드에서 파악한 출처 정보만 보존하고 원문 자동 수집은 하지 않는다. 최종 publisher hostname allowlist는 안전하게 연결한 뒤의 콘텐츠 선택 기준이며 SSRF 방어를 대체하지 않는다. OWASP SSRF 예방 지침을 참고한다.

reuters.com, apnews.com처럼 domain 기준 규칙을 관리하면 제목 표기 변화에 덜 민감하다.

Allowlist를 목적별로 나눈다

속보는 통신사, 기술은 전문매체, 한국 정책은 정부·주요 언론처럼 주제별 source set을 둘 수 있다.

모든 뉴스를 소수 매체로만 제한하면 지역 보도와 전문 분야 정보를 놓칠 수 있다.

1차 자료 우선

정책 발표, 기업 실적, 논문은 가능하면 기사의 원자료까지 연결한다. 뉴스 매체 필터는 1차 자료의 대체물이 아니다.

핵심

신뢰매체 필터는 가능하지만 Google News 자체의 ranking을 신뢰도 평가로 사용하지 말고 최종 publisher domain과 별도 source policy를 적용하는 것이 좋다.