Dataflow
실시간 인텔리전스와 생성형 AI를 위한 스트리밍 분석
실시간 데이터의 잠재력을 극대화하세요. Dataflow는 사용하기 쉽고 확장 가능한 완전 관리형 스트리밍 플랫폼으로, 실시간 AI/ML을 가속화하는 데 도움이 됩니다.
신규 고객에게는 Dataflow에 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.
기능
스트리밍 AI 및 ML을 사용하여 생성형 AI 모델을 실시간으로 강화
실시간 데이터는 AI/ML 모델에 최신 정보를 제공하여 예측 정확도를 향상시킵니다. Dataflow ML은 전체 ML 파이프라인의 배포 및 관리를 간소화합니다. Google에서는 맞춤 추천, 사기 감지, 위협 방지 등을 위해 즉시 사용 가능한 패턴을 제공합니다. Vertex AI, Gemini 모델, Gemma 모델로 스트리밍 AI를 빌드하고, 원격 추론을 실행하고, MLTransform으로 데이터 처리를 간소화합니다. Dataflow GPU 및 적합 맞춤 기능으로 MLOps 및 ML 작업 효율성을 향상하세요.
엔터프라이즈 규모의 고급 스트리밍 사용 사례 지원
Dataflow는 오픈소스 Apache Beam SDK를 사용하여 엔터프라이즈 규모로 고급 스트리밍 사용 사례를 지원하는 완전 관리형 서비스입니다. 상태 및 시간, 변환, I/O 커넥터를 위한 풍부한 기능을 제공합니다. Dataflow는 작업당 작업자 4,000명으로 확장되며 정기적으로 페타바이트 규모의 데이터를 처리합니다. 일괄 및 스트리밍 파이프라인에서 리소스 사용률을 최적화하기 위한 자동 확장 기능을 제공합니다.
템플릿과 노트북으로 가치 창출 시간 단축
Dataflow에는 쉽게 시작할 수 있는 도구가 있습니다. Dataflow 템플릿은 스트림 및 일괄 처리를 위해 사전 설계된 청사진으로, 효율적인 CDC 및 BigQuery 데이터 통합에 최적화되어 있습니다. Vertex AI 노트북을 사용하여 처음부터 최신 데이터 과학 프레임워크로 파이프라인을 반복 빌드하고 Dataflow 실행기로 배포하세요.Dataflow 작업 빌더는 Google Cloud 콘솔에서 코드를 작성하지 않고 Dataflow 파이프라인을 빌드하고 실행하기 위한 시각적 UI입니다.
스마트 진단 및 모니터링 도구로 시간 절약
Dataflow는 포괄적인 진단 및 모니터링 도구를 제공합니다. 낙오 항목 감지는 성능 병목 현상을 자동으로 식별하며, 데이터 샘플링을 사용하면 각 파이프라인 단계에서 데이터를 관찰할 수 있습니다. Dataflow 통계는 작업 개선을 위한 권장사항을 제공합니다. Dataflow UI는 작업 그래프, 실행 세부정보, 측정항목, 자동 확장 대시보드, 로깅 등 다양한 모니터링 도구를 제공합니다. Dataflow에는 간편한 비용 추정을 위한 작업 비용 모니터링 UI도 있습니다.
거버넌스 및 보안 기본 제공
Dataflow를 사용하면 컨피덴셜 VM 지원을 통해 사용 중 데이터 암호화, 고객 관리 암호화 키(CMEK), VPC 서비스 제어 통합, 공개 IP 사용 중지 등 다양한 방식으로 데이터를 보호할 수 있습니다. Dataflow 감사 로깅은 조직에 Dataflow 사용량에 대한 가시성을 제공하며 '누가, 언제, 어디서, 무엇을 했는지'라는 질문에 답하는 데 도움이 되어 거버넌스를 개선할 수 있습니다
작동 방식
Dataflow는 일괄 및 스트리밍 데이터 처리를 위한 완전 관리형 플랫폼입니다. 서버리스 Google Cloud 인프라에서 Apache Beam의 통합 모델을 사용한 확장 가능한 ETL 파이프라인, 실시간 스트림 분석, 실시간 ML, 복잡한 데이터 변환을 지원합니다.
Dataflow는 일괄 및 스트리밍 데이터 처리를 위한 완전 관리형 플랫폼입니다. 서버리스 Google Cloud 인프라에서 Apache Beam의 통합 모델을 사용한 확장 가능한 ETL 파이프라인, 실시간 스트림 분석, 실시간 ML, 복잡한 데이터 변환을 지원합니다.
일반적인 용도
실시간 ML 및 생성형 AI
스트리밍 ML/AI를 사용한 실시간 조치
스트리밍 ML/AI를 사용한 실시간 조치
순간의 결정이 비즈니스 가치를 높입니다. 고객은 Dataflow Streaming AI 및 ML을 통해 지연 시간이 짧은 예측 및 추론, 실시간 맞춤설정, 위협 감지, 사기 방지 등 실시간 인텔리전스가 중요한 다양한 사용 사례를 구현할 수 있습니다. MLTransform으로 데이터 전처리: 복잡한 코드 작성이나 기본 라이브러리 관리에서 벗어나 데이터 변환에 집중할 수 있습니다. RunInference를 사용하여 생성형 AI 모델에 대해 예측을 수행할 수 있습니다.
튜토리얼, 빠른 시작, 실습
스트리밍 ML/AI를 사용한 실시간 조치
스트리밍 ML/AI를 사용한 실시간 조치
순간의 결정이 비즈니스 가치를 높입니다. 고객은 Dataflow Streaming AI 및 ML을 통해 지연 시간이 짧은 예측 및 추론, 실시간 맞춤설정, 위협 감지, 사기 방지 등 실시간 인텔리전스가 중요한 다양한 사용 사례를 구현할 수 있습니다. MLTransform으로 데이터 전처리: 복잡한 코드 작성이나 기본 라이브러리 관리에서 벗어나 데이터 변환에 집중할 수 있습니다. RunInference를 사용하여 생성형 AI 모델에 대해 예측을 수행할 수 있습니다.
스트리밍 분석
실시간 분석 및 운영 파이프라인을 위한 스트리밍 데이터 가져오기
실시간 분석 및 운영 파이프라인을 위한 스트리밍 데이터 가져오기
스트리밍 데이터 소스(PubSub, Kafka, CDC 이벤트, 사용자 클릭스트림, 로그, 센서 데이터)를 BigQuery, GCS 데이터 레이크, Spanner, Bigtable, SQL 저장소, Splunk, Datadog 등에 통합하여 데이터 스트리밍 여정을 시작하세요. 코드 없이 클릭 몇 번만으로 파이프라인을 설정하는 최적화된 Dataflow 템플릿을 살펴보세요. 통합 UDF 빌더를 사용하여 템플릿 작업에 커스텀 로직을 추가하거나 Beam 변환 및 I/O 커넥터 생태계의 강력한 기능을 사용하여 커스텀 ETL 파이프라인을 처음부터 만들 수 있습니다. 또한 Dataflow는 빠른 조회 및 최종 사용자 제공을 위해 ETL 처리 데이터를 BigQuery에서 OLTP 저장소로 되돌리는 데에도 흔히 사용됩니다. Dataflow가 여러 스토리지 위치에 스트리밍 데이터를 쓰는 일반적인 패턴입니다.
첫 Dataflow 작업을 실행하고 Dataflow 기초에 관한 셀프 가이드 과정을 이수하세요.
튜토리얼, 빠른 시작, 실습
실시간 분석 및 운영 파이프라인을 위한 스트리밍 데이터 가져오기
실시간 분석 및 운영 파이프라인을 위한 스트리밍 데이터 가져오기
스트리밍 데이터 소스(PubSub, Kafka, CDC 이벤트, 사용자 클릭스트림, 로그, 센서 데이터)를 BigQuery, GCS 데이터 레이크, Spanner, Bigtable, SQL 저장소, Splunk, Datadog 등에 통합하여 데이터 스트리밍 여정을 시작하세요. 코드 없이 클릭 몇 번만으로 파이프라인을 설정하는 최적화된 Dataflow 템플릿을 살펴보세요. 통합 UDF 빌더를 사용하여 템플릿 작업에 커스텀 로직을 추가하거나 Beam 변환 및 I/O 커넥터 생태계의 강력한 기능을 사용하여 커스텀 ETL 파이프라인을 처음부터 만들 수 있습니다. 또한 Dataflow는 빠른 조회 및 최종 사용자 제공을 위해 ETL 처리 데이터를 BigQuery에서 OLTP 저장소로 되돌리는 데에도 흔히 사용됩니다. Dataflow가 여러 스토리지 위치에 스트리밍 데이터를 쓰는 일반적인 패턴입니다.
첫 Dataflow 작업을 실행하고 Dataflow 기초에 관한 셀프 가이드 과정을 이수하세요.
실시간 ETL 및 데이터 통합
실시간 데이터로 데이터 플랫폼 현대화
실시간 데이터로 데이터 플랫폼 현대화
실시간 ETL 및 통합 프로세스와 데이터 즉시 작성을 지원하여 신속한 분석과 의사 결정을 지원합니다. Dataflow의 서버리스 아키텍처 및 스트리밍 기능은 실시간 ETL 파이프라인을 빌드하는 데 이상적입니다. Dataflow의 자동 확장 기능은 효율성과 확장성을 보장하는 동시에 다양한 데이터 소스 및 대상을 지원하므로 통합이 간소화됩니다.
이 Google Cloud Skills Boost 과정을 통해 Dataflow의 일괄 처리로 기초를 구축하세요.
튜토리얼, 빠른 시작, 실습
실시간 데이터로 데이터 플랫폼 현대화
실시간 데이터로 데이터 플랫폼 현대화
실시간 ETL 및 통합 프로세스와 데이터 즉시 작성을 지원하여 신속한 분석과 의사 결정을 지원합니다. Dataflow의 서버리스 아키텍처 및 스트리밍 기능은 실시간 ETL 파이프라인을 빌드하는 데 이상적입니다. Dataflow의 자동 확장 기능은 효율성과 확장성을 보장하는 동시에 다양한 데이터 소스 및 대상을 지원하므로 통합이 간소화됩니다.
이 Google Cloud Skills Boost 과정을 통해 Dataflow의 일괄 처리로 기초를 구축하세요.
마케팅 인텔리전스
실시간 통계로 마케팅 혁신
실시간 통계로 마케팅 혁신
실시간 마케팅 인텔리전스는 현재 시장, 고객, 경쟁업체 데이터를 분석하여 정보에 입각한 신속한 결정을 내릴 수 있습니다. 트렌드, 행동, 경쟁 활동에 민첩하게 대응하여 마케팅 혁신을 지원합니다. 장점은 다음과 같습니다.
- 맞춤형 혜택을 활용한 실시간 옴니채널 마케팅
- 맞춤형 상호작용을 통해 고객 관계 관리 개선
- 민첩한 마케팅 조합 최적화
- 동적 사용자 세분화
- 한발 앞서가기 위한 경쟁력 있는 인텔리전스
- 소셜 미디어상의 사전 예방적 위기 관리
튜토리얼, 빠른 시작, 실습
실시간 통계로 마케팅 혁신
실시간 통계로 마케팅 혁신
실시간 마케팅 인텔리전스는 현재 시장, 고객, 경쟁업체 데이터를 분석하여 정보에 입각한 신속한 결정을 내릴 수 있습니다. 트렌드, 행동, 경쟁 활동에 민첩하게 대응하여 마케팅 혁신을 지원합니다. 장점은 다음과 같습니다.
- 맞춤형 혜택을 활용한 실시간 옴니채널 마케팅
- 맞춤형 상호작용을 통해 고객 관계 관리 개선
- 민첩한 마케팅 조합 최적화
- 동적 사용자 세분화
- 한발 앞서가기 위한 경쟁력 있는 인텔리전스
- 소셜 미디어상의 사전 예방적 위기 관리
클릭 스트림 분석
웹 및 앱 환경 최적화 및 맞춤설정
웹 및 앱 환경 최적화 및 맞춤설정
실시간 클릭스트림 분석을 통해 비즈니스는 웹사이트 및 앱에서의 사용자 상호작용을 즉시 분석할 수 있습니다. 이를 통해 실시간 맞춤설정, A/B 테스트, 유입경로 최적화가 가능해져 참여도 향상, 제품 개발 속도 향상, 이탈률 감소, 제품 지원 향상으로 이어질 수 있습니다. 궁극적으로는 뛰어난 사용자 경험을 제공하고 유동적인 가격과 맞춤형 추천을 통해 비즈니스 성장을 촉진합니다.
튜토리얼, 빠른 시작, 실습
웹 및 앱 환경 최적화 및 맞춤설정
웹 및 앱 환경 최적화 및 맞춤설정
실시간 클릭스트림 분석을 통해 비즈니스는 웹사이트 및 앱에서의 사용자 상호작용을 즉시 분석할 수 있습니다. 이를 통해 실시간 맞춤설정, A/B 테스트, 유입경로 최적화가 가능해져 참여도 향상, 제품 개발 속도 향상, 이탈률 감소, 제품 지원 향상으로 이어질 수 있습니다. 궁극적으로는 뛰어난 사용자 경험을 제공하고 유동적인 가격과 맞춤형 추천을 통해 비즈니스 성장을 촉진합니다.
가격 책정
| Dataflow 가격 책정 방식 | Dataflow의 청구 및 리소스 모델을 살펴봅니다. | |
|---|---|---|
| 서비스 및 사용량 | 설명 | 가격 책정 |
Dataflow 컴퓨팅 리소스 | 컴퓨팅 리소스에 대한 Dataflow 청구에는 다음이 포함됩니다. | 가격 책정 페이지에서 자세히 알아보기 |
기타 Dataflow 리소스 | 가격 책정 페이지에서 자세히 알아보기 | |
Dataflow 약정 사용 할인(CUD) | Dataflow CUD는 약정 기간에 따라 두 가지 수준의 할인을 제공합니다.
| Dataflow CUD 자세히 알아보기 |
Dataflow 가격 책정을 자세히 알아보세요. 모든 가격 책정 세부정보 보기
Dataflow 가격 책정 방식
Dataflow의 청구 및 리소스 모델을 살펴봅니다.
Dataflow 약정 사용 할인(CUD)
Dataflow CUD는 약정 기간에 따라 두 가지 수준의 할인을 제공합니다.
- 1년 CUD는 주문형 요율에서 20% 할인을 제공합니다.
- 3년 CUD는 주문형 요율에서 40% 할인을 제공합니다.
Dataflow CUD 자세히 알아보기
Dataflow 가격 책정을 자세히 알아보세요. 모든 가격 책정 세부정보 보기
개념 증명 시작
신규 고객에게는 Dataflow를 사용해 볼 수 있는 $300의 크레딧이 제공됩니다.
대규모 프로젝트가 있나요?
비즈니스 사례
최고의 고객들이 Dataflow를 선택하는 이유 알아보기
나미타 비자야 쿠마르, ANZ Bank GCP SRE 제품 소유자
"Dataflow는 일괄 처리와 실시간 데이터 처리를 모두 지원하므로 엔터프라이즈 데이터 레이크에서 데이터의 적시성이 유지됩니다. 결과적으로 분석/의사결정의 데이터 다운스트림 사용량 및 소매업 고객에게 실시간 알림을 전달하는 데도 도움이 됩니다."
고객 사례 읽어보기Dataflow의 이점
간편한 ML 스트리밍
AI/ML에 스트리밍을 도입하는 턴키 기능: 추론을 위한 RunInference, 모델 학습 전처리를 위한 MLTransform, Feature Store 조회를 위한 보강, 동적 GPU 지원 등 모두 제한된 GPU 리소스에 대한 낭비되는 비용 없이 반복 업무를 줄여줍니다.
강력한 도구로 최적의 가격 대비 성능 실현
Dataflow는 성능과 리소스 사용을 극대화할 수 있도록 자동화된 최적화와 함께 비용 효율적인 스트리밍을 제공합니다. 쉽게 확장되어 모든 워크로드를 처리하며 AI 기반 자가 복구 기능을 제공합니다. 강력한 도구는 운영과 이해에 도움이 됩니다.
개방성, 이동성, 확장성
Dataflow는 통합된 일괄 및 스트리밍 지원을 갖춘 오픈소스 Apache Beam용으로 빌드되어 클라우드, 온프레미스 또는 에지 기기 간에 워크로드를 이동할 수 있습니다.
파트너 및 통합
Dataflow 파트너
모든 규모의 데이터 처리 작업을 강력하고 쉽고 빠르게 수행할 수 있도록 Google Cloud 파트너가 Dataflow와의 통합 기술을 개발했습니다. 지금 스트리밍 여정을 시작하려면 모든 파트너를 확인하세요.