빠르고 경제적이며 서버리스 방식인 통합 스트리밍 및 일괄 데이터 처리를 제공합니다. 신규 고객에게는 Dataflow에 사용할 수 있는 $300의 무료 크레딧이 제공됩니다. 완전 관리형 데이터 처리 서비스 처리 리소스의 프로비저닝 및 관리 자동화 작업자 리소스가 수평식으로 자동 확장되어 리소스 활용률 극대화 Apache Beam SDK를 통한 OSS 커뮤니티 기반의 혁신 안정적이고 일관성 있는 단 한 번의 처리 이점 Dataflow를 사용하면 데이터 지연 시간을 줄이면서 스트리밍 데이터 파이프라인을 빠르고 간편하게 개발할 수 있습니다. Dataflow는 서버리스 방식으로 데이터 엔지니어링 워크로드에서 운영 오버헤드를 제거하므로 팀이 서버 클러스터를 관리하는 대신 프로그래밍에 집중할 수 있습니다. Dataflow는 리소스 자동 확장과 비용 최적화된 일괄 처리 기능의 결합으로 무제한에 가까운 용량을 제공하므로 시기에 따라 변동하거나 급증하는 워크로드도 과다한 지출 없이 관리할 수 있습니다. 주요 특징 주요 특징리소스 자동 확장 및 동적 작업 재균등화데이터 인식 리소스 자동 확장을 통해 파이프라인 지연 시간을 최소화하고 리소스 사용률을 극대화하며 데이터 레코드당 처리 비용을 줄입니다. 데이터 입력은 작업자 리소스 사용률을 균등화하기 위해 자동으로 파티션이 나누어지며 지속적으로 다시 분산되고, '핫 키'가 파이프라인 성능에 미치는 영향을 줄입니다. 일괄 처리 시 유연한 예약 및 가격 책정심야 작업과 같이 작업 예약 시간을 유연하게 처리해야 하는 경우 유연한 리소스 예약(FlexRS)으로 일괄 처리 비용을 낮춰줍니다. 이러한 유연한 작업은 6시간 안에 실행 대상으로 검색되도록 보장되어 큐에 배치됩니다. 즉시 사용할 수 있는 실시간 AI 패턴즉시 사용 가능한 패턴을 통해 사용 설정된 Dataflow의 실시간 AI 기능은 인간에 가까운 지능으로 방대한 이벤트에 대해 실시간 대응을 지원합니다. 고객은 예측 분석 및 이상 감지부터 실시간 맞춤설정 및 기타 고급 분석 사용 사례에 이르는 지능형 솔루션을 빌드할 수 있습니다. 모든 특징 보기 고객 Dataflow를 사용하는 고객에게 배우기새로운 소식 새로운 소식Dataflow Prime 미리보기 가입하기 문서 문서Dataflow를 사용한 서버리스 데이터 처리: 기초Dataflow에 대해 알아야 할 모든 것에 대한 기초 학습. Dataflow 빠른 시작: Python 사용Google Cloud 프로젝트와 Python 개발 환경을 설정하고, Apache Beam Python SDK를 설치하고, Dataflow 서비스에서 WordCount 예시를 실행하고 수정합니다. Dataflow SQL 사용Dataflow SQL UI에서 쿼리를 실행할 수 있도록 SQL 쿼리를 생성하고 Dataflow 작업을 배포합니다. Apache Beam SDK 설치Dataflow 서비스에서 파이프라인을 실행할 수 있도록 Apache Beam SDK를 설치합니다. Apache Beam과 TensorFlow를 사용한 머신러닝Apache Beam, Dataflow, TensorFlow를 사용하여 분자 에너지 머신러닝 모델을 사전 처리하고, 학습시키고, 예측합니다. 자바를 사용한 Dataflow 단어 수 가이드이 가이드에서는 Apache Beam 자바 SDK를 사용하여 간단한 예시 파이프라인을 실행하여 Cloud Dataflow 서비스의 기본사항을 알아봅니다. 실무형 실습: Google Cloud Dataflow를 사용한 데이터 처리Python 및 Dataflow를 사용하여 실시간 텍스트 기반 데이터 세트를 처리한 후 BigQuery에 저장하는 방법을 알아보세요. 실무형 실습: Pub/Sub 및 Dataflow를 사용한 스트림 처리Dataflow를 사용하여 Pub/Sub 주제에 게시된 메시지를 읽고, 타임스탬프로 메시지의 기간을 설정하고, Cloud Storage에 메시지를 작성하는 방법을 알아보세요. Dataflow 리소스가격 책정, 리소스 할당량, FAQ 등에 대한 정보를 찾아보세요. 사용 사례 사용 사례사용 사례 스트림 분석 Google의 스트림 분석을 사용하면 데이터를 체계적으로 정리하여 유용하게 사용할 수 있을 뿐만 아니라 데이터가 생성되는 즉시 활용할 수 있습니다. Pub/Sub 및 BigQuery와 함께 Dataflow를 기반으로 한 이 스트리밍 솔루션은 실시간 비즈니스 분석 정보를 위해 볼륨 변동이 심한 실시간 데이터를 수집, 처리, 분석하는 데 필요한 리소스를 프로비저닝합니다. 이렇게 추상화된 프로비저닝 덕분에 복잡성이 줄어들고 데이터 분석가와 데이터 엔지니어가 모두 스트림 분석을 이용할 수 있습니다. 사용 사례 실시간 AI Dataflow는 Google Cloud의 Vertex AI와 TensorFlow Extended(TFX)에 스트리밍 이벤트를 제공하여 예측 분석, 사기 감지, 실시간 맞춤설정과 기타 고급 분석 사용 사례를 가능하게 합니다. TFX는 Dataflow와 Apache Beam을 분산 데이터 처리 엔진으로 사용하여 ML 수명 주기의 여러 부분을 가능하게 하며, 이는 모두 Kubeflow 파이프라인을 통해 ML을 위한 CI/CD로 지원됩니다. 사용 사례 센서 및 로그 데이터 처리 지능형 IoT 플랫폼으로 글로벌 기기 네트워크에서 유용한 비즈니스 분석 정보를 얻으세요. 모든 특징 모든 특징
가격 책정 가격 책정Dataflow 작업의 요금은 Dataflow 일괄 또는 스트리밍 작업자가 실제 사용한 리소스에 따라 초 단위로 청구됩니다. Cloud Storage 또는 Pub/Sub과 같은 추가 리소스의 요금은 해당 서비스의 가격 책정에 따라 각각 청구됩니다. 파트너 파트너 솔루션 탐색모든 규모의 데이터 처리 작업을 강력하고 쉽고 빠르게 수행할 수 있도록 Google Cloud 파트너가 Dataflow와의 통합 기술을 개발했습니다. Cloud AI 제품은 SLA 정책을 준수하며 지연 시간이나 가용성 보장 측면에서 여타 Google Cloud 서비스와는 차이가 있을 수 있습니다.
다음 단계 수행$300의 무료 크레딧과 20여 개의 항상 무료 제품으로 Google Cloud에서 빌드하세요. 다음 단계 수행다음 프로젝트를 시작하고 대화형 튜토리얼을 살펴보며 계정을 관리하세요.
[{ "type": "thumb-down", "id": "hardToUnderstand", "label":"이해하기 어려움" },{ "type": "thumb-down", "id": "incorrectInformationOrSampleCode", "label":"잘못된 정보 또는 샘플 코드" },{ "type": "thumb-down", "id": "missingTheInformationSamplesINeed", "label":"필요한 정보/샘플이 없음" },{ "type": "thumb-down", "id": "translationIssue", "label":"번역 문제" },{ "type": "thumb-down", "id": "otherDown", "label":"기타" }] [{ "type": "thumb-up", "id": "easyToUnderstand", "label":"이해하기 쉬움" },{ "type": "thumb-up", "id": "solvedMyProblem", "label":"문제가 해결됨" },{ "type": "thumb-up", "id": "otherUp", "label":"기타" }] |