스노우플레이크, 엔터프라이즈급 파이프라인·모델·AI 기반 앱 구축까지 엔드-투-엔드 지원
뉴스포커스
0
28
06.06 02:50
서울--(뉴스와이어)--글로벌 AI 데이터 클라우드 기업 스노우플레이크(Snowflake)가 현지시간 6월 3~6일 미국 샌프란시스코에서 열리고 있는 스노우플레이크 서밋 2024에서 개발자들이 데이터를 활용해 엔터프라이즈급 파이프라인과 모델, 애플리케이션까지 엔드-투-엔드 개발을 더욱 빠르게 할 수 있는 새로운 기능을 발표했다.
스노우플레이크 제프 홀란(Jeff Hollan) 애플리케이션 및 개발자 플랫폼 부문장은 “스노우플레이크는 전 세계 수천 명의 개발자들이 선호하는 플랫폼이다. 새롭게 선보인 기능은 개발자가 기존의 엔터프라이즈 데이터로 익숙하면서도 더 많은 경험을 하도록 지원하며 AI 데이터 클라우드에서 개발자의 한계를 계속해서 넘어서고 있다”며 “개발자는 스노우플레이크의 뛰어난 확장성과 성능, 거버넌스를 바탕으로 유용한 LLM (대규모언어모델) 기반 애플리케이션을 손쉽게 개발하고 궁극적으로 더 많은 사용자들이 AI를 사용할 수 있게 된다”고 말했다.
AI 개발을 가속화하는 스노우플레이크의 속도와 간편성
애플리케이션 프로토타입에서 배포까지 걸리는 기간을 단축하기 위해 노력하는 가운데, 스노우플레이크는 개발자가 높은 성능의 데이터 제품을 생산할 수 있는 플랫폼으로 자리 잡고 있다. 개발자는 스노우플레이크의 동적 테이블(Dynamic Tables)과 스노우파이프 스트리밍(Snowpipe Streaming)을 함께 사용해 낮은 레이턴시 기반의 데이터 파이프라인을 활성화하고 AI 및 머신러닝 모델을 생성할 수 있다. 현재 2900여 고객사가 평균 20만 개 이상의 동적 테이블을 실행해 운영 데이터 파이프라인을 구축·관리하고 있다.
스노우플레이크는 개발자가 AI 데이터 클라우드 환경에서 보유하고 있는 데이터로 AI 개발 시간을 줄일 수 있는 다양한 방법을 제공한다. 스노우플레이크 노트북(Snowflake Notebooks, 퍼블릭 프리뷰)은 스노우파크 ML(Snowpark ML), 스트림릿(Streamlit), 스노우플레이크 코텍스 AI(Snowflake Cortex AI) 등 모든 스노우플레이크 플랫폼과 네이티브 통합이 됐으며, 단일 개발 인터페이스 제공으로 파이썬, SQL, 마크다운(Markdown) 개발이 간편해진다. 개발자는 스노우플레이크 노트북으로 ML 파이프라인을 실험 및 반복 적용하고, AI 기반 편집 기능을 활용해 데이터 엔지니어링 워크플로우를 단순화하는 등 생산성과 협업 개발에서의 효율을 높일 수 있다.
AI 개발자 플랫폼 웨이트앤바이어스(Weights & Biases) 루카스 비월드(Lukas Biewald) 공동 창립자 겸 CEO는 “스노우플레이크 노트북에서 웨이트앤바이어스의 실험 추적 결과를 쉽게 통합할 수 있게 됐다. 스노우플레이크 데이터에 대해 중앙화되고 안전한 액세스와 컴퓨팅으로 사용자는 ML 모델링과 데이터 엔지니어링 및 분석을 익숙하고 직관적이며 높은 성능의 노트북 스타일 포맷으로 수행할 수 있다”며 “이 기능을 통해 고객이 실험 과정을 단축할 수 있을 것으로 기대한다”고 말했다.
스노우파크 판다스 API(Snowpark pandas API, 퍼블릭 프리뷰) 또한 추가됐다. 파이썬 개발자들이 선호하는 판다스 구문을 사용해 보다 수준 높은 AI와 파이프라인 개발을 지원하고 스노우플레이크의 성능과 확장성 및 실행을 위한 거버넌스를 활용할 수 있도록 한다.
새로운 데브옵스(DevOps)와 관측 기능으로 여는 선언적 개발 시대
스노우플레이크는 데브옵스에 데이터 중심적인 접근으로 단일 플랫폼 내에서 개발·운영·데이터 관리를 원활하게 통합하고 개발 과정을 간소화한다. 스노우플레이크는 복잡한 워크플로우를 한 줄씩 스크립팅하는 것 대신, 코드형 인프라스트럭처 규칙으로 데이터 파이프라인의 원하는 상태를 정의함으로써 새로운 데이터베이스 변경 관리(퍼블릭 프리뷰) 기능에 있어 선언적(declarative) 개발 방식을 우선으로 채택한다. 이제 데이터 엔지니어와 개발자는 스노우플레이크의 새로운 깃통합(Git integration, 퍼블릭 프리뷰)으로 팀 간 협업을 강화하고 다양한 환경에 배포하는 시간을 단축할 수 있다. 곧 정식 출시될 스노우플레이크의 파이썬 API(Python API)는 리소스를 효율적으로 관리하고, 오픈소스 스노우플레이크 CLI(Snowflake CLI)는 단일 인터페이스로 사용해 CI/CD 파이프라인을 관리할 수 있다.
스노우플레이크 트레일(Snowflake Trail)도 공개됐다. 통합적인 가시성을 제공해 개발자가 워크플로우를 쉽게 모니터링하고 문제 해결 및 최적화할 수 있도록 한다. 데이터 품질, 파이프라인 및 애플리케이션에 대한 가시성도 향상된다. 스노우플레이크는 스노우파크(Snowpark) 및 스노우파크 컨테이너 서비스(Snowpark Container Services)를 위해 내장된 텔레메트리(원격 측정) 신호를 제공한다. 사용자는 에이전트를 수동으로 설정하거나 데이터를 전송할 필요 없이 매트릭스, 로그, 분산 추적을 활용해 오류를 쉽게 진단하고 디버깅할 수 있다. 오픈 텔레메트리 표준으로 구축돼 개발자는 스노우사이트(Snowsight)에서 자체적으로 작업하는 것은 물론 그라파나(Grafana), 메타플레인(Metaplane), 페이저듀티(PagerDuty), 슬랙(Slack) 등의 플랫폼과도 통합할 수 있다. 몬테카를로(Monte Carlo)나 옵저브(Observe)와 같은 관측 기능 플랫폼과도 협력해 고객에게 엔드 투 엔드 통합 관측 기능을 제공한다.
AI 데이터 클라우드에서 AI 기반 앱을 제품화하고 비즈니스를 성장시키는 방법
최근 IDC 설문조사에 따르면 AI 애플리케이션은 2023년 AI 소프트웨어의 가장 큰 카테고리로 떠오르며 시장 전체 매출의 절반을 차지하고 있는 것으로 나타났다.
스노우플레이크는 기업들이 정교한 애플리케이션을 더욱 원활하게 구축 및 출시할 수 있도록 스노우파크 컨테이너 서비스(AWS 기반, 퍼블릭 프리뷰)와 스노우플레이크 네이티브 앱 프레임워크(Snowflake Native App Framework)의 통합을 발표했다. 이번 통합으로 기업은 다양한 분야에 맞춰 구성 가능한 GPU 및 CPU 인스턴스로 컴퓨터 비전 자동화, 지리 공간 데이터 분석, 기업용 ML 애플리케이션 등 AI 데이터 클라우드에 구축할 수 있는 애플리케이션의 범위와 종류를 확장할 수 있다.
애플리케이션 개발자는 AI 기반 스노우플레이크 네이티브 앱을 구축하고, 스노우플레이크 마켓플레이스를 통해 다양한 클라우드 환경과 전 세계 수천 명의 스노우플레이크 고객에게 앱을 배포할 수 있다. 현재 스노우플레이크 마켓플레이스에서는 2024년 4월 30일 기준 총 160개 이상의 스노우플레이크 네이티브 앱을 확인할 수 있다. 세계 최대 규모의 기업들은 새로운 수익원인 스노우플레이크 네이티브 앱을 배포하며, 앱의 수익화와 조달을 가속하기 위해 스노우플레이크 마켓플레이스를 유통 플랫폼으로 활용하고 있다. 또한 수백 개의 스타트업이 스노우플레이크를 기반으로 전체 비즈니스를 구축하고 있으며, 막사(Maxa), 마이 데이터 아울렛(My Data Outlet), 릴레이셔널AI(RelationalAI) 등의 제공 업체는 스노우플레이크 마켓플레이스에서 수백만 달러의 수익을 창출하고 있다.
AI 코프로세서·챗봇 개발 업체 릴레이셔널AI(RelationalAI)의 몰함 아레프(Molham Aref) 창립자 겸 CEO는 “스노우플레이크 컨테이너 서비스로 구축한 스노우플레이크 네이티브 앱 출시 이후 고객 관심도가 5배 증가했고, 영업 프로세스는 훨씬 간소화됐다”며 “수개월에 거쳐 진행하던 아키텍처, 보안, 구매 검토 작업을 이제 단 며칠 만에 완료할 수 있게 됐다. 마켓플레이스 용량 축소 프로그램(Marketplace Capacity Drawdown Program)을 통해 스노우플레이크 플랫폼에서 스노우플레이크 네이티브 앱을 수익화할 수 있어 고객의 참여도 또한 높아졌다. 스노우플레이크와의 파트너십은 고객에게 높은 가치를 제공함은 물론, 캐시 앱(Cash App)과 같은 기업이 이전에는 할 수 없던 데이터에서 중요한 인사이트를 파악하는 것도 가능해졌다”고 말했다.
더 알아보기
· 개발자가 데이터 파이프라인, 애플리케이션 및 ML 모델을 구축하는 자세한 방법은 블로그에서 확인할 수 있다.
· 스노우플레이크가 AI 데이터 클라우드 환경에서 구축 및 배포할 수 있는 애플리케이션 유형은 블로그에서 확인할 수 있다.
· 스노우플레이크 공식 링크드인과 X에서 최신 뉴스와 공지사항을 확인할 수 있다.
