- GPU 활용 효율 높이는 AI 추론 최적화 전략… 서비스 성능 개선 방안 제시- ‘콘체르토 AI’ 분산 추론 기술로 동일 GPU 환경서 처리량 62.8% 향상- 넷앱 스토리지 연계로 AI 모델 가중치 로딩 시간 71초에서 8초로 단축 인공지능(AI) 인프라 소프트웨어 전문 기업 오케스트로(대표 김범재·김영광)가 그래픽처리장치(GPU) 활용도를 높이고 AI 서비스 성능을 개선하기 위한 추론 인프라 최적화 전략을 공개한다. 오케스트로는 오는 10월 27일 오후 2시 ‘AI 서비스 성능 개선, GPU부터 더 사야 할까?’를 주제로 온라인 웨비나를 개최한다고 26일 밝혔다. 최근 생성형 AI가 산업 전반으로 확산되면서 모델 학습뿐만 아니라 추론(Inference)과 실제 서비스 운영의 중요성이 커지고 있다. 기업들이 GPU 확보에 투자를 늘리고 있지만, 실제 AI 서비스 운영 과정에서는 낮은 GPU 활용률과 응답 지연, 비용 부담 등의 과제가 여전히 남아 있다. 특히 에이전틱 AI(Agentic AI)가 확산되면서 하나의 작업을 수행하기 위해 AI 모델을 여러 차례 호출하는 사례가 늘고 있다. 이 과정에서 입력 처리와 답변 생성이 동일한 GPU 자원을 사용하면 작업 간 경합이 발생해 응답이 지연될 수 있다. 이를 해결하기 위해서는 추론 과정의 병목 현상을 줄이고 GPU 자원을 효율적으로 운영하는 기술이 요구된다. 이번 웨비나에서는 AI 추론 인프라의 주요 당면 과제를 살펴보고, 오케스트로의 ‘콘체르토 AI(CONCERTO A.I.)’를 활용한 분산 추론 및 GPU 자원 최적화 방안과 실제 성능 검증 결과를 소개할 예정이다. ‘콘체르토 AI’는 대규모 언어모델(LLM)의 입력 처리(Prefill)와 답변 생성(Decode) 단계를 분리해 GPU 자원 간 경합을 줄이고 추론 성능을 최적화하는 AI 추론 운영 플랫폼이다. 복잡한 추론 인프라의 구축과 배포를 자동화하고, 성능 모니터링 기능을 통합 제공해 AI 서비스의 운영 효율을 높인다. 성능 검증 결과, 콘체르토 AI는 기존 모델 서빙 방식과 동일한 GPU 자원을 사용하면서도 고부하 환경에서 처리량을 62.8% 높이고, 토큰 생성 지연을 52.1% 줄인 것으로 나타났다. 이와 함께 넷앱(NetApp)의 스토리지 기술을 연계한 AI 인프라 최적화 성과도 공개한다. GPU 다이렉트 스토리지(GPUDirect Storage, GDS) 기반 KV 캐시 오프로딩으로 GPU 메모리 부담을 줄이고 동시 사용자 처리 효율을 높인 사례를 소개한다. 모델 로딩 최적화를 통해 AI 모델 가중치 로딩 시간을 기존 71초에서 8초로 줄였으며, 기동 과정 최적화로 신규 서버의 서비스 투입 시간도 187초에서 80초로 단축했다. 오케스트로는 콘체르토 AI를 통해 기업의 AI 서비스 개발부터 운영까지 지원하고, 인프라 운영 효율을 높여갈 계획이다. 추론 최적화를 기반으로 AI 개발 환경과 모델 운영·관리, 통합 모니터링까지 기능을 확장하고, 엔비디아 GPU와 국산 NPU 등 다양한 하드웨어를 지원해 기업의 독립적인 AI 인프라 운영도 뒷받침할 방침이다. 오케스트로 그룹은 소버린 AI 인프라 분야에서도 협력을 확대하고 있다. 계열사인 오케스트로 클라우드는 퓨리오사AI, 업스테이지 등 4개 사와 업무협약(MOU)을 체결하고, 국산 NPU 기반 ‘소버린 AI 풀스택 어플라이언스’ 공동 개발을 추진하고 있다. 웨비나는 10월 27일 오후 2시부터 올쇼TV를 통해 온라인으로 진행된다. 참가비는 무료이며, 사전 등록 후 참여할 수 있다. 김범재 오케스트로 대표는 “AI 시대에는 GPU를 얼마나 많이 확보하느냐보다 보유한 자원의 성능을 최대한 끌어내는 운영 역량이 중요해지고 있다”며 “이번 웨비나에서는 콘체르토 AI의 기술력과 성능 검증 결과를 공유하고, 기업들이 GPU 투자 효과를 높이고 AI 서비스를 안정적으로 운영할 수 있도록 실질적인 해법을 제시하겠다”고 말했다.

- 오케스트로 AI 인프라 풀스택 소프트웨어와 넷앱 데이터 오케스트레이션 역량 결합- GPU 기반 AI 추론·대규모 데이터 파이프라인·고성능 스토리지 통합 검증- Active-Active DR 기반 서비스 연속성 강화… 국내 AI·클라우드 시장 공략 AI 인프라 소프트웨어 전문 기업 오케스트로(대표 김범재, 김영광)가 지능형 데이터 인프라 기업 넷앱(NetApp)과 AI 추론 및 재해 복구(DR) 역량 강화를 위한 업무협약(MOU)을 체결했다고 22일 밝혔다. 기업의 AI 도입이 시범(파일럿) 단계를 넘어 실제 운영 단계로 진입함에 따라 안정적인 AI 추론 환경 구축의 중요성이 커지고 있다. GPU 등 연산 자원 확보는 물론 대규모 데이터를 신속히 처리·분석하고 안전하게 보호하는 데이터 인프라, 예기치 못한 장애에 대응하는 재해 복구 체계 확보가 핵심 과제로 떠올랐다. 이번 협약은 이 같은 기업용 AI 서비스 운영 과제에 대응해 오케스트로의 AI 인프라와 넷앱의 데이터 인프라를 하나의 아키텍처로 통합하기 위해 추진됐다. 양사는 오케스트로가 보유한 AI 인프라 풀스택 소프트웨어 기술에 넷앱의 데이터 오케스트레이션 및 엔터프라이즈급 재해 복구 역량을 결합해 데이터 파이프라인을 가속화하고, AI 추론 서비스 운영에 최적화된 통합 아키텍처를 공동 개발할 계획이다. 오케스트로 김범재 대표는 “AI가 실제 산업 현장으로 확산되면서 기업들은 AI 추론 성능뿐 아니라 데이터 안정성, 서비스 연속성까지 함께 확보해야 하는 과제를 안고 있다”며 “이번 협약을 통해 오케스트로의 AI 인프라 풀스택 소프트웨어 기술과 넷앱의 데이터 인프라 전문성을 결합해 기업 고객이 AI 서비스를 안정적으로 운영할 수 있는 통합 아키텍처를 구현해 나가겠다”고 말했다. 유재성 한국넷앱 대표는 “기업들은 AI 도입을 확대하고자 하지만 성능과 비용 효율성 간 균형을 맞춰야 하는 부담을 안고 있다”며 “넷앱은 AI에 최적화된 데이터 관리 역량 포트폴리오를 바탕으로 기업이 워크로드에 따라 인프라를 유연하게 구성하고 비용을 최적화할 수 있는 견고한 데이터 기반을 구축하도록 지원하고 있다”고 말했다. 이어 “오케스트로와의 협력은 기업이 엔터프라이즈 AI를 확장할 수 있도록 지원하겠다는 넷앱의 의지를 보여준다”며 “고성능 AI 워크로드를 지원하고, 거버넌스가 적용된 안전한 데이터에 즉시 접근할 수 있도록 하며, 운영 안정성과 데이터 보호를 보장하는 지능형 데이터 인프라를 통해 기업의 AI 확장을 지원할 것”이라고 덧붙였다. 오케스트로는 서버 가상화 솔루션 ‘콘트라베이스(CONTRABASS)’, 클라우드 네이티브 운영 관리 플랫폼 ‘비올라(VIOLA)’, AI 추론 운영 플랫폼 ‘콘체르토 AI(CONCERTO A.I.)’를 기반으로 AI 인프라 운영에 필요한 풀스택 소프트웨어를 제공한다. 이를 통해 AI 서비스 구현부터 인프라 운영, 추론 관리, 통합 관제까지 지원하며, 고객은 AI 서비스와 클라우드 인프라, 데이터 인프라를 하나의 운영 체계 안에서 통합 관리할 수 있다. 넷앱은 데이터 관리 역량 포트폴리오를 바탕으로 AI 데이터 파이프라인의 효율적이고 안정적인 운영을 지원한다. 오케스트로는 API 기반 연동을 통해 넷앱 스토리지의 주요 기능을 자사 플랫폼과 통합할 예정이다. 넷앱은 플랫폼 통합을 위한 테스트용 하드웨어와 전담 엔지니어링 지원을 제공한다. 이번 협약에 따라 양사는 ▲넷앱 테크놀로지 얼라이언스 프로그램(NetApp Technology Alliance Program) 기반 AI·데이터 인프라 통합 생태계 공동 개발 ▲GPU 가속 기반 AI 추론, 대규모 데이터 파이프라인, 고성능 스토리지 통합 및 복원력 검증 ▲기업용 AI·클라우드 구축을 위한 Active-Active DR 참조 아키텍처 및 운영 모델 수립 ▲국내외 시장 대상 공동 GTM(Go-to-Market) 전략 수립 등을 추진한다. 이를 통해 양사는 AI 추론 서비스 운영에 최적화된 데이터 인프라 환경을 마련하고, Active-Active 기반 재해 복구(DR) 환경 구축을 지원해 고객의 비즈니스 연속성과 데이터 안정성을 강화할 계획이다. 나아가 국내 AI·클라우드 시장의 디지털 혁신과 관련 산업 생태계 발전에 기여할 예정이다. 오케스트로는 넷앱과의 기술 연계를 기반으로 AI 인프라부터 데이터 관리, 재해 복구까지 통합 지원하는 AI 인프라 풀스택 소프트웨어 사업을 확대해 나갈 방침이다.

- 2,000명‧20여 곳 후원사 참여… 7월 28일 코엑스 오디토리움서 개최- 오케스트로 4.0 공개… AI 인프라 풀스택 솔루션 ‘대대적 혁신’- 중앙정부·공공기관·대기업·글로벌 IT 기업 주요 관계자 한자리에 AI 시대 클라우드의 새로운 질서를 조망하는 대규모 컨퍼런스가 열린다. AI·클라우드 소프트웨어 기업 오케스트로 그룹(의장 김민준)은 오는 7월 28일 서울 삼성동 코엑스 3층 오디토리움에서 테크 컨퍼런스 ‘OPUS 2026’을 개최한다고 2일 밝혔다. OPUS는 오케스트로 그룹이 매년 개최하는 기술 컨퍼런스로, AI와 클라우드 산업의 기술 흐름을 짚고 최신 솔루션 전략을 공유하는 자리다. 올해 행사는 2000명 규모로 진행되며, 국내외 기업 20여 곳이 후원사로 참여한다. 특히 이번 행사에는 주요 정부 부처와 공공기관을 비롯해 대기업, 글로벌 IT 기업 관계자들이 참석해 AI 시대 클라우드와 인프라 혁신 방향을 논의할 예정이다. 이번 컨퍼런스의 주제는 ‘WE GENERATE CLOUD’다. 오케스트로 그룹은 현장에서 ‘오케스트로 4.0’을 공개하고, 그룹의 AI 인프라 풀스택 솔루션 체계를 전개하여 클라우드 운영 기준을 제시할 방침이다. 행사는 ▲키노트 ▲테크 세션 ▲고객사 발표 ▲테크 토크(Tech Talk) ▲전시 부스 ▲이벤트 등으로 구성되며, AI‧클라우드 전환 전략과 실제 적용 사례를 폭넓게 다룰 예정이다. 행사는 김범재 오케스트로 대표의 환영사와 글로벌 기술·산업 생태계를 이끄는 국내외 주요 인사들의 축사로 막을 연다. 이어 김민준 의장과 김영광 오케스트로 대표가 첫 번째 키노트 연사로 나서 ‘생성의 시대, 다시 쓰는 클라우드의 질서’를 주제로 발표한다. 첫 번째 테크 세션은 ‘AI 시대를 여는 클라우드 인프라 전략’을 주제로 마련된다. 오케스트로는 서버 가상화 솔루션 ‘콘트라베이스(CONTRABASS)’, 클라우드 네이티브 운영관리 플랫폼 ‘비올라(VIOLA)’, AI 추론 운영 플랫폼 ‘콘체르토 AI(CONCERTO A.I.)’를 중심으로 AI 워크로드 확대에 대응하는 클라우드 인프라 운영 전략과 기술 방향을 소개한다. 박소아 오케스트로 클라우드 대표는 두 번째 키노트에서 ‘AI 시대의 클라우드 네이티브와 DR 전략’을 발표한다. 박 대표는 국가 AI 전략, 클라우드 네이티브 전환의 필요성, 재해복구 전략 및 로드맵을 짚고, 대구 PPP 기반 민관협력 클라우드 서비스를 통해 한국교통안전공단과 KTC 등 기관의 클라우드 네이티브 전환 성공 사례를 소개할 예정이다. 이후 두 번째 테크 세션에서는 ‘의도를 현실로 연결하는 실행 체계’를 주제로 진행된다. 오케스트로는 이 자리에서 ‘오케스트로 CMP(OKESTRO CMP)’와 데브옵스 솔루션 ‘트럼본(TROMBONE)’을 통해 고객의 의도를 클라우드 운영과 서비스 개발, 데이터 활용으로 연결하는 방안을 다룬다. 행사의 마지막을 장식할 테크 토크(Tech Talk)는 ‘AI가 만들어내는 새로운 가능성’을 주제로 열린다. 해당 세션에서는 생성형 AI 솔루션 ‘클라리넷(CLARINET)’을 중심으로 생성형 AI가 기업의 의사결정과 업무 방식, 클라우드 운영 체계에 가져올 변화를 조망하고, AI 시대 클라우드가 나아갈 방향을 논의한다. 이번 행사에는 업스테이지, KT클라우드, 휴렛팩커드 엔터프라이즈(HPE), 넷앱(NetApp), 빔(Veeam), 티맥스티베로, CIQ, 블루어드(Blueward), KAYTUS, 엔텔스 등을 비롯해 국내외 주요 기업 20여 곳이 후원사로 참여한다. 후원사들은 행사장 내 전시 부스와 체험 프로그램을 통해 AI 인프라, 클라우드, 데이터, 보안, 재해복구 등 최신 기술과 솔루션을 소개할 예정이다. 참관객을 위한 풍성한 현장 이벤트도 마련된다. 오케스트로 그룹은 행사장 방문객에게 ‘OPUS 2026’ 한정판 굿즈를 제공하며, 전시 부스 방문 이벤트 참여자에게는 다양한 기념품을 증정한다. 이 밖에도 여름휴가 시즌을 겨냥한 럭키드로우를 통해 해외 왕복 항공권을 비롯해 세라젬 안마의자, 삼성 에어컨, LG 스타일러, 다이슨 선풍기, 에어팟 맥스 등 푸짐한 경품을 제공할 예정이다. 오케스트로 그룹 김민준 의장은 “AI 시대의 경쟁력은 단순히 어떤 AI 모델을 선택하느냐가 아니라, 이를 안정적으로 운영하고 확장할 수 있는 인프라 역량에서 결정된다”며 “OPUS 2026을 통해 ‘오케스트로 4.0’이 제시하는 AI 인프라 풀스택 전략과 클라우드의 새로운 질서를 공유하고, 고객과 파트너가 함께 AI 전환의 방향을 모색하는 뜻깊은 자리가 되기를 기대한다”고 밝혔다. OPUS 2026의 사전 등록은 행사 공식 홈페이지에서 가능하다.

미국에서 가장 일하기 좋은 직장은 어디일까? 미국 경제전문지 포천은 최근 미국 최고의 직장 100곳을 선정해 발표했다. 2006년 부터 시작된 이 조사에서 세계 최대 인터넷 업체 구글이 2년 연속 최고의 직장으로 선정됐다. 포천 보도에 따르면 지금까지 무려 4번이나 1위를 차지한 구글은 올해에도 종합 복지관 3곳과 체육관 7곳을 새로 만드는 등 복지부분에 투자를 계속한다고 밝혔다. 구글은 미국내 직원 수만 5만 3천여명이며 현재 700여명을 신규채용하고 있는데 직원 복지는 타의 추종을 불허하는 것으로 알려져 있다. 2위~5위는 SAS(비즈니스 분석 소프트웨어 업체), CHG헬스케어서비스(헬스케어 업체), 보스턴 컨설팅그룹(컨설팅 없체), 웨그먼스 푸드마켓(슈퍼마켓 체인) 였고 넷앱(스토리지솔루션 업체), 힐코프에너지컴퍼니(에너지 업체), 에드워드 존스(금융회사), 얼티메이트 소프트웨어(인적자원관리 SW업체), 캠든 프라퍼티 트러스트(부동산 투자업체) 등이 6~10위를 차지했다. 인터넷 뉴스팀