작년 딥시크 쇼크를 몰고 왔던 중국 AI 기업 딥시크가 기업공개(IPO)를 앞두고 새로운 모델인 ‘딥시크 V4.1 플래시’를 공개했습니다. 지난 10일 허깅페이스 등에 공개된 새 모델은 총 7180억개의 파라미터(5520억개의 기본 파라미터+1960억개의 N-gram)를 사용하지만, 2.8조개로 훨씬 파라미터가 큰 ‘Kimi K3’는 물론 서구의 주요 AI 모델과 견줄 만한 성능을 지니고 있습니다. 출시와 같이 공개된 벤치마크를 보면 딥시크 V4.1 플래시는 Terminal-Bench 2.1에서 90.6점을 기록해 GPT 5.6 Sol의 88.8점이나 클로드 오푸스 5의 89.1점을 넘어서고 자사의 기존 플래그십 모델인 딥시크 V4.0 프로의 87.9점도 넘어서고 있습니다. 물론 모든 벤치마크 결과에서 앞서는 건 아니고 주로 코딩 및 에이전트, 사이버 보안 등에 강한 모습을 보이지만, 모델 크기와 사양을 생각하면 V4.0 플래시 버전과 비교해도 괄목할 만한 성장을 이뤄냈습니다. 하지만 진짜 놀라운 부분은 가격입니다. 딥시크는 올해 저렴한 가격과 쓸 만한 성능을 무기로 시장에 파란을 몰고 왔습니다. 하지만 사용자가 몰리면서 지난 8월 가격을 대폭 인상했는데, 불과 한 달 만에 모델 성능을 대폭 끌어올리면서 가격을 낮췄습니다. 딥시크 V4.1 플래시의 가격은 백만 토큰당 기준 피크 시간대 입력 0.3달러, 출력 1.2달러, 캐시 히트 입력 0.006달러, 일반 시간대 입력 0.15달러, 출력 0.6달러, 캐시 히트 입력 0.003달러로 일부 프런티어 모델 대비 86배나 저렴하다는 것이 딥시크의 주장입니다. 당초 가격을 올린 이유로 지목된 것은 연산 자원 대비 사용자가 너무 몰리면서 감당이 어려워졌기 때문으로 풀이됐습니다. 특히 새로운 모델이 개발될수록 보통 파라미터 크기가 커지면서 메모리와 연산 자원이 더 필요하기 때문에 가격을 올릴 수밖에 없을 것으로 여겨졌습니다. 하지만 딥시크는 V4.1 플래시에서 아키텍처를 대폭 혁신하고 메모리와 연산 자원 사용량을 극단적으로 줄이면서도 모델 성능을 높이는 데 성공해 경제성을 확보했습니다. 모델 파라미터 크기는 V4.0 플래시가 2840억 개로 사실 V4.1 플래시가 기본 모델만 두 배에 가깝고 N-gram 추가 메모리까지 합치면 2.6배는 큰 편입니다. 하지만 V4.1 플래시는 CED(Causal Encoder-Decoder)라는 아키텍처를 사용해 긴 프롬프트/컨텍스트 읽기 과정에서는 인코더 20층에 80억개의 파라미터만 사용하고 응답을 생성하는 디코더는 40층 160억 개를 다 사용해 에이전트·코딩처럼 입력이 출력보다 훨씬 긴 작업에서는 오히려 연산량이 적을 수 있습니다. 또 SWA Bounded Replay, CSA2, FP4 KV 캐싱(caching) 같은 여러 기술을 사용해 KV 캐시의 양을 극적으로 줄여 V4.0 플래시 대비 약 4분의1로 줄였습니다. 이는 HBM 같은 고가 메모리의 의존도를 크게 낮춰 비용을 절감할 수 있습니다. N-gram 임베딩 기술은 알리바바의 Qwen 3.8 플래시 넥스트 같은 다른 중국산 AI 모델에서도 도입한 기술로 자주 쓰는 관용구를 사전처럼 저장했다가 불러 쓰기 때문에 일반 D램에 저장해도 되고 모델의 응답 속도를 매우 빠르게 만들 수 있습니다. 이와 같은 아키텍처 혁신을 통해 연산 자원과 메모리를 최대한 아끼면서 토큰 생성량과 성능을 극대화한 것이 V4.1 플래시에서 오히려 가격을 낮춘 비결로 풀이됩니다. 하지만 이 가격에 서비스하면서도 손익분기점을 넘었는지는 여전히 의문입니다. 딥시크는 비상장 기업으로 정확한 재무 상태를 알기 어렵지만, 현재까지는 적자인 것으로 알려져 있습니다. 아무리 효율성 좋은 모델을 사용해도 경쟁자와 비교해서 매우 저렴한 가격에 제공하고 있기 때문에 수익을 내긴 쉽지 않은 구조입니다. 매번 서구 모델 대비 저렴한 가격을 무기로 내세웠지만, 역설적으로 저렴하지 않으면 안 되는 사업 모델이 약점이 될 수 있습니다. 딥시크 V4.1 플래시는 연산 자원 효율화라는 관점에서는 놀라운 기술적 진보를 보여줬지만, 결국 장기적으로 보면 기술 혁신보다 수익화에 성공할 수 있을지가 실제 몸값을 결정할 것입니다. 앞서 가격 인상도 상장을 앞두고 실적을 좋게 하기 위한 것이라는 평가가 있었는데, 이번에 다시 가격을 낮추고도 실적을 확보할 수 있을지 궁금해지는 대목입니다.

현대적인 반도체 제조 공정은 ‘웨이퍼’라는 동그란 기판을 기반으로 진행됩니다. 최종적인 프로세서나 메모리 등은 웨이퍼에서 사각형 형태로 하나씩 떼어 내서 제조됩니다. 하지만 미국의 인공지능(AI) 반도체 기업 ‘세레브라스 시스템즈’(Cerebras Systems)는 전혀 다른 접근 방법으로 초대형 칩을 개발했습니다. 이들이 개발한 ‘웨이퍼 스케일 엔진’(WSE)은 실리콘 웨이퍼를 자르지 않고 하나의 거대한 프로세서로 사용합니다. 이렇게 하면 기존의 방식으로는 만들 수 없는 거대한 칩을 만들 순 있지만, 대신 제조 과정에서 오류가 난 부분으로 인해 프로세서에 결함이 생길 수 있습니다. 웨이퍼 스케일 엔진의 해결책은 매우 작은 프로세서 코어를 여러 개 만들고 이들을 서로 연결해서 중간에 몇 개 오류가 나더라도 전체 프로세서 기능에는 큰 영향을 미치지 않게 하는 것입니다. 세레브라스 시스템은 최근 ‘WSE-3T’를 공개했습니다. 흥미로운 사실은 2년 전 공개한 WSE-3와 동일한 TSMC 5㎚ 공정을 사용하고 동일한 4조 개의 트랜지스터를 집적했지만, 연산 성능과 대역폭을 대폭 개선했다는 점입니다. WSE-3T의 AI 연산 성능은 125 PFLOPS(희소성 적용 시 250 PFLOPS), 대역폭은 43.2 PB/s로 이전 대비 2배 정도 높아졌습니다. 참고로 WSE-3T 프로세서 하나에는 90만 개의 코어와 44GB의 초고속 SRAM이 통합돼 있습니다. 하지만 더욱 주목할 부분은 프로세서만 공개한 것이 아니라 데이터센터에서 바로 사용할 수 있는 랙 서버 시스템인 CS-4를 함께 공개했다는 것입니다. 각각의 CS-4는 3개의 WSE-3T 프로세서를 장착해 최대 750 PFLOPS의 AI 연산 능력을 지니고 있습니다. 세레브라스의 주장에 따르면 GPT-OSS 120B 모델 기준으로 단일 CS-4 랙이 초당 4400토큰 이상을 생성할 수 있으며, GPU와 비교해 최대 30배 정도 빠른 속도를 보일 수 있다고 합니다. 그러나 CS-4는 단독으로 쓰이기보다 AMD의 헬리오스 AI 랙과 함께 사용하는 것을 염두에 두고 설계됐습니다. 마치 엔비디아의 베라 루빈 시스템과 그록 시스템을 조합한 것과 비슷하게, AMD 그래픽처리장치(GPU)가 AI 연산의 앞 단계인 프리필 단계(입력 프롬프트 처리, 대규모 컨텍스트 윈도우 계산, KV 캐시 생성)를 담당하면, CS-4에 있는 WSE-3T는 최종 출력 단계인 디코드 단계, 즉 토큰 생성을 담당하는 것입니다. 마지막 단계는 메모리 대역폭이 속도에 큰 영향을 미치는데, 아예 프로세서에 메모리가 통합된 WSE-3T가 강점을 지닌 분야입니다. 이렇게 헬리오스 랙과 CS-4 랙으로 AI 파이프라인을 구축하면 전력 대비 토큰 생성 효율을 최대 5배까지 높일 수 있다는 것이 세레브라스의 설명입니다. 이를 통해 비용을 절감하면서도 성능을 최대화할 수 있고 엔비디아의 베라 루빈 + 그록 AI 파이프라인에 대항할 수 있습니다. 현재 AI 시장에서 엔비디아의 위치는 공고해 보이지만, 구글, 아마존, 마이크로소프트 같은 하이퍼스케일러들은 자체 칩을 개발해 엔비디아 의존도와 비용을 줄이기 위해 노력하고 있으며, 경쟁자인 AMD도 시장의 파이를 일부 차지하기 위해 노력하고 있습니다. AMD가 세레브라스와의 협업을 통해 엔비디아의 점유율을 얼마나 빼앗을 수 있을지 주목됩니다.

한때 AI 및 반도체 관련 주식들을 크게 출렁거리게 만든 중국 딥시크(Deepseek)가 새로운 인공지능(AI) 모델인 ‘DeepSeek-V4-Pro-0813’을 출시하면서 가격을 인상했습니다. 새 프로 모델의 가격은 100만 토큰당 일반 입력 3위안, 출력 6위안이며 이전 처리 내용을 재활용하는 캐시 입력은 0.025위안입니다. 그리고 사용자가 몰리면서 응답 시간이 길어지는 피크 시간대(오전 9시~오후 12시, 오후 2~6시) 요금은 일반 입력 9위안, 출력 27위안으로 크게 높아졌습니다. 여기에 저렴한 V4 플래시 모델 역시 피크 시간대 가격을 4배 올리기로 했습니다. 이와 같은 가격 인상은 최근 사용자가 몰리면서 불가피한 결과였다는 분석도 나오고 있습니다. 딥시크는 최신 엔비디아 그래픽처리장치(GPU) 수입이 어려워지면서 H100 기준 2만 개 정도의 연산 자원에 의존해 서비스를 제공해 왔습니다. 그러면서도 서방 모델과 견줄 수 있는 높은 성능과 매우 저렴한 가격을 책정해 사용자가 몰렸습니다. 딥시크는 토큰 소비량 기준으로 구글이나 오픈AI를 넘어섰고 최근엔 월 사용량 기준으로 앤스로픽에 이어 2위를 차지하기도 했습니다. 그 비결은 연산 효율이 뛰어난 모델에 있습니다. 최근 공개한 ‘V4-Flash-0731’의 경우 단 2840억 개의 파라미터만을 가지고 있음에도 불구하고, 수조 개의 파라미터를 가진 것으로 추정되는 앤스로픽 오푸스에 근접한 성능을 제공합니다. 이렇게 제한된 연산 자원으로도 높은 성능의 서비스가 가능했던 비결은 MoE(Mixture of Experts) 구조에 있습니다. MoE는 일부 파라미터만 활성화시켜 연산 자원을 최대한 적게 소모하는 구조로 같은 하드웨어로 더 많은 토큰을 생성할 수 있습니다. V4-Flash-0731의 경우 실제 활성화되는 파라미터는 130억 개 정도에 불과합니다. 여기에 하드웨어 최적화를 위해 어텐션/메모리 최적화로 KV 캐시를 줄였습니다. 또 유료 서비스에서 중요한 에이전트·코딩·도구 사용 성능을 높이기 위해 이에 특화된 사후 훈련(Post-training)으로 성능을 끌어올렸습니다. 그리고 DSpark(speculative decoding) 같은 몇 가지 방식을 더해 제한된 하드웨어에서 성능을 최대로 높일 수 있습니다. 하지만 이것도 사용자가 몰리면서 한계에 부딪힌 상태입니다. 더구나 DeepSeek-V4-Pro-0813은 모델 파라미터가 1.6조 개에 달하고 MoE 구조를 지녔어도 활성 파라미터가 490억 개에 달합니다. 아무리 하드웨어 최적화를 해도 제한된 연산 자원으로 전 세계에서 쏟아지는 수요를 감당하기에는 역부족입니다. 결국 딥시크는 가격을 전체적으로 올리면서 수요를 분산하고, 이렇게 벌어들인 자금으로 추가 연산 자원 확보에 나선 것으로 풀이됩니다. 현재 엔비디아 칩 수입 금지로 인해 딥시크가 선택할 수 있는 대안은 화웨이 GPU입니다. 대표적인 제품은 어센드 950으로 딥시크에 따르면 어센드 950의 4대가 엔비디아 GB 300 한 대의 성능과 비슷하다고 합니다. 참고로 이 GPU에는 CXMT 메모리가 사용됩니다. 앞서 지난 5월 투자자 콜 유출 자료에서 딥시크 창업자 량원펑이 “화웨이가 약 1만 6000개의 Ascend 950 카드를 할당했다”고 말한 것으로 보도된 바 있습니다. 따라서 대략 GB 300 기준 4000장 정도의 연산 자원을 추가로 확보한 것으로 보이는데, 이는 서방의 대규모 하이퍼스케일러와 비교하면 터무니없이 적은 연산 자원입니다. 물론 이렇게 한정된 연산 자원을 지니고도 최적화를 통해 토큰 소비량 2위로 껑충 뛰어오른 점을 생각하면 딥시크가 무시할 수 없는 AI 업계의 다크호스임을 이해할 수 있습니다. 가격 인상 후 딥시크는 실적을 개선한 후 증시에 상장할 것으로 예상됩니다. 현재 내년 상장을 목표로 IPO를 준비 중인 것으로 알려져 있으며 이를 통해 증시에서 막대한 자금을 끌어올 것으로 예상됩니다. 그러면 약점으로 지적되어 온 연산 자원 확보를 위한 실탄도 넉넉히 마련할 수 있습니다. 화웨이 GPU가 같은 성능의 엔비디아 GPU 대비 더 비싼 것으로 알려져 있긴 하나 뛰어난 모델 효율성을 감안하면 충분히 서방 모델과 경쟁할 수 있다는 계산이 깔려 있을 것입니다. 다만 그전에 가격을 인상해도 충분히 사용자를 잡아 둘 수 있는 성능을 보여줘야 합니다. 최근 오픈AI는 GPT 5.6 일부 모델의 가격을 대폭 인하하면서 중국발 저가 AI와 경쟁에 나선 상태이며 키미 K3, 알리바바의 Qwen 같은 중국 내 다른 경쟁자들도 만만치 않은 상대입니다. 딥시크가 다른 경쟁자를 제치고 토큰 사용량 점유율을 높여 나갈 수 있을지 주목됩니다.

- 분산 서빙 기반 추론 최적화… 보유 GPU 인프라 활용 효율 높여- 고부하 환경서 토큰 출력 속도 2.2배 향상… AI 서비스 응답 지연 완화- 국내 유일 GPU·국산 NPU 이기종 가속기 지원… 소버린 AI 인프라 선택권 확대 AI·클라우드 소프트웨어 전문 기업 오케스트로(대표 김범재, 김영광)는 보유 GPU 인프라의 활용 효율을 높여 기업 AI 서비스의 추론 병목을 줄이는 AI 추론 운영 플랫폼 ‘콘체르토 AI(CONCERTO A.I.)’를 선보였다고 29일 밝혔다. 생성형 AI 도입이 확산되면서 기업 AI 인프라의 핵심 과제는 GPU 확보에서 추론 운영 효율화로 전환되고 있다. AI 챗봇, 업무 자동화 에이전트, 검색증강생성(RAG) 기반 서비스 등 상시 운영 AI 서비스가 늘어나면서 모델 호출과 추론 연산 수요도 함께 증가하고 있다. 에이전트형 AI 환경에서는 단일 요청이 복수의 모델 호출과 반복 연산으로 이어져 추론 작업량이 단기간에 급증할 수 있다. GPU를 보유하더라도 추론 요청이 특정 자원에 집중되면 병목으로 인한 응답 지연과 자원 낭비가 동시에 발생하는 구조적 문제가 따른다. 콘체르토 AI는 분산 서빙 기반의 추론 최적화를 핵심 기술로 채택했다. 기존 단일 처리 방식은 질문 분석과 답변 생성을 동일 GPU 자원에서 처리해 요청 집중 시 전체 응답 속도가 저하된다. 콘체르토 AI는 두 작업을 분리해 각각에 적합한 자원을 배치함으로써 병목을 줄인다. 여기에 키-값 캐시(KV Cache) 최적화와 메모리 재사용 기술을 적용해 초기 응답 시간과 토큰 처리 속도를 개선하고, 실시간 대기열·자원 상태 기반 지능형 라우팅 기능을 결합해 고부하 환경에서도 응답 성능을 유지한다. 오케스트로가 자체 온프레미스 AI 인프라 환경에서 수행한 벤치마크 테스트에 따르면, 동시 요청이 집중되는 고부하 환경에서 콘체르토 AI의 분산 서빙 방식은 기존 단일 처리 방식 대비 토큰 출력 속도를 2.2배 높게 유지한 것으로 나타났다. 운영 자동화 기능도 탑재됐다. 콘체르토 AI는 AI 모델 배포부터 추론 요청 처리, 자원 배분, 성능 모니터링까지 LLMOps에 필요한 기능을 단일 플랫폼에서 제공한다. 표준화된 모델 패키징 기술을 기반으로 쿠버네티스 파드(Pod) 생성부터 엔드포인트 연결까지 배포 과정을 자동화하며, 배포 이후에는 초기 응답 시간·토큰 처리 속도·자원 사용량 등 주요 지표를 통합 모니터링 환경에서 확인할 수 있다. 인프라 호환성 측면에서는 엔비디아 GPU 외에 리벨리온·퓨리오사AI 등 국산 NPU 환경까지 지원하는 이기종 가속기 구조를 채택했다. 오케스트로 측은 GPU와 국산 NPU를 아우르는 상용화 수준의 AI 추론 운영 플랫폼은 국내에서 콘체르토 AI가 유일하다고 밝혔다. 이를 통해 기업·기관은 프라이빗 AI 및 소버린 AI 환경에서 특정 하드웨어 벤더 의존도를 낮추고 서비스 특성과 보유 인프라에 맞춰 추론 자원을 구성할 수 있다. 김범재 오케스트로 대표는 “기업 AI 인프라의 과제는 더 많은 GPU를 확보하는 것에서 보유 자원을 얼마나 효율적으로 운영하느냐로 옮겨가고 있다”며 “콘체르토 AI를 기반으로 기업이 보유한 AI 인프라의 활용 효율을 높이고, 프라이빗 AI 환경에서도 안정적인 AI 서비스 운영을 지원하겠다”고 밝혔다.

소프트웨어가 하드웨어 수요 잠식‘훈련’ 필요 없어 이르면 연내 가능비용 줄어 ‘온디바이스 AI’ 앞당겨판매 대수 늘면 반도체 수요도 증가‘지능형 메모리’ 미래 기술 선점해야 구글 리서치가 인공지능(AI) 모델의 메모리 사용량을 6분의1로 줄이는 혁신 알고리즘 ‘터보퀀트’(TurboQuant)를 전격 공개해 글로벌 반도체 시장에 파장이 일고 있다. 소프트웨어가 하드웨어 수요를 잠식할 것이라는 ‘수요 절벽’ 위기론과 시장 파이가 커질 것이라는 낙관론이 팽팽하다. 29일 핵심 쟁점을 일문일답으로 풀었다. Q. 터보퀀트란 어떤 기술인가. A. AI가 대화 맥락을 기억하는 ‘실시간 메모장’(KV 캐시)의 용량을 획기적으로 줄이는 기술이다. 기존에 데이터를 무거운 ‘고화질 사진’로 저장했다면, 화질 손상은 거의 없으면서 용량만 6분의 1로 줄인 ‘고효율 압축 이미지’로 변환하는 식이다. 여기에 보정 필터를 더해 미세 정보까지 선명하게 되살린다. 예컨대 백과사전 6권을 핵심만 요약한 1권으로 만들면서도 답변 정확도는 그대로 유지하는 셈이다. Q. 과거 구글의 ‘텐서 처리 장치’(TPU)가 공개됐을 때보다 시장이 더 민감한 이유는. A. TPU가 엔비디아 그래픽처리장치(GPU)라는 하드웨어 장비를 ‘구글 칩’으로 바꿔보겠다는 하드웨어 간의 대체 경쟁이었다면, 터보퀀트는 어떤 연산 장치를 써도 메모리 ‘구매량’ 자체를 6분의 1로 줄일 수 있는 범용 소프트웨어 솔루션이다. 메모리 업체 입장에서 고객사가 칩 브랜드(하드웨어)를 바꾸는 게 아니라, 주문서의 수량(메모리 용량) 자체를 지워버리는 셈이라 타격의 결이 다르다. Q. 그럼에도 ‘장기 낙관론’이 나오는 이유는. A. 자원의 이용 효율이 높아져 비용이 낮아지면 전체 소비량이 늘어나는 ‘제본스의 역설’ 때문이다. AI 운영비가 낮아지면 모든 기기에 AI가 기본 탑재되는 ‘온디바이스 AI’ 시대가 앞당겨진다. 개별 기기당 탑재량은 줄어도 판매 대수가 압도적으로 늘어 전체 메모리 수요는 더 커질 것으로 전망된다. Q. 시장에선 상용화가 이르면 연내 가능할 것으로 보는데. A. 그렇다. 터보퀀트는 기존 AI 모델을 새로 학습시킬 필요 없이 운영 중인 시스템에 ‘필터’처럼 갈아 끼우는 ‘훈련 불필요’ 방식이다. Q. 상용화 신중론이 나오는 이유는. A. 해결할 과제가 많다. 수만 대의 서버가 얽힌 클라우드 시스템에 병목 없이 녹여내는 기술적 최적화가 필수다. 다양한 모델에서 동일한 품질을 내는지 증명해야 하고, 주요 환경에서 별도 튜닝 없이 쓸 수 있는 범용 표준으로 채택돼야 한다. 데이터 복원 과정에서 발생하는 시간 지연과 실시간 대화 품질 저하 우려도 넘어야 한다. Q. 한국 기업들은 어떻게 대응해야 하나. A. 삼성전자나 SK하이닉스는 단순히 정해진 규격의 부품만 납품하는 공급자에서 벗어나 AI 시스템 전체의 효율을 설계하는 ‘통합 솔루션 파트너’로서의 역량을 입증해야 한다. 메모리 스스로 연산까지 돕는 지능형 메모리(PIM)나 기기 간 연결 장벽을 허무는 차세대 연결 기술(CXL) 같은 미래 기술을 선점해야 한다.