データセンターとクラウド向けAIチップ 2025-2035年：技術、市場、予測

AI Chips for Data Centers and Cloud 2025-2035: Technologies, Market, Forecasts

グラフィックス・プロセッシング・ユニット（GPU）、中央演算処理装置（CPU）、カスタムAI ASIC、その他のAIアクセラレータ、プレーヤー分析、テクノロジー、トレンド、サプライチェーン、および予測 ... もっと見る

出版社	出版年月	電子版価格	納期	ページ数	言語
IDTechEx アイディーテックエックス	2025年4月30日	US$7,000 電子ファイル（1-5ユーザライセンス）ライセンス・価格情報注文方法はこちら	お問合わせください	333	英語

サマリー

グラフィックス・プロセッシング・ユニット（GPU）、中央演算処理装置（CPU）、カスタムAI ASIC、その他のAIアクセラレータ、プレーヤー分析、テクノロジー、トレンド、サプライチェーン、および予測

フロンティアAIは、創薬や自律型インフラストラクチャのような領域で主導権を握ろうと各国政府やハイパースケーラーが競い合う中、世界規模で数千億ドルの投資を集めている。グラフィックス・プロセッシング・ユニット（GPU）やその他のAIチップは、データセンターやクラウド・インフラストラクチャ内でディープラーニングに必要な計算能力を提供し、人工知能のこの成長を推進する上で役立ってきた。GPUは、大規模言語モデル（LLM）やジェネレーティブAIという波の下流で支配的な下流として、計算能力を提供する上で極めて重要な役割を担ってきた。しかし、より効率的な計算、低コスト、高性能、大規模スケーラブルなシステム、より高速な推論、ドメインに特化した計算が求められる中、他のAIチップの人気が高まる機会がある。

IDTechExのレポート「データセンターとクラウド向けAIチップ 2025-2035年技術、市場、予測」は、AIチップの展望がGPUだけでなく、新アーキテクチャの広範な実用化に向けて広がっていることを伝えています：技術、市場、予測」は、データセンターとクラウド向けAIチップ市場を独自に分析しています。これには、現在および新興技術のベンチマーク、技術内訳、主要トレンドが含まれ、現在および新興のハードウェアアーキテクチャ、先進ノード技術、先進半導体パッケージングに加え、サプライチェーン、投資、政策に関する情報もカバーしています。データセンターとクラウドのAIチップ市場の2025年から2035年までのきめ細かな収益予測をAIチップのタイプ別に提供しています。これらには、GPU、ハイパースケーラーやクラウドサービスプロバイダー（CSP）が使用するカスタムAI特定用途向け集積回路（ASIC）、AI対応中央演算処理装置（CPU）、AIチップに特化した新興企業と大手ベンダーの両方が開発したその他のAI ASICが含まれる。

グラフィックス・プロセッシング・ユニット（GPU）

AI向けの最大のシステムは、大規模なスケールアウトHPCおよびAIシステムであり、これらはGPUを大量に実装している。これらはハイパースケーラAIデータセンターとスーパーコンピュータであることが多く、オンプレミスまたは分散ネットワーク上でエクサフロップスのパフォーマンスを提供することができます。NVIDIAは近年、Hopper（H100/H200）チップや最近リリースされたBlackwell（B200/B300）チップで目覚ましい成功を収めている。AMDもMI300シリーズ・プロセッサー（MI300X/MI325X）で競争力のあるチップを開発した。また、先進的なチップに対する米国の制裁のため、中国のプレーヤーもソリューションを開発している。これらの高性能GPUは、最先端の半導体技術を採用し続けている。その一例がオンチップ・メモリ容量の増加で、トップ・チップは250GBを超える高帯域幅メモリ（HBM）を搭載しており、より多くのパラメータを持つ大規模なAIモデルをこれらのGPU上で実行できるようにしている。これらのチップはまた、TSMCのCoWoS-Lパッケージング、チップレット、マルチダイGPUなどの最先端の半導体パッケージングソリューションや、最先端のプロセスノード（5nm以下）を採用している。本レポートでは、これらすべてのトレンドと市場活動について詳しく解説する。

ハイパースケーラーとクラウドサービスプロバイダーが使用するカスタムAIチップ

GPUはAIモデルのトレーニングに基本的な役割を果たしてきたが、総所有コスト（TCO）の高さ、ベンダーロックインのリスク、AI固有の操作に対する利用率の低さ、特定の推論ワークロードには過剰になりやすいなどの制約がある。ハイパースケーラーが採用しつつある新たな戦略は、シストリックアレイベースのカスタムAI ASICを使用することです。これらはAIワークロードのために専用に構築されたコアを持ち、演算単価が安く、特定のシステム（トランスフォーマー、レコメンダーシステムなど）に特化し、効率的な推論を提供し、ハイパースケーラーとCSPに性能を犠牲にすることなくフルスタックの制御と差別化の機会を与える。本レポートでは、潜在的なリスク、主要なパートナーシップ、プレイヤーの活動、ベンチマーク、技術概要の評価を掲載しています。

その他のAIチップ

GPUをディスラプトするその他のAIチップは、類似のコンピューティング・アーキテクチャと斬新なコンピューティング・アーキテクチャの両方で製品化されている。Intel、Huawei、Qualcommなどの大手チップベンダーは、AIアクセラレータ（Gaudi、Ascend 910、Cloud AI 100など）を設計しており、ヘテロジニアス・アレイのコンピュート・ユニット（GPUに類似）を使用していますが、AIワークロードを高速化することを目的としています。これらのチップは、パフォーマンス、電力効率、および特定のアプリケーション・ドメインに対する柔軟性のバランスを提供する。多くの場合、これらのチップには行列エンジンとテンソルコアが搭載され、GEMM（一般行列乗算）やBMM（バッチ行列乗算）のような高密度線形代数演算を高いスループットで実行できるように設計されている。

AIチップに特化した新興企業は、データフロー制御プロセッサ、ウェハースケールパッケージング、空間AIアクセラレータ、PIM（Processing-in-Memory）技術、CGRA（Coarse-grained Reconfigurable Arrays）といった最先端のアーキテクチャや製造技術を導入し、異なるアプローチを取ることが多い。さまざまな企業がデータセンターやクラウド・コンピューティング向けにこれらのシステム（Cerebras、Groq、Graphcore、SambaNova、Untether AIなど）の立ち上げに成功しており、多くの場合、企業への導入が容易なラック規模のソリューションを開発したり、自社のクラウド・プラットフォームでの利用を提供している。これらのシステムは、特にスケールアップ環境において優れた性能を発揮する。IDTechExのレポートは、包括的なベンチマーク、比較、主要トレンド、技術内訳、プレーヤーの活動を提供している。

AIチップの設計とサプライチェーン

学習（time-to-train）と推論（tokens per second）のスループット、高いエネルギー効率（TOPS/watt）、関連するソフトウェアサポートで競争力のあるAIチップの開発は、すべてのチップ設計者にとって厳しい課題です。このプロセスには、プログラミングと実行モデルの選択、最適化されたハードウェアとメモリアーキテクチャの設計、先端プロセスノードと先端半導体パッケージによる製造など、多くのステップの絶妙なバランスが含まれます。例えば、データセンター・チップは、ASMLのEUV（極端紫外線）リソグラフィ技術を使用して、TSMC、インテル・ファウンドリ、サムスン・ファウンドリの最先端プロセス・ノードを採用しています。これらのファウンドリは、FinFET（フィン電界効果トランジスタ）を使用した5nm技術から、GAAFET（ゲートオールアラウンドFET）を使用した2nm以下のノードまで、バックサイド給電によるトランジスタ技術を押し上げています。最近の製造開発、デバイス要件、ハードウェアアーキテクチャの内訳、先端半導体パッケージの詳細、サプライチェーン、およびプログラミングモデルの比較はすべて、本レポートに含まれています。

設計と製造に関わる様々な技術により、半導体業界のサプライチェーン全体にわたって将来の技術革新の幅が広がっている。政府の政策と多額の投資は、フロンティアAIを新たな高みへと押し上げることへの関心の高さを示しており、この需要を満たすためにはAIデータセンター内でAIチップを大量に生産する必要がある。IDTechExは、この市場は2025年から2030年にかけて年平均成長率14%で成長し、売上高は4,000億米ドルを超えると予測している。

主要な側面

AIチップのハードウェア評価、ベンチマーク、比較

主要プロセッサの分析とベンチマーク、AIチップのフォームファクター、価格比較、米国と中国の主要プレーヤーの技術内訳など、データセンターGPUで使用されている現在の技術を調査。
ヘテロジニアス・マトリックス・ベース・システムを使用したAIアクセラレータや空間AIアクセラレータを含む、サーバーCPU、カスタムAI ASIC、その他のAIチップの現在の市場プレーヤーと新興AIチップのハードウェア・アーキテクチャの詳細とベンチマーク。
メモリ、メモリ帯域幅、スループット（およびその他の性能指標）、スケーラビリティ、価格設定、効率性、先端プロセスノードなど、ハードウェアコンポーネントと現在のAIチップの分析、測定フレームワーク、および過去の傾向。
プログラミングモデル、ハードウェアアーキテクチャ、先進トランジスタ、先進半導体パッケージングなど、AIチップの設計と製造の主要要素の内訳。

市場情報

主要技術タイプの促進要因と障壁、および予想される見通しを詳述した解説。
様々な半導体メーカーや先端集積回路のチップ設計者の能力を含むAIチップサプライチェーンの分析。
政府投資、先端半導体パッケージング工場への投資、ハイパースケーラ設備投資、チップ設計者の収入などの投資情報。
2022年以降の米国チップの外国への輸出に関する米国政策の内訳、どのチップに輸出ライセンスが必要かの分析を含む。

市場予測と分析

主要AIチップ技術タイプ別に分けた10年間のきめ細かな市場予測。
AIデータセンターとクラウドインフラストラクチャに使用されるAIチップの主要技術動向と商業動向の評価。

ページTOPに戻る

Summary

Graphics processing units (GPUs), central processing units (CPUs), custom AI ASICs, and other AI accelerators, with player analysis, technologies, trends, supply chain, and forecasts

Frontier AI attracts hundreds of billions in global investment, with governments and hyperscalers racing to lead in domains like drug discovery and autonomous infrastructure. Graphics processing units (GPUs) and other AI chips have been instrumental in driving this growth of artificial intelligence, providing the compute needed for deep learning within data centers and cloud infrastructure. GPUs have been pivotal in delivering computational capabilities, being the dominant undercurrent below the wave that is large language models (LLMs) and generative AI. However, with the demand for more efficient computation, lower costs, higher performance, massively scalable systems, faster inference, and domain-specific computation, there is opportunity for other AI chips to grow in popularity.

As the landscape of AI chips broadens past just GPUs, with novel architectures reaching widescale commercialization, IDTechEx's report "AI Chips for Data Centers and Cloud 2025-2035: Technologies, Market, Forecasts" offers an independent analysis of the AI chip market for data centers and the cloud. This includes benchmarking current and emerging technologies, technology breakdowns, and key trends, covering current and emerging hardware architectures, advanced node technologies, and advanced semiconductor packaging, as well as information on supply chain, investments, and policy. Granular revenue forecasts from 2025 to 2035 of the data center and cloud AI chips market are provided, segmented by types of AI chips. These include GPUs, custom AI application-specific integrated circuits (ASICs) used by hyperscalers and cloud service providers (CSPs), AI-capable central processing units (CPUs), and other AI ASICs developed by both AI chip-focused startups and large vendors.

Graphics Processing Units (GPUs)

The largest systems for AI are massive scale-out HPC and AI systems - these heavily implement GPUs. These tend to be hyperscaler AI data centers and supercomputers, both of which can offer exaFLOPS of performance, on-premise or over distributed networks. NVIDIA has seen remarkable success over recent years with its Hopper (H100/H200) chips and recently released Blackwell (B200/B300) chips. AMD has also created competitive chips with its MI300 series processors (MI300X/MI325X). Chinese players are also developing solutions due to sanctions from the US on advanced chips. These high-performance GPUs continue to adopt the most advanced semiconductor technologies. One example is increased on-chip memory capacity, with top chips having over 250GB of high-bandwidth memory (HBM), enabling larger AI models with even more parameters to run on these GPUs. These chips also adopt the most advanced semiconductor packaging solutions, such as TSMC's CoWoS-L packaging, chiplets, and multi-die GPUs, as well as the most advanced process nodes (5nm and below). All of these trends and market activities are explored in detail in this report.

Custom AI Chips Used by Hyperscalers and Cloud Service Providers

GPUs have been fundamental for training AI models but face limitations, such as high total cost of ownership (TCO), vendor lock-in risks, low utilization for AI-specific operations, and can be overkill for specific inference workloads. An emerging strategy that hyperscalers are adopting is using systolic array-based custom AI ASICs. These have purpose-built cores for AI workloads, are cheaper per operation, are specialized for particular systems (e.g., transformers, recommender systems, etc), offer efficient inference, and give hyperscalers and CSPs the opportunity for full-stack control and differentiation without sacrificing performance. Evaluation of potential risks, key partnerships, player activity, benchmarking, and technology overviews is available with this report.

Other AI Chips

Other AI chips are being commercialized to disrupt GPUs, with both similar and novel computing architectures. Some large chip vendors, such as Intel, Huawei, and Qualcomm, have designed AI accelerators (e.g., Gaudi, Ascend 910, Cloud AI 100), using heterogeneous arrays of compute units (similar to GPUs), but purpose-built to accelerate AI workloads. These offer a balance between performance, power efficiency, and flexibility for specific application domains. Often, these chips will contain matrix engines and tensor cores, which are designed to execute dense linear algebra operations like GEMM (General Matrix Multiply) and BMM (Batch Matrix Multiply) with high throughputs.

AI chip-focused startups often take a different approach, deploying cutting-edge architectures and fabrication techniques with the likes of dataflow-controlled processors, wafer-scale packaging, spatial AI accelerators, processing-in-memory (PIM) technologies, and coarse-grained reconfigurable arrays (CGRAs). Various companies have successfully launched these systems (Cerebras, Groq, Graphcore, SambaNova, Untether AI, and others) for data centers and cloud computing, often developing rack-scale solutions for easy enterprise deployment or offering usage on their own cloud platforms. These systems perform exceptionally, especially in scale-up environments. IDTechEx's report offers comprehensive benchmarking, comparisons, key trends, technology breakdowns, and player activity.

Designing AI chips and supply chain

Developing an AI chip with competitive throughput for training (time-to-train) and inference (tokens per second), high-energy efficiencies (TOPS/watt), and associated software support is a stringent challenge for all chip designers. This process involves a fine balance of many steps, including selecting programming and execution models, designing optimized hardware and memory architecture, and fabrication with advanced process nodes and advanced semiconductor packaging. For instance, data center chips are adopting the most advanced process nodes from TSMC, Intel Foundry, and Samsung Foundry, using EUV (extreme ultraviolet) lithography techniques from ASML. These foundries are pushing transistor technologies past 5nm technologies using FinFET (Fin-field effect transistor) to sub-2nm nodes using GAAFET (gate-all-around FETs) with backside power delivery. Recent fabrication developments, device requirements, hardware architecture breakdowns, advanced semiconductor packaging details, supply chain, and programming model comparisons are all included throughout this report.

The various technologies involved in designing and manufacturing give wide breadth for future technological innovation across the semiconductor industry supply chain. Government policy and heavy investment show the prevalent interest in pushing frontier AI toward new heights, and this will require exceptional volumes of AI chips within AI data centers to meet this demand. IDTechEx forecasts this market will grow at a CAGR of 14% from 2025 to 2030, with revenues exceeding US$400 billion.

Key Aspects

Hardware evaluation, benchmarking, and comparison for AI chips

Exploring current technologies used in data center GPUs, including analysis and benchmarking of leading processors, AI chip form factors, pricing comparisons, and technology breakdowns for leading US and Chinese players.
Detailing and benchmarking hardware architectures for current market players and emerging AI chips for server CPUs, custom AI ASICs, and other AI chips, including AI accelerators using heterogeneous matrix-based systems and spatial AI accelerators.
Analysis, measurement frameworks, and historical trends of hardware components and current AI chips, including memory, memory bandwidth, throughput (and other performance metrics), scalability, pricing, efficiency, and advanced process nodes.
Breakdown of key elements to designing and manufacturing AI chips, including programming models, hardware architectures, advanced transistors, and advanced semiconductor packaging.

Market information

Commentary detailing drivers and barriers of key technology types, as well as expected outlooks.
Analysis of the AI chip supply chain, including capabilities of various semiconductor manufacturers and chip designers for advanced integrated circuits.
Investment information, including governmental investments, investments into advanced semiconductor packaging plants, hyperscaler capex, and chip designer revenues.
Breakdown of US policy since 2022 concerning the export of US chips to foreign nations, including analysis of which chips require export licenses.

Market forecast and analysis

10-year granular market forecasts separated by key AI chip technology types.
Assessment of key technological and commercial trends for AI chips used for AI data centers and cloud infrastructure.

ページTOPに戻る

1. EXECUTIVE SUMMARY

1.1. What is AI?

1.2. What are AI chips for data center and cloud?

1.3. AI chips must improve as performance of AI models outstrips Moore's Law

1.4. Large AI models require scaling of more AI chips

1.5. Market dynamics and strategic shifts in AI hardware

1.6. Layers to designing an AI chip

1.7. Types of AI Chips

1.8. Technology readiness of AI chip technologies

1.9. AI chip technologies benchmarked

1.10. AI chip landscape - Chip designers

1.11. Graphics Processing Units (GPUs)

1.12. Trends in high-performance data center GPUs

1.13. ASICs used by major cloud service providers for accelerating AI workloads

1.14. Trends in GPU alternatives for AI data center

1.15. AI chip key workloads for training and inference

1.16. Hardware demands for training and inference

1.17. Inference benchmarks show real time performance of top GPUs

1.18. Performance of common AI chips: FP16/BF16 precisions

1.19. Trends in advanced process nodes and energy efficiency in the last decade

1.20. Key players: AI chip supply chain

1.21. Government industrial policy and funding for semiconductor industry

1.22. US Sanctions on AI chips to China

1.23. Market size forecast of AI chips: 2025-2035

1.24. Annotated market size forecast of GPUs: 2025-2035

1.25. Drivers and challenges for AI chip adoption

1.26. Access More With an IDTechEx Subscription

2. INTRODUCTION TO AI MODELS AND AI CHIPS

2.1.1. What is AI?

2.1.2. What is an AI chip?

2.1.3. AI acceleration

2.1.4. Types of AI chip product categories

2.1.5. Overview of major AI chip markets

2.1.6. Cloud and data center computing

2.1.7. Users, procurement and partnerships of cloud and data center compute

2.1.8. Cloud AI

2.1.9. Enterprise core

2.1.10. Telecom edge

2.1.11. Edge vs Cloud characteristics

2.1.12. Key players: AI chip supply chain

2.2. Fundamentals of AI

2.2.1. Fundamentals of AI: Algorithms, Data, and Hardware

2.2.2. Training and inference

2.2.3. AI chips use low-precision computing

2.2.4. Common number representations in AI chips

2.2.5. Parallel computing: Data parallelism and model parallelism

2.2.6. Deep learning: how an AI algorithm is implemented

2.2.7. Neural networks explained

2.2.8. Types of Neural Networks

2.2.9. Types of neural networks and use cases

2.3. Large AI Models

2.3.1. Notable AI models increasing performance at a rate of 4.5x a year since 2010

2.3.2. Transformers used for LLM replace RNNs for natural language processing

2.3.3. Language, computer vision, and multimodal AI models are the most popular

2.3.4. Reasons for AI performance outpacing Moore's Law

2.3.5. Key drivers for continued growth of AI models

2.3.6. Scale-up and scale-out systems

2.3.7. Training AI models is very energy intensive

2.3.8. Hardware design and energy inefficiencies of compute

2.3.9. MLPerf Power: Power ranges for various AI chip types and applications

3. TECHNOLOGY OVERVIEW

3.1. AI Chips Hardware Design Overview

3.1.1. History of computer hardware

3.1.2. Progression of AI hardware

3.1.3. Trends in AI chips to expect

3.1.4. Layers to designing an AI chip

3.2. Instruction Set Architectures

3.2.1. Introduction to Instruction Set Architectures (ISAs) for AI workloads

3.2.2. CISC and RISC ISAs for AI accelerators

3.3. Programming Models and Execution Models

3.3.1. Programming model vs execution model

3.3.2. Flynn's taxonomy and programming models

3.3.3. Important execution models and programming models for AI chips

3.3.4. Introduction to Von Neumann Architecture

3.3.5. Von Neumann compared with common programming models

3.4. Hardware Architectures

3.4.1. ASICs, FPGAs, and GPUs used for neural network architectures

3.4.2. Benchmarking capabilities of AI chips

3.4.3. Types of AI Chips

3.4.4. TRL of AI chip technologies

3.4.5. Pros and cons of commercial AI chips

3.4.6. Pros and cons of emerging AI chips

3.4.7. Technologies found in general-purpose processors

3.4.8. Special-purpose resources

3.4.9. Accelerator taxonomy

3.5. Transistors

3.5.1. How transistors operate: p-n junctions

3.5.2. Moore's law

3.5.3. Gate length reductions pose challenges to planar FETs below 20nm

3.5.4. Increasing Transistor Count

3.5.5. Planar FET to FinFET

3.5.6. GAAFET, MBCFET, RibbonFET

3.5.7. TSMC's leading-edge nodes roadmap

3.5.8. Intel Foundry's leading-edge nodes roadmap

3.5.9. Samsung Foundry's leading-edge nodes roadmap

3.5.10. CFETs to be used beyond GAAFET scaling

3.5.11. Device architecture roadmap (I)

3.5.12. Scaling technology roadmap overview

3.6. Advanced Semiconductor Packaging

3.6.1. Progression from 1D to 3D semiconductor packaging

3.6.2. Key metrics for advanced semiconductor packaging performance

3.6.3. Overview of interconnection technique in semiconductor packaging

3.6.4. Overview of 2.5D packaging structure

3.6.5. 2.5D advanced semiconductor packaging technology portfolio

3.6.6. 2.5D advanced semiconductor packaging used in top AI chips

3.6.7. Overcoming die size limitations

3.6.8. Integrated heterogeneous systems

3.6.9. Case study: AMD MI300A CPU/GPU heterogenous integration

3.6.10. Future system-in-package architecture

3.6.11. For more information on advanced semiconductor packaging

4. AI-CAPABLE CENTRAL PROCESSING UNITS (CPUS)

4.1. Technology Overview of CPUs

4.1.1. CPU introduction

4.1.2. Core architecture of a HPC and AI CPU

4.1.3. Key CPU requirements for HPC and AI workloads (1)

4.1.4. Key CPU Requirements for HPC and AI Workloads (2)

4.1.5. AVX-512 vector extensions for x86-64 Instruction Set

4.2. Intel CPUs

4.2.1. Intel: Xeon CPUs for data center

4.2.2. Intel: Advanced Matrix Extensions in CPUs for built-in AI acceleration

4.2.3. Intel: 4th Gen Xeon Scalable Processor performance with AMX

4.3. AMD CPUs

4.3.1. AMD: EPYC CPUs for data center

4.4. IBM CPUs

4.4.1. IBM: Power CPUs for data center

4.5. Arm CPUs

4.5.1. Arm licenses core designs with its RISC-based ISAs

4.5.2. Arm CPUs for data center

4.5.3. CPU outlook

5. GRAPHICS PROCESSING UNITS (GPUS)

5.1. Market Overview of GPUs

5.1.1. Types of AI GPUs

5.1.2. Historical background of GPUs

5.1.3. GPUs popularity since the 2010s

5.1.4. Data center GPU player landscape by region

5.1.5. Commercial activity of key US and Chinese data center GPU manufacturers

5.1.6. Drivers: Technology advancements and market opportunities

5.1.7. Drivers: Energy efficiency, performance, incentives, and brand strength

5.1.8. Barriers: Monopolization, competition, and product complexity

5.1.9. Barriers: R&D, competition from customers, market consolidation

5.1.10. How can startups compete with GPU market leaders

5.2. GPU Technology Breakdown

5.2.1. Key architectural differences between CPUs and GPUs

5.2.2. Architecture breakdown of high-performance data center GPUs

5.2.3. Data center GPUs key features

5.2.4. NVIDIA and AMD data center GPUs benchmark

5.2.5. Consumer GPUs as cloud compute

5.2.6. Workstation / professional GPUs as cloud compute

5.2.7. Pricing of GPUs by type

5.2.8. Form factor options for GPUs

5.2.9. Pricing of data center GPU form factors

5.2.10. Threads show how latency and throughput is handled by GPUs and CPUs

5.2.11. NVIDIA and AMD software

5.2.12. Trends in high-performance data center GPUs

5.2.13. Trends in high-performance data center GPUs

5.3. NVIDIA GPUs

5.3.1. NVIDIA: Tensor mathematics

5.3.2. NVIDIA: Tensor cores

5.3.3. NVIDIA: NVIDIA CUDA and tensor cores

5.3.4. NVIDIA: Data center GPU product timeline

5.3.5. NVIDIA: Ampere GPUs

5.3.6. NVIDIA: Hopper GPUs

5.3.7. NVIDIA: Blackwell GPUs (I)

5.3.8. NVIDIA: Blackwell GPU (II)

5.3.9. NVIDIA: Rack-scale solutions

5.4. AMD GPUs

5.4.1. AMD: CDNA 3 Architecture and Compute Units for GPU Compute

5.4.2. AMD: MI325X GPU

5.4.3. AMD: Instinct GPU and competitive positioning

5.4.4. AMD: MI300A CPU/GPU memory coherency with heterogenous integration

5.5. Intel GPUs

5.5.1. Intel: Intel GPU Max and the Xe-HPC Architecture

5.5.2. Intel: Future ASIC and general-purpose GPU

5.6. Chinese GPUs

5.6.1. Biren Technologies: Chinese GPGPU

5.6.2. Biren Technologies: BR100 and BR104 Chinese GPGPU

5.6.3. Moore Threads: MTT S4000 Chinese GPU

5.6.4. MetaX: MXC500 Chinese GPGPU

5.6.5. Iluvatar CoreX: Tianyuan 100 and Zhikai 100 Chinese GPGPUs

5.6.6. GPU Outlook

6. CUSTOM AI ASICS FOR CLOUD SERVICE PROVIDERS (CSPS)

6.1. Market Overview of Custom AI ASICs for CSPs

6.1.1. Introduction to custom application-specific integrated circuits (ASICs)

6.1.2. AI ASICs based on application

6.1.3. Custom ASICs enter the market to compete with GPUs

6.1.4. Drivers for investment, and challenges for custom ASICs

6.1.5. CSP custom ASIC player landscape by region

6.1.6. ASICs used by major cloud service providers for accelerating AI workloads

6.1.7. AI ASIC companies' capabilities

6.2. Hardware Breakdown of Custom AI ASICs for CSPs

6.2.1. GPU and ASIC comparison

6.2.2. Cloud service provider ASICs have similar architectures, using systolic arrays

6.2.3. Systolic arrays in ASICS are an alternative to tensor cores in GPUs

6.2.4. "Systolic array lock-in"

6.3. Key Players

6.3.1. Google TPU

6.3.2. Amazon: Trainium and Inferentia

6.3.3. Amazon: Trainium and Inferentia chip components and packaging

6.3.4. Microsoft: Maia

6.3.5. Meta: MTIA

6.3.6. Future US ASIC players

6.3.7. Chinese ASIC players and Chinese AI chips from cloud service providers

6.3.8. Outlook

7. OTHER AI CHIPS

7.1.1. Introduction to other architectures: Chapter Overview

7.1.2. Other AI chips player landscape by region

7.2. Heterogenous Matrix-Based AI Accelerators

7.2.1. Heterogenous matrix-based AI accelerators

7.2.2. Heterogenous matrix-based AI accelerators architectures

7.2.3. Habana: Gaudi

7.2.4. Intel: Gaudi2

7.2.5. Intel: Greco

7.2.6. Intel: Gaudi3

7.2.7. Cambricon Technologies: Siyuan 370 is China's AI tensor-based AI chip

7.2.8. Huawei: Ascend 910

7.2.9. Huawei: Da Vinci architecture

7.2.10. Baidu: Kunlun and XPU

7.2.11. Qualcomm: Cloud AI 100

7.2.12. Qualcomm: AI core

7.2.13. Summary of key players

7.3. Spatial AI Accelerators

7.3.1. Spatial AI accelerators

7.3.2. Cerebras: Wafer-scale processors as a competitor to GPUs

7.3.3. Cerebras: WSE-3

7.3.4. SambaNova: Reconfigurable dataflow processors as substitute to GPUs

7.3.5. SambaNova: SN40L Reconfigurable Dataflow Unit (RDU)

7.3.6. Graphcore: Second-generation Colossus™ MK2 IPU processor

7.3.7. Graphcore: Bow IPU and Pods

7.3.8. Groq: Natural language processor designed for AI inference

7.3.9. Groq: Performance and technology

7.3.10. Untether AI: SpeedAI240 uses at-memory computation

7.3.11. Key players summary (I)

7.3.12. Key players summary (II)

7.4. Coarse-Grained Reconfigurable Arrays (CGRAs)

7.4.1. CGRAs could be a future contender for mainstream compute fabrics

7.4.2. CGRA breakdown

7.4.3. Future outlook - the search for flexible architectures with high energy efficiency and performance

7.4.4. CGRAs vs dataflow vs manycore

7.4.5. Trends in GPU alternatives for AI data center

7.4.6. Trends in other AI chips

8. BENCHMARKS AND HARDWARE TRENDS

8.1. Benchmarking AI Chips

8.1.1. MLPerf by MLCommons for benchmarking AI chips

8.1.2. MLCommons benchmarks: Training and inference key workloads and models

8.1.3. AI chip capabilities (I)

8.1.4. AI chip capabilities (II)

8.1.5. Training benchmarking

8.1.6. Inference benchmarking

8.1.7. AI chip technologies benchmarked

8.2. Performance and Scalability

8.2.1. MLPerf Inference: Data Center: Tokens per second

8.2.2. MLPerf Training: Natural Language Processing performance

8.2.3. MLPerf Training: NVIDIA performance

8.2.4. MLPerf Training: Scalability of Google TPUs

8.2.5. NVIDIA and AMD data center GPU throughput with OpenCL benchmark

8.2.6. Neocloud giants: GPU inference performance and GPU scalability

8.2.7. Performance of common AI chips: FP16/BF16 precisions

8.2.8. Performance of common AI chips: Comparing different precisions

8.3. Energy Efficiency

8.3.1. Performance per watt for different AI chips

8.3.2. Trends in advanced process nodes and energy efficiency in the last decade

8.4. Memory and Memory Bandwidth

8.4.1. Key challenge: The memory wall

8.4.2. Illustrating the memory wall: Memory hierarchy latency bottleneck

8.4.3. Memory bandwidths of different chip types

8.4.4. High bandwidth memory (HBM) and comparison with other DRAM technologies

8.4.5. Evolution of HBM generations and transition to HBM4

8.4.6. Benchmarking of HBM technologies in the market from key players (1)

8.4.7. Benchmarking of HBM technologies in the market from key players (2)

8.4.8. Memory bandwidth trends

8.4.9. Memory capacity trends

8.5. Considerations for Evaluating Performance of New AI Accelerators

8.5.1. Evaluating performance of AI accelerators

8.5.2. Performance of accelerators must be measured across various metrics

8.5.3. Latency must be optimized through various strategies

8.5.4. Fundamentals abundant data computing systems using the Roofline Model

8.5.5. Peak throughput is limited by DNN accelerator design constraints

8.5.6. Hardware design and energy inefficiencies of compute

8.5.7. Flexibility is key for handling wide range of DNNs

8.5.8. Network on Chip - example from academia showing flexibility

9. SUPPLY CHAIN, INVESTMENTS, AND TRADE RESTRICTIONS

9.1. Supply Chain

9.1.1. IC supply chain player categories

9.1.2. Integrated circuit supply chain models

9.1.3. Supply chain by production process

9.1.4. Concentration of AI chip supply chain

9.1.5. Populated supply chain for AI chips

9.1.6. Populated supply chain for AI chips by component

9.1.7. AI chip landscape - Chip designers

9.1.8. Populated supply chain for custom integrated circuits

9.1.9. IDM fabrication capabilities

9.1.10. Foundry capabilities

9.1.11. AI cloud categories and players

9.1.12. US hyperscalers capital expenditure

9.2. Investments

9.2.1. Government industrial policy and funding for semiconductor industry

9.2.2. Government investments in US and European advanced packaging

9.2.3. Government investments in Asian packaging and the TMSC supply chain

9.3. Trade Restrictions

9.3.1. US policy regarding advanced semiconductors in China and other nations

9.3.2. Oct 7th, 2022 US sanctions on China technologies

9.3.3. Oct 17th, 2023, US sanctions on AI chips (I)

9.3.4. Oct 17th, 2023, US sanctions on AI chips (II)

9.3.5. AI chips compliant in China

9.3.6. Dec 2nd, 2024, further controls on advanced computing and semiconductor manufacture

9.3.7. Restrictions on High-Bandwidth Memory (HBM)

9.3.8. Jan 13th, 2025, AI Diffusion Framework (US worldwide export controls) (I)

9.3.9. Jan 13th, 2025, AI Diffusion Framework (US worldwide export controls) (II)

9.3.10. NVIDIA revenues by geography, affected by US restrictions

10. FORECASTS

10.1.1. Forecast methodology

10.1.2. Forecast assumptions and outlook

10.1.3. Market size forecast of AI chips: 2025-2035

10.1.4. Market share forecast of AI chips: 2025-2035

10.1.5. Annotated market size forecast of GPUs: 2025-2035

10.1.6. IDTechEx outlook for GPUs

10.1.7. Custom AI ASIC market value

10.1.8. Annotated market size forecast of custom AI ASICs: 2025-2035

10.1.9. IDTechEx outlook for custom AI ASIC chips

10.1.10. Annotated market size forecast of other AI chips: 2025-2035

10.1.11. IDTechEx outlook for other AI chip architectures

ページTOPに戻る

ご注文は、お電話またはWEBから承ります。お見積もりの作成もお気軽にご相談ください。

webからのご注文・お問合せはこちらのフォームから承ります

本レポートと同分野（半導体）の最新刊レポート

IDTechEx社の半導体、コンピュータ、AI - Semiconductors, Computing, AI分野での最新刊レポート

本レポートと同じKEY WORD（）の最新刊レポート

本レポートと同じKEY WORDの最新刊レポートはありません。

よくあるご質問

IDTechEx社はどのような調査会社ですか?

IDTechExはセンサ技術や3D印刷、電気自動車などの先端技術・材料市場を対象に広範かつ詳細な調査を行っています。データリソースはIDTechExの調査レポートおよび委託調査（個別調査）を取り扱う日... もっと見る

調査レポートの納品までの日数はどの程度ですか?

在庫のあるものは速納となりますが、平均的には 3-４日と見て下さい。
但し、一部の調査レポートでは、発注を受けた段階で内容更新をして納品をする場合もあります。
発注をする前のお問合せをお願いします。

注文の手続きはどのようになっていますか?

1)お客様からの御問い合わせをいただきます。
2)見積書やサンプルの提示をいたします。
3)お客様指定、もしくは弊社の発注書をメール添付にて発送してください。
4)データリソース社からレポート発行元の調査会社へ納品手配します。
5) 調査会社からお客様へ納品されます。最近は、pdfにてのメール納品が大半です。

お支払方法の方法はどのようになっていますか?

納品と同時にデータリソース社よりお客様へ請求書（必要に応じて納品書も）を発送いたします。
お客様よりデータリソース社へ（通常は円払い）の御振り込みをお願いします。
請求書は、納品日の日付で発行しますので、翌月最終営業日までの当社指定口座への振込みをお願いします。振込み手数料は御社負担にてお願いします。
お客様の御支払い条件が60日以上の場合は御相談ください。
尚、初めてのお取引先や個人の場合、前払いをお願いすることもあります。ご了承のほど、お願いします。

データリソース社はどのような会社ですか?

当社は、世界各国の主要調査会社・レポート出版社と提携し、世界各国の市場調査レポートや技術動向レポートなどを日本国内の企業・公官庁及び教育研究機関に提供しております。
世界各国の「市場・技術・法規制などの」実情を調査・収集される時には、データリソース社にご相談ください。
お客様の御要望にあったデータや情報を抽出する為のレポート紹介や調査のアドバイスも致します。

データセンターとクラウド向けAIチップ 2025-2035年：技術、市場、予測

サマリー

グラフィックス・プロセッシング・ユニット（GPU）

ハイパースケーラーとクラウドサービスプロバイダーが使用するカスタムAIチップ

その他のAIチップ

AIチップの設計とサプライチェーン

主要な側面

目次

Summary

Graphics Processing Units (GPUs)

Custom AI Chips Used by Hyperscalers and Cloud Service Providers

Other AI Chips

Designing AI chips and supply chain

Key Aspects

Table of Contents

1. EXECUTIVE SUMMARY

2. INTRODUCTION TO AI MODELS AND AI CHIPS

3. TECHNOLOGY OVERVIEW

4. AI-CAPABLE CENTRAL PROCESSING UNITS (CPUS)

5. GRAPHICS PROCESSING UNITS (GPUS)

6. CUSTOM AI ASICS FOR CLOUD SERVICE PROVIDERS (CSPS)

7. OTHER AI CHIPS

8. BENCHMARKS AND HARDWARE TRENDS

9. SUPPLY CHAIN, INVESTMENTS, AND TRADE RESTRICTIONS

10. FORECASTS

ご注文は、お電話またはWEBから承ります。お見積もりの作成もお気軽にご相談ください。

本レポートと同分野（半導体）の最新刊レポート

IDTechEx社の半導体、コンピュータ、AI - Semiconductors, Computing, AI分野での最新刊レポート

本レポートと同じKEY WORD（）の最新刊レポート

よくあるご質問

IDTechEx社はどのような調査会社ですか?

調査レポートの納品までの日数はどの程度ですか?

注文の手続きはどのようになっていますか?

お支払方法の方法はどのようになっていますか?

データリソース社はどのような会社ですか?