Najnowszy wywiad SemiAnalysis: Pamięć ma jeszcze potencjał do podwojenia, CPU to tylko drugoplanowa rola, wdrożenie CPO przesunięte do 2029 roku

Każda warstwa infrastruktury AI jest obecnie pod presją, a szanse i błędne decyzje występują równocześnie. Założyciel SemiAnalysis, Dylan Patel, niedawno udzielił obszernego wywiadu, systematycznie przedstawiając aktualne kluczowe trendy oraz logikę inwestycyjną w stacku infrastruktury AI. Jego analizy obejmują ekonomię modeli, supercykl pamięci, redystrybucję cen CPU, ryzyko związane z harmonogramem wdrożenia CPO oraz strukturalne szanse energetyczne dla centrów danych.

W odpowiedzi na powszechne wątpliwości rynku dotyczące stopy zwrotu inwestycji w AI (ROI), Dylan ujawnia, że Anthropic w drugim kwartale bieżącego roku osiągnął dodatni wolny przepływ gotówki, a roczne przychody powtarzalne przekroczyły 50 miliardów dolarów,marża brutto przekroczyła 70%. Na rynku korporacyjnym, najnowsze modele AI generują wzrost wydajności znacznie przekraczający wzrost kosztów obliczeniowych, co skłania firmy do ograniczenia wydatków na inne oprogramowanie, aby utrzymać eksplodujący budżet na AI.

Na polu ewolucji sprzętu, transformacja w stronę modeli do wnioskowania przebudowuje zapotrzebowanie rynku. Dylan podkreśla, żepamięć stoi wobec wieloletnich, strukturalnych niedoborów i ma jeszcze 2-3 razy większy potencjał wzrostu; równocześnie, choć agenci AI oraz uczenie przez wzmacnianie zwiększają zapotrzebowanie na CPU, obecny rynek sprzedawców wycenia je zbyt wysoko, a wzrost CPU wynika głównie z historycznej „korekty zapasów”, podczas gdy ich absolutna wartość w serwerach AI nadal jest znacznie niższa niż GPU.

Dylan wskazuje, że rynek z niecierpliwością oczekuje masowego wdrożenia kooperacyjnych opakowań optycznych (CPO),co zostało jednoznacznie przesunięte na koniec 2028 lub początek 2029 roku,wydłużając tym samym okres korzyści z miedzianych złącz. Ograniczenia w przesyle energii elektrycznej zmuszają centra danych do przejścia na „za licznikowe” zasilanie (własne źródła energii), co – poza tradycyjnymi inwestycjami w układy scalone – generuje ogromne szanse inwestycyjne w sektorze przemysłowej energii i infrastruktury energetycznej.

Anthropic jako pierwszy generuje przychody, narracja popytu na AI zaczyna się realizować

W odpowiedzi na rynkowe wątpliwości dotyczące ROI przedsiębiorstw AI, Dylan Patel przedstawił konkretne dane.

"Anthropic osiągnął dodatni przepływ gotówki w drugim kwartale, kwiecień na plusie, maj na plusie, czerwiec wygląda podobnie." Zaznacza, że roczny przychód powtarzalny firmy przekroczył 50 miliardów dolarów, marża brutto ponad 70%. Przychody OpenAI również gwałtownie rosną wraz ze wzrostem adopcji Codex.

Wydatki SemiAnalysis potwierdzają ten trend. W listopadzie w zespole liczącym 90 osób roczny wydatek na AI był poniżej 100 tys. dolarów; na koniec stycznia, wraz z szerokim wykorzystaniem Claude Code, liczba ta skoczyła do 4 mln dolarów rocznie; obecnie już 11 mln, a szczytowa tygodniowa projecja sięgała 14 mln dolarów rocznie. "Koszty osobowe plus koszty AI — ta część już przekroczyła jedną trzecią, a do końca roku możliwe, że osiągnie połowę wszystkich kosztów."

Podkreśla też, że nowsze, silniejsze modele nie muszą być droższe w użyciu. Stare modele mogą wymagać 100 tys. tokenów i 10 interakcji do wykonania zadania, nowe — jedynie 25 tys. tokenów i jednej interakcji. "Za każdym razem, gdy model upgrade'uje się z 4.6 Opus do 4.7 Opus, nasze wydatki spadają na tydzień, by potem skoczyć w górę — bo wszyscy widzą, że można zrobić rzeczy, które wcześniej były niemożliwe." To jeden z powodów przewagi Anthropic nad OpenAI:wydajność tokenów jest wyższa, a koszt dla użytkownika niższy.

Pamięć: strukturalny niedobór, nie zwykły cykl

Spośród wszystkich kategorii sprzętu, Dylan Patel najpewniej analizuje pamięć.

"To nie jest chwilowy niedobór — to strukturalny deficyt, który potrwa wiele lat."Podkreśla, że zdolności produkcyjne pamięci rosną rocznie tylko o 20-30%, podczas gdy popyt AI podwaja się i dalej rośnie, a różnica między tymi wskaźnikami będzie się pogłębiać.

Kluczowa logika tej oceny pochodzi z wpływu modeli wnioskowania na cache KV. Tradycyjna konwersacja oparta na wnioskowaniu ma kontekst liczący tysiące tokenów – cache KV jest ograniczone; ale po pojawieniu się modeli wnioskowania takich jak o1, kontekst eksploduje, cache KV gwałtownie rośnie, a pamięć staje się najbardziej bezpośrednio korzystającą kategorią. SemiAnalysis już w grudniu 2024 opublikowała raport wskazujący na ten trend.

Sztywne ograniczenia po stronie podaży zmuszą rynek do ponownej alokacji limitowanych zasobów pamięci. Przewiduje, że elektronika konsumencka o niskiej elastyczności cenowej będzie pierwsza pod presją – produkcja średnich i niskobudżetowych telefonów spadła już o 40%, ceny iPhone'ów i MacBooków wzrosną w przyszłym roku. "Pamięć będzie stale drożeć, elektronika konsumencka zostanie zredukowana do nowego poziomu, aż AI uzyska niezbędną ilość pamięci." Dodaje, że nawet gdy cykl produkcyjny wejdzie w fazę spadkową, "pomiędzy dołkami będzie trwały wzrost — to oczywiste."

CPU: ograniczona korekta, nie przesadzaj z ekstrapolacją

CPU to nowy bohater narracji infrastruktury AI w tym roku, ale Dylan Patel wyraźnie ostrzega przed nadmiernym optymizmem.

Logika odbudowy popytu na CPU jest jasna: uczenie przez wzmacnianie wymaga wielu CPU do weryfikacji środowiska (unit-testy kodu, symulacje działań), agent AI wymaga częstych interakcji z narzędziami i światem rzeczywistym — te operacje są silnie uzależnione od mocy CPU. Przez ostatnie lata AI chipy były wypuszczane na rynek w dużych ilościach, przy braku wystarczającej liczby CPU; obecnie trwa okres „uzupełniania zapasów”, z czego korzystają ARM, Intel, AMD, a Nvidia Vera CPU podaje prognozę 20 mld USD przychodów.

"Ale muszę ostrzec: w tym wszystkim jest dużo efektu uzupełnienia zapasów." Gdy historyczne braki zostaną zniwelowane, zostanie tylko popyt incrementalny, a zapotrzebowanie wróci do normy. Patrząc na wartości absolutne: jeden chip Blackwell to ok. 50 tys. USD, CPU — ok. 5000 USD, nawet przy większym udziale CPU, sumy w dolarach są znacznie niższe niż dla chipów do akceleracji AI."To właśnie pamięć i chipy do akceleracji AI są kluczowe; CPU przechodzi redystrybucję po zaniżonej wycenie, obecnie jest wyceniany lepiej, ale nie będzie rosnąć w tempie przekraczającym AI chipy bez końca."

Optyczne połączenia: długoterminowo korzystne, w krótkim i średnim terminie ostrożnie wobec CPO

Sieci i optyczne połączenia to kolejny segment budzący silne emocje rynkowe, ale Dylan Patel zachowuje ostrożność wobec tempa wdrożenia CPO (kooperacyjnych opakowań optycznych).

"Wielkoskalowa produkcja CPO, według mnie, nastąpi w końcu 2028 lub w 2029 roku."Obecnie zarówno wydajność produkcji, projektowanie chipów, jak i dojrzałość łańcucha dostaw nie spełniają wymogów masowego wdrożenia. Nvidia Rubin oraz kolejne architektury, jak Feynman, nadal zastosują całkowicie miedziane rozwiązania; CPO na GPU trzeba jeszcze poczekać kilka generacji chipów.

Dodaje, że SemiAnalysis właśnie opublikował raport dla abonentów instytucjonalnych, a w średnim terminie bardziej stawia na kable miedziane i nie-CPO opcje optyczne, z CPO podchodząc ostrożnie. Pewne zmiany w projektach downstreamowych chipów (np. Rubin Ultra z Kyberem bez projektu 800V) jeszcze bardziej opóźniają wdrożenie CPO. Firmy jak Amphenol specjalizujące się w złączach miedzianych skorzystają na tym bardziej niż zakładano.

"CPO docelowo zostanie wdrożone, a kable miedziane zostaną wyparte, ale harmonogram się przesuwa, w krótkim i średnim terminie kable miedziane mają ogromne szanse."

Elektryczność: własne źródła zasilania dominują, ścieżki innowacji są różnorodne

Zaopatrzenie centrów danych w energię elektryczną staje się największym fizycznym ograniczeniem wzrostu AI. Według prognoz Dylana Patela, zapotrzebowanie nowych centrów danych na energię elektryczną wyniesie w tym roku 20 GW, w przyszłym 30 GW, a za dwa lata 50 GW – wzrost jest niemal eksplozujący.

Dzieli kwestię energetyczną na trzy aspekty:przesył, produkcja i konwersja. Przesył jest najtrudniejszą częścią, wymaga zmiany regulacji, struktur monopolowych lokalnych firm, systemów podziału kosztów – trudno tu szybko o zmiany. Produkcja i konwersja są szansą inwestycyjną.

Szacuje, że w najbliższych latach połowa nowej energii dla centrów danych będzie pochodzić z "za licznikowych" źródeł (behind the meter), czyli własnych instalacji przedsiębiorstw, zamiast z sieci publicznej. Głównym rozwiązaniem są obecnie bloki turbin gazowych (CCGT) od GE Vernova, Mitsubishi, Siemens, pojawiają się też silniki tłokowe, przemysłowe turbiny gazowe, a nawet przerabiane silniki morskie, kolejowe czy ciężarowe – nieortodoksyjne, ale już stosowane. "Brzmi surowo, ale działa i już jest wykorzystywane."

W dłuższej perspektywie przewiduje, że za około dwa lata koszt zintegrowanej energii słonecznej z magazynowaniem będzie niższy niż produkcja gazowa; w odleglejszej przyszłości — centra danych w kosmosie: umieszczanie chipów obliczeniowych na orbicie, gdzie panele słoneczne nie muszą przenikać atmosfery, mają większą gęstość energii, bez potrzeby magazynowania.

Również po stronie konwersji jest wiele szans inwestycyjnych: od IGBT, przez węglik krzemu, po MOSFET z azotku galu, jak również transformatorów półprzewodnikowych, UPS i superkondensatorów — cały łańcuch konwersji napięcia dynamicznie się rozwija. SemiAnalysis ma teraz największy dział badawczy właśnie w tej dziedzinie, już nie w półprzewodnikach, a jako "DEI" (centrów danych, energii i przemysłu) — śledzą dynamiczne wdrożenia centrów danych i elektrowni na całym świecie.

Poniżej pełny wywiad:

Prowadzący:Witamy z powrotem w podcaście "co następne". Jestem prowadzącym, dziś towarzyszy mi kolega Klay Hyman oraz nasz nowy partner, założyciel SemiAnalysis, Dylan Patel. To szczególny odcinek: dziś z Dylanem zagłębimy się w całokształt infrastruktury AI. Od dłuższego czasu obserwuję jego materiały, regularnie gości na podcaście, a newsletter SemiAnalysis jest dla mnie obowiązkową lekturą. Niedawno wydali dogłębny raport o kosmicznych centrach danych — zainteresowani mogą sięgnąć, jest bardzo szczegółowy.

Dylan, chciałbym usłyszeć opowieść o początkach SemiAnalysis. Wiem, że na Substack ostatnio głośno na temat przychodów tej firmy i sukcesu, ale często zapominamy o drodze i wysiłku, który za tym stoi.

Początki SemiAnalysis

Dylan Patel: Początki SemiAnalysis wywodzą się od publikowania postów online — mówiąc nieformalnie, "waterowania". Wspominam moje pierwsze posty o półprzewodnikach, kiedy jako nastolatek pisałem o chipach, smartfonach, ekranach smartfonów, SoC do smartfonów — choć sam wtedy nie miałem smartfona, byłem tym zafascynowany. Sprzęt do gier, PC, konsole — postowałem wszędzie.

W naszym zespole — obecnie to już 90 osób, mamy nawet oddzielny dział marketingu — ludzie mówią: "Dylan, przestań odpowiadać na te toksyczne komentarze online, przez to firma wygląda nieprofesjonalnie." Wciąż mam alarm w głowie, gdy ktoś mnie krytykuje online, reaguję natychmiast. Może nie jest to najlepsze, ale tak mam.

Całe nastoletnie lata zarządzałem tymi forami. Gdy zacząłem zarabiać, zająłem się inwestowaniem. Byłem później dwa razy quanta traderem, założyłem swoją firmę, ale przez całą drogę cały czas publikowałem posty. Miałem anonimowe blogi, anonimowo pisałem, ale w 2020 roku znudziłem się swoją pracą — rozczarowanie jako trader: możesz zarabiać, ale nie jest to tak błyskotliwe, jak się wydaje. Wtedy rzuciłem pracę, zacząłem budować firmę.

Nie wiedziałem, dokąd dojdę, ale na swojej witrynie WordPress, pod prawdziwym nazwiskiem publikowałem materiały z zakresu technologii, biznesu, finansów i łańcuchów dostaw — bo dorastałem w rodzinie prowadzącej mały biznes. W Georgii, w małym hotelu prowadzonym przez moich rodziców, mieszkałem w hotelu. Później mieliśmy stację benzynową, więc od wewnątrz poznawałem biznes, zawsze lubiłem przedsiębiorczość.

Później przekształciłem WordPressa w Substacka, wprowadziłem opłaty, pisałem o całym łańcuchu półprzewodników i AI. Przez cztery lata podróżowałem po świecie, rocznie byłem na czterdziestu konferencjach — od topowych naukowych spotkań AI, przez branżowe konferencje o specyficznych chemikaliach w łańcuchu chipów, po serwery, sieci i produkcję wafli, całą ścieżkę technologii. Czasem było na konferencji tylko 300 osób, cały program po japońsku, tylko pięć osób mówiło po angielsku — byłem. Byłem też na konferencji dla 1-2 tysięcy osób. Po trzech edycjach naprawdę poznajesz język branży, ludzi, możesz zadawać pogłębione pytania — i w głowie budujesz cały ekosystem.

Rozwój SemiAnalysis i budowa zespołu

Dylan Patel:Zawsze szukałem „punktów zwrotnych” technologicznych — gdy na konferencji zauważyłem zmianę technologiczną lub w łańcuchu dostaw, mogłem przewidzieć jej skutki na poziomie dostaw lub finansów. Niektóre raporty były czysto techniczne, dla finansistów nieistotne; inne jasno wskazywały: tu jest wąskie gardło, tu jest punkt zwrotny, ta firma dzięki kolejnej generacji technologii zajmie dużą część rynku — i robiłem to szybciej niż ktokolwiek na rynku lub w funduszach hedgingowych.

Trzecią osobą był Myin — pracował w funduszu hedgingowym, wtedy przenosił się do Japonii z żoną, był „wolny”. Był pierwszym z doświadczeniem hedgingowym, dwóch pozostałych to osoby z backgroundem technicznym. Po jego dołączeniu rozpoczęliśmy budowanie modeli finansowych, a działalność ewoluowała z newslettera w kierunku serwisów informacyjnych, sprzedaży raportów, sprzedaży danych.

Od tego momentu śnieżka zaczęła rosnąć coraz szybciej. Od 2023 do 2024 liczba osób wzrosła z 2 do 7; od końca 2024 do początku 2025 — z 7 do 20; od 2025 do 2026 — z 20 do 60; w tym roku doszło kolejne 30 i mamy 90.

Najbardziej ekscytujące w SemiAnalysis jest gęstość talentów — nie znam innej firmy o takiej koncentracji kompetencji. Mamy ludzi z ASML, Applied Materials, Lam Research, osoby z Intela, TSMC, Nvidii, Microsoftu, Amazona; są osoby, które tworzyły modele w OpenAI, osoby z Tesli przy FSD, osoby pracujące w Cohere, specjalistów od centrów danych, nawet człowieka, który budował elektrownię w Kazachstanie. Gęstość talentów jest naprawdę niezwykła. Połowa zespołu to inżynierowie różnych szczebli, połowa to ex-hedge fund, albo entuzjaści znalezieni online.

Obecnie SemiAnalysis prowadzi wiele linii biznesowych: usługi danych, consulting, serwis informacyjny, newsletter, media, a już za chwilę wielką konferencję — niezwykła podróż.

Nvidia GTC na żywo i "pasek króla mocy obliczeniowej"

Prowadzący:Mówiąc o niezwykłej podróży, przypomina mi się wyjątkowy moment. WisdomTree i SemiAnalysis współpracują już kilka miesięcy. Na wiosennym Nvidia GTC w Charlotte w Północnej Karolinie transmitowano prezentację online dla 55 tysięcy widzów, a na żywo uczestniczyło 20 tysięcy osób w arenie sportowej.

Dylan Patel:Tak, faktycznie, byli tam dorośli — 20 tysięcy osób.

Prowadzący:Jensen Huang na scenie wymienił Twoje nazwisko, mówił, że „ukrywasz” pewne liczby — Twoje wykresy były wyświetlane na ekranie. Ja — zgaduję, że w imieniu Twoim — byłem podekscytowany widząc, jak CEO największej firmy giełdowej na świecie bezpośrednio odnosi się do Twoich badań i krytyki dot. danych z jego prezentacji. Czy możesz opowiedzieć, jak to wyglądało w praktyce? Byłeś na miejscu?

Dylan Patel:To było naprawdę surrealistyczne. Jedną z rzeczy, które robi SemiAnalysis, jest, że mamy zespół inżynierów prowadzących benchmarki open-source dla wszystkich open-source'owych modeli AI i sprzętu — to mało spektakularne zadanie. Utrzymujemy silne relacje z całą branżą: po stronie sprzętu otrzymaliśmy od OpenAI, Microsoftu, Amazonu, Google, Coreweave, Nebius, Crusoe i innych darowizny sprzętowe warte ponad 5 milionów dolarów, Oracle również przekazał sprzęt na testy.