Voor de Square Kilometre Array, de nieuwe megaradiotelescoop, komen er in West-Australië 130 duizend antennes te staan, verdeeld over 512 velden. Elke seconde produceren deze één petabit aan data. Astron ontwikkelt de 288 watergekoelde computerborden die de gegevens verwerken en zo een bijdrage leveren aan de ontrafeling van het heelal.
Met een ontvangend oppervlak van één vierkante kilometer wordt de Square Kilometre Array (Ska) de grootste en meest gevoelige radiotelescoop ter wereld. In Zuid-Afrika en West-Australië komen honderden satellietschotels en duizenden antennes. Het instrument gaat de eerste beelden produceren uit de tijd waarin de vroegste sterren ontstonden en kan daarmee zorgen voor fundamentele doorbraken. Het begin van de bouw staat gepland voor 2021.
Niet alle processen in het heelal spelen zich af op dezelfde golflengte. Daarom zal de Ska op verschillende frequenties kunnen waarnemen. De parabooltelescopen in Zuid-Afrika gaan meten van 350 MHz tot 4 GHz, terwijl de antennevelden in West-Australië het gebied tussen 50 en 350 MHz voor hun rekening nemen. Op de hoge frequenties vinden we de signalen die op ons afkomen, op de lage de signalen die van ons af bewegen, zoals die van net na de oerknal – denk aan het dopplereffect.
Met Astron zijn we betrokken bij de ontwikkeling van de Ska-Low in West-Australië, die de lage frequenties beluistert. Dit systeem zal bestaan uit ongeveer 130 duizend antennes verdeeld over 512 velden of ‘stations’. Per station combineren we de antennesignalen tot een bundel aan de hemel. De resulterende bundels voegen we op hun beurt samen in de correlator beamformer. In de correlator bepalen we het gemeenschappelijke signaal tussen de stations, de eerste stap richting een hemelkaart. In de bundelvormer tellen we de signalen van groepjes stations bij elkaar op om smalle of heel gevoelige bundels te maken.
Elke seconde produceren de antennes één petabit aan data. Voor de verwerking hiervan ontwikkelen we het Gemini-computerbord. Daarbij werken we samen met de Commonwealth Scientific and Industrial Research Organisation (Csiro) uit Australië en de Auckland University of Technology (AUT) uit Nieuw-Zeeland en gebruiken we kennis die we hebben opgedaan bij de Lofar-radiotelescoop en de recente Apertif-update van de Westerbork Synthesis Radio Telescope.
Eigen koelblok ontwikkeld
Hart van het Gemini-bord is een Virtex Ultrascale+ van Xilinx. De 6840 vermenigvuldigers van deze fpga krijgen de data aangeleverd via vier 100 Gigabit Ethernet-interfaces. Eén bord kan niet alle output van alle 512 antennestations verstouwen; in totaal zijn er 288 kaarten nodig. De onderlinge gegevensuitwisseling loopt over optische verbindingen. Hiervoor heeft de Gemini drie mid-board opticamodules aan boord, die elk data kunnen versturen over twaalf glasvezels met snelheden tot 25 Gb/s. Voor de tijdelijke opslag van gegevens gebruikt het bord een ddr4-sodimm-module en intern geheugen van de fpga.
De verwerkingselektronica komt in een apart gebouw in de Australische woestijn, goed afgeschermd van de antennes. Daar vullen we 24 19 inch subracks elk met twaalf Gemini-kaarten. Het gebruik van subracks met een backplane voor de distributie van de glasvezels, de voeding en de koeling maakt dat we modules snel kunnen verwisselen. Dat is belangrijk om de beschikbaarheid van de telescoop zo hoog mogelijk te houden.
Een grote uitdaging bij het ontwerp van de Gemini is de fpga die maar liefst 130 W aan vermogen vraagt. Met de lage corespanning van 0,7 V kunnen de stromen naar de chip oplopen tot 150 A. Om dit goed te laten werken, simuleren we eerst zo veel mogelijk. Bij het power delivery network krijgen we zo van tevoren een goed beeld van de spanningsval over de verschillende powerplanes, de stromen in de via’s en het effect van de ontkoppeling. Ook de high-speed interconnects en het ddr4-geheugen simuleren we uitgebreid.
Met 130 W op een chip van vijftig bij vijftig millimeter en dat keer twaalf met een dozijn kaarten in een subrack is goede koeling van cruciaal belang. We doen dat met water. Dit heeft als grote voordeel dat we de warmte kunnen opnemen bij de bron en eenvoudig kunnen transporteren naar waar we haar kwijt willen, bijvoorbeeld in de grond van de woestijn.
Waar we bij onze eerdere prototypes standaard waterblokken gebruikten, veelal uit de gamingindustrie, of eenvoudige blokken voor alleen de fpga, hebben we voor de Gemini een eigen koelblok ontwikkeld waarmee we meer dan 95 procent van alle door de assembly geproduceerde hitte willen afvoeren. Aan de onderkant hebben we kamertjes gefreesd zodat het blok precies rust op de componenten op de printplaat en optimaal warmte wegleidt. Bovenop hebben we een patroon uitgefreesd voor de daadwerkelijke warmteafvoer.
We hebben verschillende onderzoeken uitgevoerd om het beste patroon te vinden. Rechte gleuven blijken weinig weerstand op te leveren en daardoor weinig warmte op te nemen, terwijl pilaartjes juist een hoge weerstand geven en daarmee een optimale warmteopname. Voor de Gemini zijn we uitgekomen op een waterblok met een meanderend patroon, dat goed koelt én goed in grote aantallen te produceren is.
Om de koeling te testen, hebben we een fpga-ontwerp gemaakt dat zo veel mogelijk logica en vermenigvuldigers aan het werk zet. Dit ontwerp is opgebouwd uit 1152 heater-elementen die elk bestaan uit 64 pijplijnen. Elke pijplijn maakt gebruik van vermenigvuldigers, ram-blokken en lookup tables. De logica werkt op een klokfrequentie van 400 MHz. Het resultaat kan 130 W aan warmte genereren. De warmteontwikkeling meten we met infraroodfoto’s en temperatuursensoren in de chips en modules op de kaart. De waterkoeling blijkt te functioneren: de fpga wordt niet warmer dan 60 graden Celsius.
Productie in 2020
Met de huidige prototypes kunnen we de functionele firmware goed testen. Maar we zijn er nog niet. Voor een optimale dataverwerking hebben we meer geheugen nodig in de fpga. We hebben daarom ook een Gemini-versie ontworpen met een fpga die high-bandwidth memory aan boord heeft. Voor de productie van deze kaart werken we samen met Neways in Leeuwarden. Dat heeft voor ons de design for manufacturing-analyse uitgevoerd. Zo kunnen we de kwaliteit van onze producten waarborgen en de stappen naar de productie van 288 kaarten zo klein mogelijk houden.
Internationale projecten zoals de Ska, waarbij honderd organisaties uit twintig landen samenwerken, hebben een lange doorlooptijd. De planning is dat de Gemini-kaarten in 2020 in productie gaan. Naar verwachting zal de nu gebruikte technologie tegen die tijd standaard zijn geworden, en daarmee een stuk kostenefficiënter.