Clover Integrátor je nástroj pro vytváření datových transformací a budování řešení poskytujících datovou integraci. Je nezávislý na platformě a nenáročný na systémové zdroje. Díky vysoké škálovatelnosti jej lze použít na počítačích třídy PC, výkonných pracovních stanicích i víceprocesorových serverech. Jeho flexibilita umožňuje snadné vytvoření a nasazení aplikací řešících datové migrace, datové transformace i konsolidaci dat mezi různorodými systémy v organizaci.

Clover Integrátor umožňuje pracovat s jakýmikoliv strukturovanými daty. Ať jsou uložena v textových souborech (fixlen, CSV, XML), souborech aplikace MS Excel, dBase, FoxPro, binární podobě nebo v moderních relačních databázích. Clover Integrátor dovoluje taková data libovolně kombinovat, transformovat a přesouvat. Jelikož nativně podporuje znakovou sadu UNICODE, není pro něj problém zpracovávat data v libovolném kódování. Ať již se jedná o data v kódování EBCDIC, ASCII, Latin 2, CP-1250 nebo Simplified Chinese, Clover Integrátor umožňuje pracovat s různými strukturovanými daty.

Další zajímavou vlastností Clover Integrátor je vizuální návrh datových transformací. Umožňuje snadné vytvoření libovolné aplikace manipulující s daty prostřednictvím vhodného spojování předpřipravených komponent ve vizuálním editoru. Je však natolik flexibilní, že zkušený vývojář může specializované části doplnit formou programu, který rozšiřuje funkce standardních komponent. Takový program však nadále zůstává plně přenositelný na kteroukoliv jinou podporovanou platformu.

• Datové přenosy a migrace dat
• Sběr dat a ETL v rámci datového skladu
• Datová integrace
• Data provisioning
• Master data management

Clover Interátor je vytvořen v jazyce Java, který zajišťuje jeho plnou přenositelnost na všechny platformy, na kterých existuje JVM (Java Virtual Machine). K dnešnímu dni je možné jej provozovat na systémech System i, AIX, Linux, Solaris, HP-UX, Windows a dalších. Clover Integrátor je vícevláknová aplikace a dokáže tedy plně využít víceprocesorové servery. Stejně dobře však poběží i na jednoprocesorovém PC. Systém je založen na tzv. transformačním grafu. Transformační graf je množina určitých specializovaných komponent, které jsou navzájem propojeny datovým potrubím. Každá taková komponenta provádí určitou operaci (čtení dat z databáze, zápis dat do formátu Excel, třídění dat, filtrování, FTP přenos apod.).

Data, která jsou Clover Integrátorem zpracovávána, protékají skrz transformační graf a jsou postupně transformována do požadované podoby Během tohoto procesu je možné data vzájemně spojovat a obohacovat. Každá komponenta pracuje jako samostatné vlákno a celý systém implementuje tak zvaný pipeline-paralelism. Ten spočívá v tom, že jakmile je jedna komponenta hotova se zpracováním určitého datového záznamu, předá jej navazující komponentě, aby i ta nad záznamem provedla svoji operaci. Jednotlivé záznamy tak postupují grafem obdobně jako ve výrobním procesu polotovary podstupují postupné obrábění. Díky tomuto přístupu je zajištěna maximální plynulost zpracování. Další výhodou tohoto přístupu je fakt, že jakékoliv množství vstupních dat je možné zpracovat při fixních nákladech na operační paměť systému.

Firma Aegis s.r.o. pracuje na rozšíření a integraci pro System i. Základním rozšířením je spouštění transformací z i5/OS pomocí systémových příkazů a operátorské rozhraní pro sledování aktivních transformací (aktivních úloh) z prostředí i5/OS.

V současné době vytváříme následující transformační komponenty:

• Volání i5/OS programů a procedur servisních programů
• Volání systémových i5/OS příkazů
• Nastavení členů databázových souborů

Následně plánujeme:

• Integrace CloverGUI do WebSphere Development Studio for System i
• Instalace a distribuce oprav prostředky System i

Je výkonnou částí technologie Clover, která na základě transformačního předpisu (transformačního grafu ve formátu xml) provádí pomocí transformačních komponent veškeré operace s daty.

Jsou části transformačního grafu a provádějí elementární specializované operace s daty. Každá z komponent má povinné a nepovinné atributy, které řídí zpracování dat komponentou. Jsou rozděleny do skupin dle svého zaměření. Čtecí komponenty jsou na úplném počátku transformace a zajišťují načtení dat uložených v různých souborových formátech nebo databázích. Zapisovací komponenty naopak ukládají transformovaná data do výstupních souborů či databází. Transformační komponenty provádí zpracování/transformaci dat např. agregaci, setřídění, filtrování atp. Kromě výše uvedených komponent pak existuje celá řada komponent se specifickým zaměřením, které rozšiřují možnosti transformace dat.

Prostřednictvím vstupních a výstupních portů jsou komponenty propojeny „datovým potrubím“ (hranami), jímž data postupují transformačním grafem a postupně se transformují do požadované podoby. Metadata repository uchovává popis struktury dat/záznamů, proto název metadata, které "tečou" po hranách mezi komponentami.

Clover Integrátor jako serverová aplikace je doplněn o vizuální návrhář datových transformací - clover.GUI. Tento nástroj umožňuje vytvářet a upravovat datové transformace grafickou formou, kdy vývojář vybírá z palety existujících komponent ty potřebné a vzájemně je spojuje tak, aby výsledkem byl transformační graf plnící požadovaný úkol. Vizuální návrh podstatně zjednodušuje a zpřehledňuje celý proces. Výsledkem je samodokumentující „kód", který může být spuštěn na kterékoliv z podporovaných platforem.

Je možné vytvářet i dílčí transformace (tzv. subgrafy či makra), které jsou později použity jako stavební prvky v rámci náročnějších transformací. Tím odpadá opakované „vynalézání" téhož stále dokola. Pomocí vizuálního návrháře můžeme sestavit graf metodou drag&drop výběrem komponent z palety dostupných komponent. Tyto komponenty pak můžeme vzájemně propojit přes vstupní/výstupní porty.

Jednotlivé větve grafu mohou být patřičným způsobem fázovány a tímto spouštěny ve stanoveném pořadí. Dále je možno vytvářet tzv. podmíněné větve grafu, tzn. že kód pro danou větev je vygenerován/spuštěn, jestliže je splněna určitá podmínka. Ke zpříjemnění práce slouží příkazy undo&redo (možnost vracet se v návrhu dopředu či dozadu), copy&paste či možnost měnit měřítko zobrazení. Pomocí horizontálního a vertikálního posuvníku je možno vytvářet i grafy přesahující velikost jedné obrazovky. V případě potřeby pak jediným kliknutím myši můžeme zobrazit celý graf na obrazovce (měřítko zobrazení se automaticky přestaví). Jednotlivé komponenty grafu lze nastavovat pomocí parametrů. Zadávání parametrů probíhá vizuálně prostřednictvím dialogového okna. Parametry zadáváme pomocí číselných/textových konstant, výběrem z combo-boxu, popřípadě vložením reformátovacího kódu a definováním datové struktury výstupu z komponenty. Každou komponentu je možno opatřit příslušným komentářem do samotného textového okna, který popisuje účel a chování komponenty v daném grafu.

Clover Server přináší do Clover engine nové výrazné vlastnosti, potřebné pro práci v podnikovém prostředí. Jedná se o plně vybavenou serverovou aplikaci s bohatými možnostmi administrátorské konzoly, využívající WEB přistup.

Hlavní vlastnosti Clover Serveru:

• Paralelní běh více transformací
• Podporu multi-uživatelské interakce
• Prostředky ladění výkonu transformací
• Rozdělení transformací do vláken a jejich správu pro lepší využití procesorových zdrojů
• Pool grafů udržovaných v paměti pro jejich rychlejší start
• Plánování běhů grafů - Plný záznam běhu grafu s jeho historií
• API interface pro implementaci libovolné WEBService

Další vlastnosti:

• Server běží v aplikačním kontejneru (Tomcat, JBoss, WebSphere, GlassFish, ..etc..) na libovolné JVM (Unix, Windows, Linux, AS/400 a mnoho dalších)
• Může být plně „zapouzdřen“ do jakékoli aplikace
• Veškerá komunikace probíhá přes http/s protokol – to přináší snadnou integraci do stávající síťové infrastruktury
• Pool již použitých připojení do databází pro rychlejší start transformací
• Bezpečnostní modul s podporou uživatelských rolí a skupin
• Kooperace se systémy pro správu zdrojových kódů a metadata repository

Je základní nástroj pro management transformací. Umožňuje spouštět transformace, kontrolovat jejich běh a indikovat úspěšnost zpracování. Správa uživatelů, skupin uživatelů a jejich oprávnění navíc dovoluje kontrolovat přístup k řízení transformačního procesu.

Slouží jako alternativní konzole pro management transformací pomocí JMX protokolu. K této činnosti lze využít jakoukoli konzoli, která podporuje JMX protokol.

Vlastnosti jednotlivých edicí:

Clover Integrator Standard Edition

• Engine pro datové transformace a migrace s možností spouštění v režimu „knihovny transformačních funkcí“ či prostřednictvím HTTP API.
• Není integrován s CloverGUI.
• Umožňuje využívat pouze 1 sandbox – jednouživatelský mod.
• Neobsahuje WebService API a pouze omezený administrační panel.

Clover Integrator Enterprise Edition

• Oproti Standard Edition umožňuje víceuživatelské využití – podpora pro více sandboxů.
• Podpora pro WebService API, plně integrován s CloverGUI

Clover Integrator Suite

• ServerEdition bez omezení na počet CPU + GUI multilicense + SCM Repository + 10 MD consulting

Při profesionálním nasazení jakéhokoliv softwarového nástroje je potřeba mít zajištěnou servisní podporu v případě výskytu chyb či neočekávaného chování a také možnost využít služeb zkušených konzultantů, kteří mají s danou technologií praktickou zkušenost. Jak podpora, tak konzultační služby jsou pro Clover Integrátor for System i nabízeny prostřednictvím firmy Aegis s.r.o.