Na stránkách cloudsvět už jsme mluvili o time-series datech typických pro IoT senzory a procházeli možnosti ukládání těchto dat. Zmínil jsem, že existuje víc variant a všechny mají smysl – wide-column NoSQL jako Cassandra, NewSQL Vertica nebo i klasické relační databáze. Existuje ale i kategorie specialistů právě na tento typ dat a zkusil jsem se […]
Senzorické informace jsou typicky kategorie “time series”, tedy jednoduché zprávy obsahující nějakou naměřenou hodnotu. Nejsem expert na data, ale z pohledu celkové architektury jsem se chtěl podívat jak se problém ukládání tohoto typu dat rámcově řeší. Jak vypadají time series data V zásadě pro každý senzor musíme mít jeho identifikaci a kategorizaci, tedy například, že […]
Chceme provozovat aplikace v různých cloudech a každý měsíc si prozkoumáme, kde je to teď nejlevnější a tam to popřesouváme. Také chceme dělat cloud bursting tak, že aplikace běží například v našem privátním cloudu a když potřebujeme přidat na výkonu, přisypeme si ho tam trochu z public cloudu. Také to chcete takhle? Je to podstatně […]
Část 5 z celkových 6 v seriálu OpenStack Swift praktickyZatím jsme vytvářeli kontejnery, které byly dostupné pouze uživatelům našeho tenantu (tedy kromě vygenerování dočasné URL). OpenStack Swift ale disponuje možností vytvářet přístupová pravidla (ACL) jak pro čtení, tak pro zápis. Ve výchozím stavu nebudou žádná (tedy ke kontejneru mohou jen uživatelé tenantu). Můžete povolit přístup […]
Část 4 z celkových 6 v seriálu OpenStack Swift praktickySwift kotejner můžete označit jako Private nebo Public. Může ovšem být situace, kdy obsah kontejneru nechcete volně přístupný všem, ale současně vznikne potřeba někomu dát velmi rychle a jednoduše možnost objekt stáhnout, možná i modifikovat. Například máte soubor ve Swiftu a na email je moc velký. […]
Část 3 z celkových 6 v seriálu OpenStack Swift praktickySwift umožňuje u objektu nastavit časově omezenou platnost a ten se ve stanovené datum a čas stane nepřístupným. Můžete tak zabránit k přístupu k dokumentům, které už v daný okamžik nebudou aktuální (standardy, výkresy). Ve Swift implementaci může rovněž běžet čistící proces, který takto vypršené objekty […]
Část 2 z celkových 6 v seriálu OpenStack Swift praktickyPrvní pokročilá funkce, kterou si vyzkoušíme, je schopnost Swiftu držet všechny předchozí verze objektu. Funguje to tak, že vytvoříme jeden kontejner pro archivaci starších verzí a také jiný kontejner, z kterého budou starší verze propadávat do archivu. Výsledkem bude, že v kontejneru budeme mít vždy nejposlednější […]
Část 3 z celkových 3 v seriálu Praktický úvod do RedisV závěrečné části seriálu o NoSQL in-memory databázi Redis si ukážeme, jak funguje clustering. Minule jsme rozebrali transakční zpracovaní a v první části jsme si Redis nainstalovali a naučili se používat. Cluster Redis cluster podporuje dvě základní operace – sharding a replikaci. Sharding je o […]
Část 2 z celkových 3 v seriálu Praktický úvod do RedisV minulém díle jsme se seznámili se základy práce s Redis, dnes se zaměříme na jedno pokročilejší témata – transakce. Transakce První potíž běžné práce s Redis spočívá v tom, že může být situace, kdy chceme nastavit hodnoty dvou klíčů, které spolu souvisí. Tedy nemá […]
Část 1 z celkových 6 v seriálu OpenStack Swift praktickyNa cloudsvet jsme se už seznámili s object storage obecně i s implementací v rámci OpenStack Swift. Přišel čas vyzkoušet ji prakticky. Klikáním k prvním pokusům Jak už jsme na cloudsvet zaznělo, Swift je vyvíjen v rámci OpenStack projektu. Dá se použít samostatně a také je […]
Dnes se podíváme na NoSQL databázi, která není “jen” dobrá pro web – ona vlastně web je. Co je CouchDB Na stránkách cloudsvet jsme mluvili o MongoDB, která je nejúspěšnějším zástupcem NoSQL Document databází. Viděli jsme, že to co se ukládá, je relativně volná datová struktura popsaná jako JSON (uložená binárně jako BSON). CouchDB je […]
Část 1 z celkových 3 v seriálu Praktický úvod do RedisRedis je úžasně jednoduché a při tom velmi mocné NoSQL in-memory key-value úložiště. Potřebujete akcelerovat vaší aplikaci jednoduše a při tom využít distribuované zdroje a současně mít redundanci nebo transakční ochranu? Tohle je úkol pro Redis. Redis – NoSQL in-memory kouzelník Pokud vaše aplikace musí […]
Část 3 z celkových 3 v seriálu Praktický úvod do MongoDBNejprve jsme se v seriálu o MongoDB seznámili se základním ovládáním, následně jsme se zaměřili na dolování agregovaných dat a dnes si ukážeme clustering. Clustering bude využívat dvou základních principů, které je možné (a vhodné) kombinovat. Replikace, která zajišťuje, že na vícero MongoDB nodech jsou […]
Část 2 z celkových 3 v seriálu Praktický úvod do MongoDBMinule jsme se naučili MongoDB používat. Dnes si ho trochu “narychlíme” vytvořením indexů, ale hlavně se podíváme na velmi mocné možnosti agregování dat. Indexy MongoDB ve výchozím stavu optimalizuje svoje chování pro vyhledávání podle _id. Pokud se potřebujeme dozvědět víc o tom, co náš dotaz […]
Část 1 z celkových 3 v seriálu Praktický úvod do MongoDBMongoDB je moderní a nejoblíbenější NoSQL databáze. V tomto dvoudílném seriálu ale teorii řešit nebudeme (úvod do NoSQL najdete na v tomto článku) – jednoduše si to vyzkoušíme! Instalujeme Instalace v Ubuntu 14.04 server je velmi jednoduchá: Pro základní seznámení s MongoDB použijeme příkazovou řádku […]
Ukládání strukturovaných dat bylo po tři dekády doménou relačních databázových systémů (RDBMS). Proč je nahradit za NoSQL, které stojí na zcela jiných principech? NoSQL vzniklo, protože relační DB neobstály v některých scénářích Na stránkách cloudsvet.cz už jsem shrnoval CAP teorém a ACID vlastnosti databázových systémů. Relační DB přináší ACID, tedy transakční konzistenci, která vede na […]
Objektovou storage Swift už jsme na cloudsvet.cz představili, ale jak vlastně ukládá data? Proč dokáže efektivně běžet na prakticky libovolném počtu nodů a disky i nody můžete přidávat za plného provozu? Od file systému ke skutečné škálovatelnosti Připomeňme si, že adresa objektu je ve formátu země, město, ulice, tedy /account/container/object. Když Swift požádáte o objekt […]
Pro vývoj, testování i produkci jsou databázové systémy důležité a mnoho času se spotřebovává na jejich instalaci, nastavení, replikaci a zálohování. Co kdybyste místo získání pouhé VM s nějakou šablonou (tedy IaaS) mohli podobným způsobem pracovat rovnou s databází? Vytvořit novou instanci, zajistit replikaci, provést zálohu nebo obnovení nebo vytvořit přístupový login? Co kdyby to […]
Swift, v překladu rychlý nebo také pták rorýs, je zástupce objektové storage, o kterých jsem obecně psal minule. Dnes si představíme tohoto zajímavého zástupce. Proč zrovna Swift? Protože je součást OpenStack projektu – a nejen to, společně s Nova (orchestrací virtualizace) je přímo dědou zakladatelem celého OpenStack. OpenStack Swift Před rokem 2010 vytvořil public cloud […]
Na stránkách cloudsvet.cz máme rubriku Scale-out datových modelů – objektová storage je rozhodně zajímavým zástupcem. Jak funguje a jaké má použití? Proč ji nasadit a proč ne? Bloková storage aneb disk na kšandě Pevný disk začal jako jednotka připojená drátem k počítači a po mainframe začátcích dlouho představoval placatý SCSI drát mezi základní deskou a […]
