Base de données avancée Flashcards
Qu’est-ce que signifie “NoSQL” en informatique ? :
“NoSQL” signifie “Not Only SQL” et se réfère à une famille de bases de données qui ne sont pas basées sur le modèle relationnel traditionnel des bases de données SQL.
Pourquoi les bases de données NoSQL sont-elles parfois préférées aux bases de données SQL :
Les bases de données NoSQL sont parfois préférées pour leur capacité à gérer des charges de travail non ACID et leur flexibilité en termes de schéma de données.
Quel type de base de données NoSQL est idéal pour l’analyse de données ?
Les bases de données NoSQL de type colonne sont idéales pour les opérations de lecture et d’analyse de données.
Pourquoi utiliser une BDD en graphe ?
Les bases de données NoSQL de type graphe sont idéales pour modéliser et analyser des relations complexes entre des données.
Quel est l’un des principaux inconvénients des bases de données NoSQL de type document ?
Les bases de données NoSQL de type document peuvent nécessiter une validation plus stricte du côté de l’application en raison de l’absence de schéma.
Pourquoi est-il important d’assurer la fiabilité d’une application de données intensives ?
La fiabilité garantit que l’application fonctionne comme prévu, même en cas d’erreur.
Quelle est la principale différence entre une faute et un échec dans un système informatique ?
Une faute est une déviation de la spécification, tandis qu’un échec signifie que le système ne fonctionne plus comme prévu.
Quel est l’un des moyens de réduire les fautes matérielles dans un système informatique ?
La redondance est l’un des moyens de réduire les fautes matérielles, car elle prend le relai lorsque des composants échouent.
Quel est l’objectif principal d’une application de données intensives ?
L’objectif principal est de gérer et de traiter efficacement de grandes quantités de données de manière fiable
Quelles sont les trois principales fonctionnalités d’une application de données intensives ?
Les trois principales fonctionnalités sont le stockage de données, la recherche de données et le traitement asynchrone.
Pourquoi la maintenabilité est-elle un aspect crucial d’une application de données intensives ?
La maintenabilité garantit que l’application peut être gérée et modifiée au fil du temps, ce qui réduit les coûts de maintenance.
Quelles sont les trois règles pour construire un logiciel maintenable ?
Les trois règles sont l’exploitation aisée, la simplicité et l’évolutivité.
Comment les bases de données NoSQL diffèrent-elles des bases de données SQL en termes de schéma ?
Les bases de données NoSQL n’imposent pas de schéma rigide, tandis que les bases de données SQL nécessitent un schéma défini à l’avance.
Quel type de base de données NoSQL est le plus adapté pour la gestion de données complexes et riches en relations ?
Les bases de données de type graphe sont idéales pour gérer des données riches en relations.
Quel avantage offre l’utilisation d’une base de données en colonne dans le contexte de l’analyse de données ?
Les bases de données en colonne sont plus rapides pour les requêtes d’analyse de données en raison de leur structure de stockage.
Comment les bases de données NoSQL clé-valeur diffèrent-elles des bases de données NoSQL document ?
Les bases de données clé-valeur sont généralement utilisées pour stocker des données en mémoire, tandis que les bases de données document stockent des données sous forme de documents JSON.
Quelle est la principale différence entre les bases de données NoSQL et les bases de données SQL en termes de propriétés ACID ?
Les bases de données NoSQL sont parfois non ACID.
Pourquoi l’abstraction et l’observabilité sont-elles importantes pour la maintenabilité d’une application de données intensives ?
L’abstraction simplifie la compréhension du code, tandis que l’observabilité permet de surveiller l’état de santé de l’application, ce qui facilite la maintenance.
Pourquoi faut il utiliser des IDs à la place de chaine de caractère ?
Réduit la duplication de données, modification beaucoup plus simplifiée si l’information change.
Quel est le problème de la normalisation par id en NoSQL ?
En général, c’est très mal géré, c’est très lent comparé à du SQL (project BDD avancée avec les restaurants). C’est souvent l’application qui doit par la suite faire les jointures.
Quand utiliser du SQL, et du NoSQL ?
Les bases de données relationnelles offrent un meilleur support pour les relations complexes, quand un veut un schéma fixe, et des règles sur les schémas, tandis que les bases de données documentaires excellent en termes de flexibilité de schéma et de localité des données.
Qu’est ce que la localité des données ?
Les données fréquemment utilisées ensemble sont proches physiquement sur le disque, et donc c’est super rapide à accéder, contrairement à des relations en SQL. NoSQL utilise ça.
Quel est le désavantage d’un index ?
Il augmente le temps d’écriture, car il doit organiser de manière efficace la donnée lors de le l’écriture.
Quels sont les inconvénients des Hash indexes ?
Si beaucoup de données il faut beaucoup de RAM. La recherche par plage n’est pas possible, ou alors il faut tester chaque combinaison possible de la plage, car le hash indexes ne range pas les données dans un ordre.
Comment fonctionnent les SSTable ?
Comme Hash indexes, mais on va venir trier les clés stockées au préalable.
Quels sont les avantages de SSTable sur les hash index ?
Recherche par plage possible, gain de RAM car possibilité de stocker juste des plages d’index en mémoire pour aller chercher les données sur le disque.
Qu’est ce qu’une memtable ?
C’est une structure en arbre, en RAM, qui va stocker les dernières valeurs écrites. Une fois sa limite atteinte (en Mo), elle va créer un nouveau segment de base de données, en format SSTable
Qu’est ce que LSM-Tree ?
Est composé d’une memtable. Une fois que cette memtable écrit un nouveau segment, LSM va venir compacter les segments. LSM ne supprime pas les données sur le disque directement, il faut le marqueur “tomb”
Quel est le principe des B-Tree ?
Fonctionne par petit bloc (Ko), qui se font références l’un l’autre. Ces blocs sont triés par plage. On va pouvoir donc faire des recherches par dicotomie dessus. Les feuilles contiennent les adresses sur le disque des données.
Les différences entre B-Tree et LSM-Tree ?
L’un avec bloc, l’autre segment. L’un supprime les données plus à jour, l’autre les conserve.
Qui gère le mieux le threading entre B-Tree et LSM-Tree ?
LSM, car B-Tree verrouille l’arbre quand il écrit.
LSM-Tree vs B-tree en lecture/écriture ?
LSM plus rapide en écriture, B-tree plus rapide en lecture.
Qui est le plus utilisé en SQL ? LSM ou Btree ?
C’est B-tree
Qu’est ce que le GeoHashing ?
On divise le terre en 32 morceaux (base32). ça va nous donner un numéro. On redivise la terre en 32 morceaux, on aura le deuxième numéro. On peut faire ça de manière infinie après.
Qu’est ce que le RTree ?
Un index pour les données géospatiale. On englobe les données par des gros rectangle, puis on créé des petits rectangles dans ces gros rectangles…
Quelle BDD utiliser quand il y a beaucoup de many-to-many ?
Graph Database ou SQL
Que possède un sommet dans une GraphDatabase ?
ID, des arrêtes, des propriétés
Que possède une arrête dans une GraphDatabase?
ID, sommet de départ et d’arrivée, étiquette de relation et des propriétés (par exemple longueur de route)
Qu’est-ce qu’une transaction dans le contexte du traitement de données dans les bases de données ?
Une transaction est un ensemble d’opérations de lecture et d’écriture qui forment une unité logique dans le traitement des données.
Quelle est la principale caractéristique du traitement en ligne des transactions (OLTP) ?
Le traitement en ligne des transactions (OLTP) implique principalement des opérations de lecture et d’écriture à faible latence pour des transactions en temps réel.
Qu’est-ce que le traitement analytique en ligne (OLAP) ?
Le traitement analytique en ligne (OLAP) consiste en des requêtes qui analysent un grand nombre d’enregistrements, effectuent des agrégations et génèrent des rapports pour soutenir la prise de décision.
Comment les entrepôts de données sont-ils utilisés pour l’analyse de données ?
Génération de rapports complexes pour la BI.
Quels avantages apporte la séparation des systèmes OLAP et OLTP pour la gestion des données ?
OLTP pour les applications en production, OLAP pour les rapports. ça permet de ne pas bloquer l’application en prod, et d’avoir une BDD optimisée pour la BI.
Datawarehouse : SQL ou NoSQL ?
En général, c’est du SQL.
Qu’est ce que le schéma en étoile ?
Contient une table de de fait (événements), et plusieurs tables de dimensions, reliées par clé étrangère aux facts
Qu’est ce qu’une table de fait ?
C’est une table qui regroupe des événements, par exemple une vente.
Qu’est ce qu’une table de dimension ?
C”est une table qui ajoute des informations aux facts (événements). Par exemple, des détails sur le produit, sur le lieu de l’achat…
Qu’est ce que le schéma en flocon de neige ?
Comme le schéma en étoile, mais les table de dimension peuvent encore être redivisées.
Comment fonctionne une BDD par colonne ?
On stocke les données par colonnes, et pas par ligne. Ce qui veut dire que chaque colonne possède son propre fichier, dans le même ordre que les lignes dans la table (pour les réassembler). On charge moins de données du coup.
Est-ce que l’ordre des lignes à une importance en BDD colonne ?
Non, en général il y a une clé qui permet de regrouper les lignes
Pourquoi les fonctions d’aggrégations sont plus rapides en BDD colonne ?
Moins de fichier à charger, et ces requêtes sont mises en cache.
Qu’est ce qu’une vue matérialisée ?
C’est un résultat de requête, qui est mis en cache, et mis à jour à chaque nouvelle écriture.
Vue matérialisée vs vue SQL ?
Une vue SQL est juste un raccourci vers une requête, alors que la vue matérialisée à le résultat en cache.
Qu’est ce qu’un cube de données ?
Une vue matérialisée, mais avec des ressources groupées et aggrégées (genre produits x ventes (aggrégées). ça peut aller à + de 2 ressources.
Information vs données dans l’architecture Lambda ?
Information est calculée à partir de la donnée
Pourquoi l’architecture Lambda réduit l’erreur humaine et applicative ?
Car c’est un système de journalisation des données. Comme les données sont immuables, on peut facilement retourner à un état correct (en supprimant les mauvaises données), et recalculer les informations
Quel est le principe important d’une donnée dans l’architecture Lambda ?
La donnée est immuable, on ne peut pas la modifier.
Quelles sont les 3 couches dans l’architecture Lambda ?
Batch, Speed, et Server layer
A quoi sert la couche Batch dans l’architecture Lambda ?
La couche Batch sert à calculer les informations à partir des données. Batch va sauvegarder sur le disque ces vues matérialisées.
A quoi sert la couche Speed dans l’architecture Lambda ?
La couche Speed stocke temporairement les données avant le Batch. Cela permet d’avoir une vision en temps réel des informations ou données
A quoi sert la couche Serving Layer dans l’architecture Lambda ?
Interface pour communiquer avec les vues du Batch layer, du speed Layer, et abstrait le sharding de la database.
Quelle est la sécurité par défaut de MongoDB ?
Il n’y en a pas.
Qu’est ce que la réplication en BDD ?
Principe de conserver une copie des données sur plusieurs machines connectées entre elles.
Quels sont les avantages de la réplication ?
Tolérance aux pannes, scaling lecture (et écriture mais + complexe), maintenir les données proches géographiquement de l’utilisateur
Qu’est ce qu’un replicas ?
C’est un noeud qui copie les données, basé sur un master (leader)
Comment fonctionne la replication single-leader ?
On designe un noeud en tant que master. Il prend toute l’écriture. Lors de l’écriture, il envoie les modifs aux replicas. Les replicas prennent la lecture (le master peut aussi)
Replication synchrone vs asynchrone ?
Synchrone : lors de l’écriture, on attend que tous les replicas soient mis à jour avant de renvoyer une 200. Asynchrone on attend pas.
Pourquoi les replicas sont en read-only ?
Car ce ne sont pas les sources de vérité.
Avantage de la réplication synchrone ?
On s’assure que tous les replicas soient à jour.
Inconvénients de la réplication synchrone ?
On doit attendre que tous les replicas soient à jour, si un replicas tombe il y a une 500 qui est drop.
Une approche de la réplication synchrone viable ?
On met qu’un seul replicas en synchrone, et les autres en asynchrone. Comme ça on s’assure qu’on a au moins un noeud à jour.
Comment ajouter un nouveau replicas ?
On dump le master, on copie le dump sur le nouveau replicas, on lance le replicas qui va se mettre à jour sur le master en fonction de son journal interne.
Comment gérer la défaillance d’un replicas ?
Avec le journal interne qui est sauvegardé sur le disque, on peut savoir ou en était le replicas. Il faut juste se mettre à jour
Comment gérer la défaillance d’un master ?
Il faut faire un failover (basculement). On doit déterminer un nouveau leader (en général celui qui est le + à jour), on met à jour les replicas pour pointer vers le nouveau leader, on informe l’ancien master qu’il n’est plus le leader.
Comment déterminer qu’un master est défaillant ?
Il faut que les replicas ping le master de manière récurrente. (toutes les 30 secondes par ex). Si trop court on bascule pour rien, si trop long on perd des données.
Problème récurent avec failover et asynchrone ?
Si le master tombe alors qu’il n’avait pas transmis ses transactions après avoir retourné une 200, alors on va perdre une partie des données, car quand il reviendra, il ne sera plus considéré comme le leader (et donc les données sont supprimées)
Qu’est ce que la Statement-based replication ?
Les replicas vont executer les requêtes qu’à executé le master.
Quel est le problème avec le Statement-based replication ?
Si la requête possède des fonctions non déterministe, on va avoir un delta entre les replicas (NOW() ou RAND())
Qu’est ce que la replication Write-Ahead Log ?
On va copier la structure de données du master aux leaders (SSTable ou BTable)
Qu’est ce que la replication Logique ?
On va juste envoyer les données modifées (insert, delete, update), et c’est les replicas qui vont faire en sorte d’appliquer ces modifs. (logique interne)
Quel peut être le problème de l’asynchrone si on écrit sur un master et qu’on lit sur un replicas ? Comment régler ce problème ?
Le replicas peut ne pas être à jour. Dans ce cas, il faut ajouter un timer sur nos modifs, et ne lire les replicas que si le timer est épuisé. (1min on considère qu’ils sont à jour)
Quel peut être le problème de l’asynchrone si on ne lit pas les mêmes replicas ?
On peut avoir des modifs en arrière lors du rechargement de la page. Il faut s’assurer que l’utilisateur tape tout le temps dans le même replicas.
Qu’est ce que la réplication multi-leader ?
Il y a plusieurs leaders, réparties en plusieurs data-center.
Quel est l’avantage d’une réplication multi-leader ?
L’écriture peut se faire sur plusieurs noeuds, tolérant aux pannes d’un data-center
Qu’est-ce qui peut être comparé à une réplication multi-leader ?
Une app offline et online, un outil d’écriture collaboratif…
Comment peut être géré les conflits en multi-leader ?
LWW (Last write wins) ou fusion de données ou fix manuel
Qu’est ce que le LWW (Last write win) ?
On applique un horodatage sur les requêtes. Si il y a un conflit, alors on prend la requête la plus récente. On risque de perdre des données, mais c’est simple à mettre en place.
Qu’est ce que la fusion de données (conflits replication) ?
On concatène les données en conflit (A et B sont conflits, on va insérer “A/B” ou “AB”. On laisse ensuite les utilisateurs régler le conflit.
Quelle est la topologie la plus utilisée en multi-leader ?
La topologie all-to-all, car elle est moins sensible aux pannes des leaders.
Comment fonctionne la replication sans leader ?
Le client va écrire dans plusieurs noeuds en même temps. Il va aussi lire dans plusieurs noeuds en même temps.
Comment un noeud tombé en panne rattrape son retard dans une replication sans leader ?
Lors de la lecture, le client va lire dans plusieurs noeuds. Si un noeud est en retard sur un valeur (avec un numéro de version), il va se mettre à jour. Il y a aussi une MAJ asynchrone.
Comment est géré les multi-datacenters dans une replication sans leader ?
Le client écrit dans tous les noeuds d’un datacenters, mais le reste se fait en asynchrone.
Qu’est ce que le partitionnement ?
Le fait de diviser une base de données, tables, voir lignes en plusieurs BDD
Pourquoi faire du partitionnement ?
Car la replication doit copier toutes les données. Cela peut être trop lourd
Est-ce qu’un noeud peut être à la fois leader et replicas dans le sharding ?
Oui, sur le shard 1 il est leader, sur le shard 2 il est replicas
Qu’est ce qu’un sharding biaisé ?
Un shard mal équilibré (une machine a trop de charge)
Pourquoi le sharding au hasard n’est pas viable ?
Car il n’y a pas de logique de lecture, donc il faut lire tous les noeuds
Qu’est ce que le sharding par plage ?
Par exemple, diviser les users par âge
Pourquoi le sharding par plage est complexe ?
Car il faut trouver une plage équitable. Si on sépare par exemple par la première lettre, charge déséquilibrée (car + de A que de Z)
Qu’est ce que le sharding par hashage ?
On utilise un algo de hash qui produit des valeurs dans une plage fixe. On divise cette plage par le nombre de noeuds. On prend le premier chiffre, qui va nous indiquer sur quelle shard pointer.
Quel est l’inconvénient du sharding par hashage ?
Les requêtes par plage deviennent compliquer (il faut analyser plusieurs noeuds)
Qu’est ce que le rebalancing ?
Le fait d’ajouter ou de supprimer de nouveaux noeuds
Que doit on respecter pendant le rebalancing ?
La sharding doit être équilibré, les BDD doivent continuer de fonctionner.
Pourquoi le rebalancing par modulo ne fonctionne pas ?
Car le résultat du modulo du hash va changer selon le nombre de noeuds. Donc toutes les données doivent être bougées.
Quelle est la solution pour faire du rebalancing ?
On attribue plusieurs partitions à un seul même noeud. Le nombre de partitions total reste fixe. Lorsqu’un nouveau noeud arrive, il prend un peu de partitions sur chaque noeud.
Rebalancing manuel ou automatique ?
Automatique peut le faire à un moment clé des activités. Donc il faut mieux alerte automatique, mais lancement manuel.
