Données rare Pandas

Exemple de manipulation de données esparses Pandas

Lorsque l'on omet une valeur spécifique (NaN /Les valeurs manquantes, bien que l'on puisse choisir n'importe quelle valeur) correspondent à n'importe quel données, les objets esparses seront « compressés ». Un objet spécial SparseIndex suit les positions où les données sont « dispersées ». Dans un exemple, cela aura davantage de sens. Toutes les structures de données standard de Pandas appliquent la méthode to_sparse :

　import pandas as pd
　import numpy as np
　ts = pd.Series(np.random.randn(10))
　ts[2:-2] = np.nan
　sts = ts.to_sparse()
　print sts

Résultat de l'exécution ci-dessous :

　0　-0.810497
　1　-1.419954
　2　NaN
　3　NaN
　4　NaN
　5　NaN
　6　NaN
　7　NaN
　8　0.439240
　9　-1.095910
　dtype: float64
　BlockIndex
　Emplacements de bloc : array([0,　8], dtype=int32)
　Longueurs de bloc : array([2,　2], dtype=int32)

Pour des raisons d'efficacité mémoire, il existe des objets esparses.
Maintenant, supposons que vous ayez un grand DataFrame NA et exécutez le code suivant-

　import pandas as pd
　import numpy as np
　df = pd.DataFrame(np.random.randn(10000,　4))
　df.ix[:9998] = np.nan
　sdf = df.to_sparse()
　print sdf.density

Résultat de l'exécution ci-dessous :

　　　0.0001

On peut convertir n'importe quel objet rare en forme dense standard en appelant to_dense

　import pandas as pd
　import numpy as np
　ts = pd.Series(np.random.randn(10))
　ts[2:-2] = np.nan
　sts = ts.to_sparse()
　print sts.to_dense()

Résultat de l'exécution ci-dessous :

　0　-0.810497
　1　-1.419954
　2　NaN
　3　NaN
　4　NaN
　5　NaN
　6　NaN
　7　NaN
　8　0.439240
　9　-1.095910
　dtype: float64

Type de données rare

Les données rares doivent avoir le même dtype que leur représentation dense. Actuellement, seuls float sont pris en charge64，int64et booldtypes. Selon le dtype d'origine, fill_value est modifié par défaut-

float64 − np.nan

Nous allons exécuter le code suivant pour comprendre :

　import pandas as pd
　import numpy as np
　s = pd.Series([1, np.nan, np.nan])
　print s
　s.to_sparse()
　print s

Résultat de l'exécution ci-dessous :

　0　1.0
　1　NaN
　2　NaN
　dtype: float64
　0　1.0
　1　NaN
　2　NaN
　dtype: float64