リストは使わない，さらに，numpy.ndarray よりよい方法もある

なんでもかんでもリストで済ませようというのは止めよう。

numpy.ndarray を使うともっといいよ。

ということだが，場合によってはそれよりいいものもあるよという話。

いずれにせよ，過度にリストに頼るのは止めようよという話

その 1

1000万文字の大文字アルファベットが空白で区切られて 1 行に入力されている char.dat というファイルを対象にする。

C P U H I J R S W Q H W R ....

「それぞれのアルファベットが何個あるか集計せよ」というタスクを考えよう。

from time import time

以下のようにデータを入力する

f = open("char.dat")
a = f.read()
f.close()
b = a.split()
# ここまでは共通

まず，リストと辞書を使って書いてみる

start = time()
c = sorted(set(b))
tbl = {}
for i in c:
    tbl.setdefault(i, b.count(i))
for i, j in zip(tbl.keys(), tbl.values()):
    print(i, j)
print(time() - start) # 5.874 sec.

所要時間は 5.874 秒。簡単なものだ。

（ちなみに，コメントに示す awk プログラムでは 3.846 秒だから）

リストだけを使って書くと 16.096 秒 となり，かなり遅い。

start = time()
c = sorted(set(b))
count = []
for i in c:
    count.append(b.count(i))
for i, j in zip(c, count):
    print(i, j)
print(time() - start) # 16.096sec.

次は numpy.ndarray を使って書いてみる。
numpy を最初に import するのに必要な時間を除いて実行時間を計測する。

import numpy as np

start = time()
value, count = np.unique(b, return_counts=True)
for i, j in zip(value, count):
    print(i,  j)
print(time() - start) # 1.686 sec.

所要時間は 1.686 秒。辞書型を使うよりは速い。

しかも，集計部分は
value, count = np.unique(b, return_counts=True)
の一行だ。

その 2

もう少し大きい数値データで見てみよう。
1500 変数，100000 行の CSV ファイルで，1行目は変数名である。
2行目以降は平均値 50，標準偏差 10 の正規乱数が小数点以下 2 桁で記録されている。
今回は，変数の区別なく， np.floor() で整数化し，総計 1500 x 100000 個の変数の度数分布を見る。

ファイルからデータを読み，np.floor でリストにする

import re
start = time()
f = open("test.csv")
a = f.read()
f.close()
b = re.sub(r'[",\n]', ' ', a)
x = list(map(np.floor, map(float, b.split()[1500:]))) # list
print(time() - start) # 471.080 sec.

入力だけでも 471.080 秒もかかるのだけど，さらに...

辞書型を使って集計--とんでもなく遅い 624.511 秒

start = time()
c = sorted(set(x))
tbl = {}
for i in c:
    tbl.setdefault(i, x.count(i))
print(time() - start) # 624.511 sec.
# (dict_keys([-7.0, -5.0, -4.0, -3.0, -2.0, -1.0, 0.0,
# dict_values([1, 2, 3, 6, 10, 21, 35, 

np.unique() を使って集計--かなり速い 27.528 秒

start = time()
value, count = np.unique(x, return_counts=True)
print(time() - start) # 27.528 sec.
# (array([ -7.,  -5.,  -4.,  -3.,  -2.,  -1.,   0.,
# array([      1,       2,       3,       6,      10,      21,      35,

pandas でデータを入力し，np.ravel(), np.floor() で整数化して numpy.ndarray とする

import pandas as pd

start = time()
df = pd.read_csv('test.csv')
y = np.floor(np.ravel(df)) # numpy.ndarray
print(time() - start) # 33.201 sec.

start = time()
value, count = np.unique(y, return_counts=True)
print(time() - start) # 7.583 sec.
# (array([ -7.,  -5.,  -4.,  -3.,  -2.,  -1.,   0.,
# array([      1,       2,       3,       6,      10,      21,      35,

pandas の value_counts() を使うと，爆速 2.121 秒　一番速い

start = time()
ans = pd.value_counts(y)
ans2 = ans.sort_index()
print(time() - start) # 2.121 sec.
# -7.0       1
# -5.0       2
# -4.0       3
# -3.0       6
# -2.0      10
#          ..
# 106.0     1

 

なお，R だと...遅い

> system.time({
+     df = read.csv("test.csv", colClasses="double")
+     x = as.integer(data.matrix(df))
+     tbl = table(x)
+ })
   ユーザ   システム       経過  
    50.547      5.324     55.960