job dir: /three_bricks
Namespace(model_name='guanaco-7b',
prompt_path='data/alpaca_data.json',
prompt_type='guanaco',
prompt=None,
temperature=1.0,
top_p=0.95,
max_gen_len=256,
method='openai',
method_detect='openai',
seeding='hash',
ngram=2,
gamma=0.25,
delta=4.0,
hash_key=35317,
scoring_method='v2',
payload=0,
payload_max=4,
nsamples=10,
batch_size=16,
do_eval=True,
seed=0,
output_dir='examples/',
split=None,
nsplits=None,
ngpus=None)
Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:07<00:00,  3.64s/it]
Using 2/2 GPUs - 7.08 GB allocated per GPU
Filtered 10 prompts from 52002
Starting from 0
Generated     0 -    10 - Speed 0.50 prompts/s - ETA 00h00m19s
Average time per prompt: 1.98
10it [00:00, 10.93it/s]
>>> Scores: 
       text_index   num_token      score        pvalue  score_sbert  payload  log10_pvalue
count        10.0   10.000000  10.000000  1.000000e+01    10.000000     10.0     10.000000
mean          0.0  145.300000   1.755319  6.736868e-04     0.527571      0.0    -12.726925
std           0.0   73.518025   0.229163  2.119315e-03     0.256655      0.0      8.491163
min           0.0   35.000000   1.338087  2.700028e-33     0.135650      0.0    -32.568632
50%           0.0  128.500000   1.776497  2.894449e-11     0.578933      0.0    -11.339837
max           0.0  239.000000   2.098836  6.705296e-03     0.842218      0.0     -2.173582