Creazione Dataset alpha

Kosmos prende in input un testo (il prompt) e un’immagine

inputs = processor(text=prompt, images=image, return_tensors="pt")

l’output del modello è un testo (che nel paper chiamano hyperlink), che è tipo il seguente (in fondo al codice, la parte commentata):

L’immagine:

il prompt:

prompt = "<grounding>An image of"

 
inputs = processor(text=prompt, images=image, return_tensors="pt")
 
  
 
generated_ids = model.generate(
 
pixel_values=inputs["pixel_values"],
 
input_ids=inputs["input_ids"][:, :-1],
 
attention_mask=inputs["attention_mask"][:, :-1],
 
img_features=None,
 
img_attn_mask=inputs["img_attn_mask"][:, :-1],
 
use_cache=True,
 
max_new_tokens=64,
 
)
 
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
 
  
 
# Specify `cleanup_and_extract=False` in order to see the raw model generation.
 
processed_text = processor.post_process_generation(generated_text, cleanup_and_extract=False)
 
# `<grounding> An image of<phrase> a snowman</phrase><object><patch_index_0044><patch_index_0863></object> warming himself by<phrase> a fire</phrase><object><patch_index_0005><patch_index_0911></object>.`

Posso, però chiedere al modello di stampare le entities!

prompt ="<grounding><phrase>God</phrase>"
 
run_example(prompt,'image2.jpeg')
 
#God bless the bathroom 
#[('God', (0, 3), [(0.578125, 0.296875, 0.734375, 0.515625)])] 
#<grounding><phrase> God</phrase><object><patch_index_0306><patch_index_0535></object> bless the bathroom
 

[(‘God’, (0, 3), [(0.578125, 0.296875, 0.734375, 0.515625)])] Che insieme all’entità stampa le coordinate del bounding box classiche

Di cosa ho bisogno per fare evaluation

Il fine del progetto è fare una evaluation del modello su un dataset di immagini generate da kosmos2. Il task su cui lo valutiamo, è, inizialmente, quello di entity grounding:

Entity Grounding

Do in input al modello una entità e un’mmagine e chiedo di fare il grounding, l’output dovrebbe essere un bounding box che corrisponde a quello reale.

Input: immagine, prompt=“<grounding> A snowman </grounding>”

Output (entities)=[(‘A snowman’, (0, 3), [(0.578125, 0.296875, 0.734375, 0.515625)])]

Dataset ideale per l’evaluation

Date queste informazioni l’ideale sarebbe avere un dataset composto da immagine ed una lista di tuple da due elementi [(“nome entità”, [coordinate del bounding box])]

In modo tale da poter confrontare l’overlapping index facilmente

Diagramma di flusso elaborazione del dataset

graph TD

id1("IMMAGINE, [nome_entità,coordinate_boundingbox]")
id2("<grounding> nome_entità  </grounding> ")
id3("Kosmos2")
id4("[(nome entità, coordinate_kosmos, [(0.578125, 0.296875, 0.734375, 0.515625)])] ")
id5("[(nome entità,[(0.578125, 0.296875, 0.734375, 0.515625)])] ")

id1 --> id2 
id2 --> id3
id3 --> id4
id4 --> id5

id1 -->|"confronto con overlapping index"| id5

Prossimo passo: evaluation