El proyecto final usó un corpus que escribimos nosotros, así que conocíamos cada respuesta y cada defecto. Los documentos reales no son así: son largos, retóricos, llenos de temas repetidos y escritos por personas distintas en años distintos. Este módulo repite todo el método con nueve discursos del Estado de la Unión (de 1950 a 2006), discursos de dominio público del gobierno de Estados Unidos, incluidos en el curso para que no haya que descargar nada.
Misma tubería, misma disciplina (conjunto de desarrollo, batería y conjunto retenido), material distinto. La idea es ver qué conclusiones del proyecto final sobreviven y cuáles no.
Aprenderás
- Qué cambia cuando el corpus es real: el tamaño del fragmento, los metadatos, el orador y el año como parte de la pregunta
- A elegir el tamaño del fragmento y el peso de BM25 en un conjunto de desarrollo, y por qué una batería pequeña puede contradecirlo
- Por qué una pregunta sobre algo que nunca se dijo es el caso más difícil, y una regla de rechazo que lo resuelve
- Arreglos que viven del lado de la consulta, porque no se puede editar un discurso histórico (el bucle del supervisor del módulo 08 cambia de forma)
- A informar de un resultado modesto con honestidad, con intervalos de confianza y un conjunto retenido
Imagen: en qué se diferencia la tubería con un corpus real
El proyecto final arregló sus fallos editando la documentación. Un discurso no se puede editar, así que cada arreglo pasa al lado que sí controlamos: la pregunta, el filtro de recuperación y la regla de rechazo.
# diagram() es un pequeño ayudante SVG definido en el notebook descargable
diagram(820, 270, [
("box", 20, 60, 150, 60, "Discursos\n9 textos, 1950-2006", "grey"),
("arrow", 170, 90, 220, 90, "dividir"),
("box", 220, 60, 150, 60, "Fragmentos\n~50 palabras + etiqueta", "blue"),
("arrow", 370, 90, 420, 90, "indexar"),
("box", 420, 60, 150, 60, "Recuperador\nBM25 + embeddings", "blue"),
("arrow", 570, 90, 620, 90, "top 3"),
("box", 620, 60, 180, 60, "Respuesta o rechazo\n(frase citada)", "gold"),
("box", 220, 160, 150, 54, "Arreglos de la consulta", "violet"),
("arrow", 295, 160, 295, 122, ""),
("box", 420, 160, 150, 54, "Filtro de orador/año", "violet"),
("arrow", 495, 160, 495, 122, ""),
("box", 620, 160, 180, 54, "Rechazo: cobertura", "violet"),
("arrow", 710, 160, 710, 122, ""),
("text", 20, 250, "El texto real no se edita: el bucle de mejora actúa sobre la pregunta, el filtro y la regla de rechazo.", 12, "start"),
], title="Documentos reales: la misma tubería, arreglos del lado de la consulta")
1. El corpus
Nueve discursos, uno por época: Truman (1950), Eisenhower (1957), Kennedy (1962), Johnson (1966), Nixon (1974),
Reagan (1982), Clinton (1994) y G. W. Bush (2002 y 2006). Proceden del corpus state_union que distribuye NLTK, que
reproduce los textos del American Presidency Project; al ser obras del gobierno federal, son de dominio público.
Dividimos cada discurso en fragmentos de unas 50 palabras formados por frases completas, y ponemos una etiqueta delante de
cada fragmento (1974 address by President Nixon.). Si la etiqueta ayuda se mide en la sección 3, y la respuesta es menos
clara de lo que nos gustaría.
import os, re, math, glob, urllib.request
from collections import Counter, defaultdict
import numpy as np
import matplotlib.pyplot as plt
from sentence_transformers import SentenceTransformer
SPEECHES = ["1950-Truman", "1957-Eisenhower", "1962-Kennedy", "1966-Johnson", "1974-Nixon",
"1982-Reagan", "1994-Clinton", "2002-GWBush", "2006-GWBush"]
DATA = next((p for p in ("data/sotu", "../data/sotu") if os.path.isdir(p)), "data/sotu")
os.makedirs(DATA, exist_ok=True)
for name in SPEECHES: # solo hace falta si descargaste este notebook por separado
path = f"{DATA}/{name}.txt"
if not os.path.exists(path):
urllib.request.urlretrieve(f"https://raw.githubusercontent.com/fborbon/academy/main/rag-systems/data/sotu/{name}.txt", path)
def read_sentences(name):
paras = [p.strip() for p in open(f"{DATA}/{name}.txt", encoding="utf-8").read().split("\n")
if len(p.strip()) > 60 and not p.strip().startswith("Note:") and not p.strip().isupper()]
return [s for p in paras for s in re.split(r"(?<=[.!?])\s+", p) if s]
def make_chunks(target_words):
# consecutive whole sentences until the chunk reaches target_words; the speech, the year and the speaker travel with it
out = []
for name in SPEECHES:
year, pres = name.split("-")
cur, n, k = [], 0, 1
for s in read_sentences(name):
cur.append(s); n += len(s.split())
if n >= target_words:
out.append(dict(id=f"{year}-{k:03d}", year=year, pres=pres, text=" ".join(cur))); cur, n, k = [], 0, k + 1
if cur:
out.append(dict(id=f"{year}-{k:03d}", year=year, pres=pres, text=" ".join(cur)))
return out
chunks = make_chunks(50)
print(f"{len(SPEECHES)} speeches, {sum(len(read_sentences(n)) for n in SPEECHES)} sentences, {len(chunks)} chunks of about 50 words")
print(f"{'speech':<18}{'words':>8}{'chunks':>8}")
for n in SPEECHES:
print(f"{n:<18}{sum(len(s.split()) for s in read_sentences(n)):>8}{sum(c['year'] == n[:4] for c in chunks):>8}")
2. Tres conjuntos de preguntas, escritas para corregirse automáticamente
No podemos pedir a una persona que califique cada respuesta, así que cada pregunta lleva una clave: una frase corta que aparece en la frase que la responde, en un discurso concreto. Una respuesta es correcta cuando cita un fragmento de ese discurso y su frase contiene la clave. Una pregunta sin respuesta solo se responde bien con un rechazo.
- conjunto de desarrollo (18): se usa solo para elegir el tamaño del fragmento, el peso de BM25 y la regla de rechazo. Tiene cuatro preguntas sin respuesta.
- batería (28): las preguntas sobre las que informamos, 22 con respuesta y 6 sin ella, escritas antes de los arreglos.
- conjunto retenido (16): escrito después de diseñar los arreglos, como en el módulo 07, para comprobar si generalizan.
Tipos de pregunta: direct (palabras cercanas al texto), paraphrase (palabras distintas), who (pregunta por el orador o el año)
y trap (otro discurso dice algo parecido). Las preguntas sin respuesta son las peligrosas: el tema suele aparecer en
otro discurso, o cerca en el mismo.
# (id, pregunta, año del discurso, clave en la frase que responde, tipo); año None = nada en el corpus la responde
DEV = [
("d01", "How many fewer pages did the register of regulations have in 1981 than in 1980?", "1982", "23,000 fewer pages", "direct"),
("d02", "How many reservists were called up for service?", "1962", "155,000 members", "paraphrase"),
("d03", "By how much will the federal workforce shrink?", "1994", "252,000 people", "paraphrase"),
("d04", "What does the military campaign cost each day?", "2002", "$30 million a day", "paraphrase"),
("d05", "How many people of the post-war generation are about to turn sixty?", "2006", "78 million baby boomers", "paraphrase"),
("d06", "Has the income of the average family grown over the last half century?", "1950", "buying power has doubled", "paraphrase"),
("d07", "How many troops are in Vietnam tonight?", "1966", "190,000 men", "direct"),
("d08", "What share of the budget did defense take in 1969?", "1974", "44 percent in 1969", "direct"),
("d09", "How much has been committed to rebuild New Orleans?", "2006", "$85 billion", "direct"),
("d10", "How many people is the administration serving?", "1957", "170 million people", "direct"),
("d11", "How many Americans lack any health insurance at some point in the year?", "1994", "58 million Americans", "paraphrase"),
("d12", "How many meals a day does the government subsidize?", "1982", "95 million meals", "direct"),
("d13", "Who announced the Advanced Energy Initiative?", "2006", "Advanced Energy Initiative", "who"),
("d14", "Which president asked for volunteers to serve the nation?", "2002", "USA Freedom Corps", "who"),
("d15", "What did Johnson say about the Internet?", None, None, "unanswerable"),
("d16", "What did Eisenhower say about the space shuttle?", None, None, "unanswerable"),
("d17", "What did Bush say about the stock market crash?", None, None, "unanswerable"),
("d18", "What did Clinton say about September the 11th?", None, None, "unanswerable"),
]
BATTERY = [
("b01", "How much did Kennedy propose for the Alliance for Progress?", "1962", "fund of $3 billion", "direct"),
("b02", "How fast would the proposed supersonic airplane fly?", "1966", "three times the speed of sound", "direct"),
("b03", "How much federal money is planned for energy research over five years?", "1974", "$10 billion in Federal funds", "trap"),
("b04", "What increase in clean-energy research was announced?", "2006", "22-percent increase", "paraphrase"),
("b05", "What share of Middle East oil imports should be replaced by 2025?", "2006", "75 percent of our oil imports", "direct"),
("b06", "How far had interest rates fallen by early 1982?", "1982", "15\\3/4\\ percent", "paraphrase"),
("b07", "By when will the states control the federal grant programs?", "1982", "By 1988 the States", "direct"),
("b08", "What happened to crime in Houston?", "1994", "crime rate dropped 17 percent", "direct"),
("b09", "How much spending did Congress cut?", "1994", "$255 billion in spending", "direct"),
("b10", "How much time were Americans asked to give to service?", "2002", "4,000 hours", "paraphrase"),
("b11", "How many volunteers will the new corps recruit?", "2002", "200,000 new volunteers", "paraphrase"),
("b12", "What was the nation's yearly output in 1950?", "1950", "$255 billion a year", "paraphrase"),
("b13", "What did the president propose against road accidents?", "1966", "Highway Safety Act", "paraphrase"),
("b14", "What tax incentive was proposed to modernize equipment?", "1962", "8 percent tax credit", "paraphrase"),
("b15", "Which housing law is credited with helping low-income families?", "1950", "Housing Act of 1949", "paraphrase"),
("b16", "How much child support goes unpaid?", "1994", "$34 billion", "direct"),
("b17", "Which president said the Union was at peace with every nation?", "1974", "at peace with every nation", "who"),
("b18", "Who proposed the USA Freedom Corps?", "2002", "USA Freedom Corps", "who"),
("b19", "Which president announced Project Independence?", "1974", "Project Independence", "who"),
("b20", "Who joked that the baby boomers include President Clinton?", "2006", "President Clinton", "who"),
("b21", "In which year were the hijackers said to be trained in Afghanistan's camps?", "2002", "trained in Afghanistan", "who"),
("b22", "Who said the 17-year rise in crime had been stopped?", "1974", "17-year rise in crime", "who"),
("u01", "What did the president say about the Internet?", None, None, "unanswerable"),
("u02", "What did Reagan say about the Challenger disaster?", None, None, "unanswerable"),
("u03", "What did Kennedy say about Cuba?", None, None, "unanswerable"),
("u04", "What did Clinton say about the budget surplus?", None, None, "unanswerable"),
("u05", "What did Bush say about Hurricane Katrina?", None, None, "unanswerable"),
("u06", "How did the 2010 address describe health care reform?", None, None, "unanswerable"),
]
HELDOUT = [
("e01", "How many adults cannot read well enough to function?", "1962", "Eight million adult Americans", "paraphrase"),
("e02", "What change did Johnson propose to the term of House members?", "1966", "4-year term for Members of the House", "direct"),
("e03", "How many people live in the country, according to the 1974 address?", "1974", "211 million people", "direct"),
("e04", "By how many will the federal work force be reduced?", "1982", "75,000", "direct"),
("e05", "How many more police officers will be funded?", "1994", "100,000 of them", "paraphrase"),
("e06", "What did the president ask Congress to protect for retirement savings?", "2002", "401K and pension plans", "paraphrase"),
("e07", "Who was thanked for 24 years of service on the court?", "2006", "Sandra Day O'Connor", "who"),
("e08", "How does job creation compare with Japan and the European Union?", "2006", "more than Japan and the European Union combined", "paraphrase"),
("e09", "What share of government spending pays for past wars?", "1950", "More than 70 percent", "paraphrase"),
("e10", "What happened to farm income in 1961?", "1962", "billion dollar rise in farm income", "direct"),
("e11", "How many private peace talks took place in 1965?", "1966", "300 private talks", "direct"),
("e12", "How much did the food stamp program grow in fifteen years?", "1982", "16,000 percent", "paraphrase"),
("v01", "What did Truman say about television?", None, None, "unanswerable"),
("v02", "What did Johnson say about the Berlin Wall?", None, None, "unanswerable"),
("v03", "What did Bush say about the housing bubble?", None, None, "unanswerable"),
("v04", "What did Reagan say about Gorbachev?", None, None, "unanswerable"),
]
OFF_TOPIC = ["What is the capital of France?", "How do I bake sourdough bread?", "Who won the football match yesterday?", "What is the speed of light?"]
# una clave debe existir en su discurso (y en ningún otro), o la pregunta es injusta
for q in DEV + BATTERY + HELDOUT:
if q[2]:
in_speech = [c["id"] for c in chunks if c["year"] == q[2] and q[3] in c["text"]]
elsewhere = [c["id"] for c in chunks if c["year"] != q[2] and q[3] in c["text"]]
assert in_speech and not elsewhere, (q[0], in_speech, elsewhere)
for name, S in (("dev", DEV), ("battery", BATTERY), ("held-out", HELDOUT)):
print(f"{name:<9}{len(S):>3} questions:", dict(Counter(q[4] for q in S)))
3. Recuperación: qué medir antes de construir nada
Un recuperador es bueno para una pregunta si algún fragmento con la clave llega a lo más alto del ranking. Tres decisiones, cada una elegida solo con el conjunto de desarrollo: qué tamaño tiene un fragmento, si el orador y el año se escriben dentro del fragmento, y cuánto BM25 se mezcla con los embeddings (módulo 02).
embedder = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2", device="cpu")
STOP = set("a an and are as at be by can do does for from how i if in is it of on or that the this to what when which who with you my me did was were has have had been will".split())
tokens = lambda text: [w for w in re.findall(r"[a-z0-9]+", text.lower()) if w not in STOP]
class Index:
# BM25 + embeddings over a list of chunks; label=True writes the year and speaker in front of each chunk
def __init__(self, chunks, label=True):
self.chunks = chunks
self.texts = [(f"{c['year']} address by President {c['pres']}. " if label else "") + c["text"] for c in chunks]
self.tf = [Counter(tokens(t)) for t in self.texts]
self.len = np.array([sum(d.values()) for d in self.tf], float)
df = Counter(w for d in self.tf for w in d)
n = len(self.texts)
self.idf = {w: math.log(1 + (n - c + 0.5) / (c + 0.5)) for w, c in df.items()}
self.emb = embedder.encode(self.texts, normalize_embeddings=True, batch_size=64)
self.avg = self.len.mean()
def bm25(self, q):
s = np.zeros(len(self.texts))
for w in set(tokens(q)):
if w in self.idf:
for i, d in enumerate(self.tf):
f = d.get(w, 0)
if f:
s[i] += self.idf[w] * f * 2.5 / (f + 1.5 * (0.25 + 0.75 * self.len[i] / self.avg))
return s
def cosine(self, q):
return self.emb @ embedder.encode(q, normalize_embeddings=True)
def fused(self, q, w_bm25):
tot = np.zeros(len(self.texts))
for sc, w in ((self.bm25(q), w_bm25), (self.cosine(q), 1.0)):
for rank, i in enumerate(np.argsort(-sc), 1):
tot[i] += w / (60 + rank)
return tot
def retrieval(idx, S, w):
# hit@1, hit@3, MRR for the answerable questions of S
ranks = []
for _, q, year, key, _t in S:
if year is None:
continue
order = list(np.argsort(-idx.fused(q, w)))
gold = [i for i, c in enumerate(idx.chunks) if c["year"] == year and key in c["text"]]
ranks.append(min(order.index(g) for g in gold) + 1)
r = np.array(ranks)
return (r == 1).mean(), (r <= 3).mean(), (1 / r).mean()
print(f"{'chunk size':<14}{'chunks':>7} dev hit@1 hit@3 MRR battery hit@1 hit@3 MRR")
SIZES = {}
for target in (25, 50, 100, 200):
ch = make_chunks(target); idx_t = Index(ch)
SIZES[target] = (idx_t, retrieval(idx_t, DEV, 0.5), retrieval(idx_t, BATTERY, 0.5))
d, b = SIZES[target][1], SIZES[target][2]
print(f"{target:>3} words{len(ch):>10} {d[0]:>6.2f} {d[1]:>6.2f} {d[2]:>6.2f} {b[0]:>6.2f} {b[1]:>6.2f} {b[2]:>6.2f}")
CHUNK_WORDS = max(SIZES, key=lambda t: (SIZES[t][1][2], -t))
print("chosen on the dev set (best MRR):", CHUNK_WORDS, "words")
El conjunto de desarrollo elige un tamaño de fragmento y la batería habría elegido otro. Con 14 y 22 preguntas con respuesta respectivamente, una diferencia de una o dos preguntas cambia el ranking: la misma advertencia del módulo 07, ahora sobre texto real. Mantenemos la elección hecha en desarrollo, porque elegir con la batería sería filtrar información. Ambas medidas coinciden en que los fragmentos muy grandes (200 palabras, varios temas mezclados en un vector) son una mala idea para estos discursos.
A continuación, dos elecciones más, de nuevo en desarrollo: si la etiqueta (orador y año) va delante de cada fragmento, y el peso de BM25.
P = SIZES[CHUNK_WORDS][0]
labelled = P
plain = Index(P.chunks, label=False)
WHO = [q for q in DEV + BATTERY if q[4] == "who"]
print("speaker and year written into the chunk? (BM25 weight 0.5, chunk size", CHUNK_WORDS, ")")
print(f"{'':<18}{'who questions hit@1':>22}{'all dev hit@1':>16}{'all battery hit@1':>20}")
for name, ix in (("no label", plain), ("with label", labelled)):
print(f"{name:<18}{retrieval(ix, WHO, 0.5)[0]:>22.2f}{retrieval(ix, DEV, 0.5)[0]:>16.2f}{retrieval(ix, BATTERY, 0.5)[0]:>20.2f}")
print("\nBM25 weight (semantic weight = 1) on the DEV set:")
dev_w = {}
for w in (0, 0.25, 0.5, 1, 2):
dev_w[w] = retrieval(labelled, DEV, w)
print(f" weight {w:<5} hit@1 {dev_w[w][0]:.2f} hit@3 {dev_w[w][1]:.2f} MRR {dev_w[w][2]:.2f}")
W_BM25 = max(dev_w, key=lambda w: (dev_w[w][2], -w))
print("chosen BM25 weight:", W_BM25)
Tres cosas que leer en esta tabla, ninguna de las que te diría un tutorial:
- La etiqueta ayuda en desarrollo y perjudica en la batería. En las preguntas "who" no cambia nada. Ambos conjuntos son diminutos, así que no podemos decir que ayude; la mantenemos, como se eligió en desarrollo, y no afirmamos ningún beneficio.
- La búsqueda híbrida sí ayuda aquí, con un peso pequeño de BM25 (0,25). En el proyecto final el mejor peso era cero. El peso correcto depende del corpus: estos discursos están llenos de cifras y nombres que BM25 encuentra exactamente. Es la lección del módulo 02 otra vez, con el signo contrario.
- El peso hay que medirlo, no recordarlo. Una regla "lo híbrido siempre es mejor" y una regla "lo híbrido nunca es mejor" son ambas falsas.
Imagen: una pregunta real a través del sistema mejorado
El flujo de datos de este módulo en un ejemplo. Sigue la pregunta desde la izquierda: el filtro limita la búsqueda al discurso que nombra la pregunta, la recuperación ordena fragmentos dentro de él, la comprobación de cobertura decide si hay algo que responder y, solo entonces, se elige una frase. La pregunta sin respuesta se detiene en el rechazo.
diagram(820, 300, [
("box", 20, 50, 150, 70, "Pregunta\nWhat did Kennedy\nsay about Cuba?", "gold"),
("arrow", 170, 85, 205, 85, ""),
("box", 205, 50, 170, 70, "1. Filtro\norador = Kennedy\n-> solo el discurso de 1962", "violet"),
("arrow", 375, 85, 410, 85, ""),
("box", 410, 50, 150, 70, "2. Recuperar\nBM25 + embeddings\ndentro de ese discurso", "blue"),
("arrow", 560, 85, 595, 85, "top 3"),
("box", 595, 50, 205, 70, "3. Comprobar cobertura\n'Cuba' no está en ninguno\nde los mejores -> baja", "red"),
("arrow", 700, 120, 700, 190, "baja"),
("box", 595, 190, 205, 60, "Rechazar: nada en\nel discurso de 1962", "red"),
("arrow", 620, 120, 470, 190, "suficiente"),
("box", 350, 190, 230, 60, "4. Elegir la mejor frase\ny citar su fragmento", "blue"),
("note", 20, 150, 300, 100, "Sin el filtro, 'Cuba' coincide con el\ndiscurso de 1966 y el primer sistema\nrespondía con el presidente equivocado."),
], title="De una pregunta a una respuesta, o a un rechazo")
4. El primer sistema: el método del proyecto final, sin cambios
Mismo diseño que el proyecto final: recuperar, rechazar cuando el mejor coseno está por debajo de un umbral, y responder con la frase del fragmento principal más cercana a la pregunta. El umbral sale de las preguntas con respuesta de desarrollo y de las preguntas fuera de tema.
SENT = {} # sentence embeddings cached per chunk
def sentences_of(i):
if i not in SENT:
s = [x for x in re.split(r"(?<=[.!?])\s+", P.chunks[i]["text"]) if x]
SENT[i] = (s, embedder.encode(s, normalize_embeddings=True))
return SENT[i]
dev_top = [P.cosine(q[1]).max() for q in DEV if q[2]]
off_top = [P.cosine(q).max() for q in OFF_TOPIC]
T_COS = (max(off_top) + min(dev_top)) / 2
print(f"top cosine: answerable dev {min(dev_top):.2f} to {max(dev_top):.2f}; off-topic {min(off_top):.2f} to {max(off_top):.2f} -> refuse below {T_COS:.2f}")
def answer_v1(q):
cos = P.cosine(q)
if cos.max() < T_COS:
return "refuse", None, None
top = int(np.argmax(P.fused(q, W_BM25)))
s, e = sentences_of(top)
return "answer", P.chunks[top]["id"], s[int(np.argmax(e @ embedder.encode(q, normalize_embeddings=True)))]
def grade(q, res):
kind, cid, sent = res
if q[2] is None:
return "ok" if kind == "refuse" else "wrong"
if kind == "refuse":
return "missed"
return "ok" if cid[:4] == q[2] and q[3] in sent else "wrong"
def report(system, S):
res = [(q, grade(q, system(q[1]))) for q in S]
by = defaultdict(lambda: [0, 0])
for q, g in res:
by[q[4]][1] += 1; by[q[4]][0] += g == "ok"
return sum(g == "ok" for _, g in res), len(S), dict(by), res
for name, S in (("dev", DEV), ("battery", BATTERY)):
ok, n, by, res = report(answer_v1, S)
print(f"{name:<8} correct {ok:>2} of {n} " + " ".join(f"{t} {a}/{b}" for t, (a, b) in by.items()))
El primer sistema acierta más o menos la mitad de la batería, muy por debajo del 75 % del proyecto final. Falla de dos maneras distintas, y necesitan arreglos distintos:
- Las preguntas sin respuesta nunca se rechazan. El tema de "what did Reagan say about the Challenger disaster" está cerca de muchas frases del corpus, así que el coseno máximo es tan alto como en una pregunta real. Un umbral de similitud no puede separarlas.
- Discurso correcto con frase equivocada, o discurso equivocado. Varias preguntas devuelven un fragmento de otro año, o el fragmento correcto con una frase que solo repite las palabras de la pregunta ("How many men who listen to me tonight...").
ok, n, by, res = report(answer_v1, BATTERY)
print("battery failures of the first system:")
for q, g in res:
if g != "ok":
kind, cid, sent = answer_v1(q[1])
print(f" {q[0]} [{g}] {q[1][:62]}\n -> {cid} {(sent or '')[:78]}")
5. Tres arreglos que viven del lado de la consulta
Un supervisor que leyera estos fallos (módulo 08) los marcaría y pediría a una persona que arreglara la documentación. Aquí la documentación es un registro histórico, así que los arreglos van al sistema que la rodea. Cada uno es una regla general, no un parche para una pregunta, y cada uno tiene un parámetro que elegimos en el conjunto de desarrollo:
- Filtro de orador y año. Si la pregunta nombra a un presidente o un año, se busca solo en los discursos correspondientes. Un año sin discurso (2010) significa que no hay nada que encontrar.
- Comprobación de cobertura para rechazar. En una pregunta con respuesta, casi todas sus palabras de contenido (con un stemming ligero) aparecen en los mejores fragmentos. Con "Challenger", "Katrina" o "Internet" no.
- Refuerzo de cantidades. En preguntas "how many", "how much" o "what share", se prefiere la frase que contiene un número.
PRES = {"truman": {"1950"}, "eisenhower": {"1957"}, "kennedy": {"1962"}, "johnson": {"1966"}, "nixon": {"1974"},
"reagan": {"1982"}, "clinton": {"1994"}, "bush": {"2002", "2006"}}
ALL_YEARS = set(c["year"] for c in P.chunks)
GENERIC = set("president said say address speech tell tonight states united american americans year years much many".split())
QTY = re.compile(r"\b(how many|how much|what share|how far|how fast|how long|what increase)\b", re.I)
def stem(w):
for suf in ("ing", "ed", "es", "s"):
if w.endswith(suf) and len(w) - len(suf) >= 4:
return w[:-len(suf)]
return w
def allowed_speeches(q):
named = [y for n, ys in PRES.items() if n in q.lower() for y in ys]
years = set(re.findall(r"\b(19[4-9]\d|20[01]\d)\b", q))
allowed = set(named) if named else set(ALL_YEARS)
return allowed & years if years else allowed # empty set: the question asks about a year we do not have
def coverage(q, chunk_ids):
words = [stem(w) for w in set(tokens(q)) if w not in GENERIC and w not in PRES and not w.isdigit()]
if not words:
return 1.0
seen = set(stem(w) for i in chunk_ids for w in tokens(P.chunks[i]["text"]))
return sum(w in seen for w in words) / len(words)
def make_system(cov, boost, use_filter=True, k=3):
def system(q):
allowed = allowed_speeches(q) if use_filter else ALL_YEARS
if not allowed:
return "refuse", None, None
sc = P.fused(q, W_BM25)
for i, c in enumerate(P.chunks):
if c["year"] not in allowed:
sc[i] = -1
order = list(np.argsort(-sc))[:k]
if cov and coverage(q, order) < cov:
return "refuse", None, None
cand = [(i, s, e) for i in order for s, e in zip(*sentences_of(i))]
sims = np.array([c[2] @ embedder.encode(q, normalize_embeddings=True) for c in cand])
if boost and QTY.search(q):
sims = sims + boost * np.array([bool(re.search(r"\d|\$|percent|million|billion", c[1])) for c in cand])
i, s, _ = cand[int(np.argmax(sims))]
return "answer", P.chunks[i]["id"], s
return system
print(f"{'coverage':>9}{'boost':>7} dev correct (of {len(DEV)})")
grid = {}
for cov in (0, 0.3, 0.4, 0.5, 0.6, 0.7):
for boost in (0, 0.1, 0.2):
grid[(cov, boost)] = report(make_system(cov, boost), DEV)[0]
print(f"{cov:>9}{boost:>7} {grid[(cov, boost)]:>3}")
COV, BOOST = max(grid, key=lambda k: (grid[k], k[0], -k[1]))
print("chosen on the dev set:", dict(coverage=COV, boost=BOOST))
6. Antes y después, en la batería y en el conjunto retenido
Las preguntas retenidas se escribieron después de diseñar los arreglos y nunca se usaron para elegir ningún parámetro. El intervalo bootstrap (módulo 07) nos dice cuánto de cada cambio podría ser suerte con este tamaño.
rng = np.random.default_rng(0)
def boot_diff(a, b, n=4000):
# a, b: per-question 0/1 correctness for the same questions; the interval of mean(b) - mean(a)
a, b = np.array(a, float), np.array(b, float)
d = [(b[s] - a[s]).mean() for s in (rng.integers(0, len(a), len(a)) for _ in range(n))]
return np.percentile(d, [2.5, 97.5])
v1, v2 = answer_v1, make_system(COV, BOOST)
rows = {}
print(f"{'set':<10}{'questions':>10}{'first system':>14}{'improved':>10}{'change':>9} 95% interval of the change")
for name, S in (("dev", DEV), ("battery", BATTERY), ("held-out", HELDOUT)):
a = [g == "ok" for _, g in report(v1, S)[3]]
b = [g == "ok" for _, g in report(v2, S)[3]]
lo, hi = boot_diff(a, b)
rows[name] = (np.mean(a), np.mean(b))
print(f"{name:<10}{len(S):>10}{np.mean(a):>14.2f}{np.mean(b):>10.2f}{np.mean(b) - np.mean(a):>+9.2f} [{lo:+.2f}, {hi:+.2f}]")
fig, ax = plt.subplots(figsize=(7, 3.2))
x = np.arange(3)
ax.bar(x - 0.18, [rows[k][0] for k in rows], 0.36, label="first system", color="#8a8aa0")
ax.bar(x + 0.18, [rows[k][1] for k in rows], 0.36, label="improved", color="#E1C340")
ax.set_xticks(x); ax.set_xticklabels(list(rows)); ax.set_ylim(0, 1); ax.set_ylabel("correct"); ax.legend(frameon=False)
ax.set_title("State of the Union assistant: share of correct answers")
plt.tight_layout(); plt.show()
ok, n, by, res = report(v2, BATTERY)
print("improved system, battery:", ok, "of", n, " ", " ".join(f"{t} {a}/{b}" for t, (a, b) in by.items()))
for q, g in res:
if q[2] is None and g != "ok":
print(" an unanswerable question that was still answered:", q[0], q[1], "->", v2(q[1])[1])
ok, n, by, res = report(v2, HELDOUT)
print("improved system, held-out:", ok, "of", n, " ", " ".join(f"{t} {a}/{b}" for t, (a, b) in by.items()))
print("\nwhat still fails on the held-out set:")
for q, g in res:
if g != "ok":
kind, cid, sent = v2(q[1])
print(f" {q[0]} [{g}] {q[1][:60]}\n -> {cid} {(sent or '')[:78]}")
7. Lo que enseñó este corpus y el proyecto final no podía
Resultados, en el orden de cuánto podemos fiarnos de ellos:
- Rechazar lo que nunca se dijo es la mejora real. Las preguntas sin respuesta pasaron de 0 de 6 en la batería a 5 de 6, y de 0 de 4 a 3 de 4 en preguntas retenidas que los arreglos nunca vieron. Esta mejora es grande y generalizó. Un umbral de similitud por sí solo no podía lograrlo, porque el tema de una pregunta sin respuesta suele estar cerca de algo que sí se dijo, en otro discurso o en una frase cercana.
- La única pregunta sin respuesta que aún recibe una respuesta muestra una debilidad de la regla. "What did the president say about the Internet?" solo tiene dos palabras de contenido tras quitar las genéricas, y la palabra de relleno "about" aparece en todos los fragmentos, así que la cobertura es del 50 %, justo en el umbral. Una lista de palabras genéricas crece con cada fallo; ponderar las palabras por IDF sería el arreglo con fundamento (ejercicio 3).
- La mejora global es plausible pero no está demostrada. Las respuestas correctas pasaron de 0,50 a 0,68 en la batería y de 0,44 a 0,62 en las preguntas retenidas, pero todos los intervalos del 95 % incluyen el cero. Con 28 y 16 preguntas es lo mejor que podemos decir, y el módulo 07 ya calculó cuántas preguntas harían falta para estar seguros.
- El texto real es mucho más difícil que un texto escrito por ti. El primer sistema sacó 0,75 en el corpus del proyecto final y 0,50 aquí con el mismo método. Documentos largos y retóricos, un recuperador que mezcla épocas y respuestas enterradas en frases que repiten la pregunta cuestan precisión. Una buena nota en tu propio corpus de prueba no es evidencia sobre documentos reales.
- Los arreglos cuestan cobertura. La comprobación de cobertura rechaza algunas preguntas con respuesta cuya redacción está lejos del texto ("How many private peace talks took place in 1965?"). Toda regla de rechazo cambia respuestas erróneas por respuestas perdidas, y esta se ajustó con 14 preguntas con respuesta.
Qué cambia en el bucle de mejora. El proyecto final reparó la documentación. Aquí el supervisor puede seguir marcando el fallo y una persona puede seguir leyendo los casos marcados, pero el arreglo va al lado de la consulta: un filtro, una regla de rechazo, una preferencia de ranking. Esos arreglos son generales, por eso se transfirieron a preguntas nuevas; un parche escrito para una pregunta que fallaba no lo habría hecho.
print(f"{'':<34}{'capstone (Thermio)':>22}{'real speeches':>16}")
print(f"{'documents you can edit':<34}{'yes':>22}{'no':>16}")
print(f"{'passages':<34}{25:>22}{len(P.chunks):>16}")
print(f"{'first system, correct on battery':<34}{'0.75':>22}{rows['battery'][0]:>16.2f}")
print(f"{'after improvements, battery':<34}{'0.96':>22}{rows['battery'][1]:>16.2f}")
print(f"{'after improvements, held-out':<34}{'-':>22}{rows['held-out'][1]:>16.2f}")
Ejercicios
- Cambia
CHUNK_WORDSpor el valor que prefiere la batería y vuelve a ejecutar la sección 5. ¿Cambia la conclusión sobre los arreglos? ¿Por qué elegir con la batería es un error aunque dé un número más bonito? - Añade un discurso (cualquier otro año del corpus
state_unionestá en los datos de NLTK, o usa tu propio texto) y escribe seis preguntas con claves. ¿Sigue funcionando el filtro de orador para un presidente que dio varios discursos? - La comprobación de cobertura rechaza por palabras que faltan. Encuentra una pregunta con respuesta que rechaza por error y propón un arreglo más barato que bajar el umbral. Después haz lo contrario con la pregunta sobre Internet: pondera cada palabra por su IDF en lugar de contar palabras y comprueba si la palabra de relleno "about" deja de importar.
- Sustituye el selector de frases por una llamada a un modelo (el patrón de celda opcional del módulo 04) y mide, con la misma batería, si el refuerzo de cantidades sigue siendo necesario.
- Escribe diez preguntas nuevas sin respuesta sobre temas que sí aparecen en otro discurso. ¿Cuántas rechaza el sistema mejorado? ¿Qué necesitaría un supervisor para detectar el resto?