e.g 45566

def main() -> int: ap = argparse.ArgumentParser(description="Разбор и парсинг сайтов") sub = ap.add_subparsers(dest="cmd", required=True)pscan = sub.addparser("scan", help="разобрать одну страницу") pscan.addargument("url") pscan.addargument("-o", "--out", help="куда сохранить JSON")pcrawl = sub.addparser("crawl", help="обойти сайт") pcrawl.addargument("url") pcrawl.addargument("--depth", type=int, default=1) pcrawl.addargument("--limit", type=int, default=20) pcrawl.addargument("--pause", type=float, default=1.0) pcrawl.addargument("-o", "--out", default="crawl.xlsx")ptab = sub.addparser("tables", help="выгрузить таблицы") ptab.addargument("url") ptab.addargument("-o", "--out", default="tables.xlsx")pcards = sub.addparser("cards", help="выгрузить карточки") pcards.addargument("url") pcards.addargument("--min-items", type=int, default=4) pcards.addargument("-o", "--out", default="cards.xlsx")pbrief = sub.addparser("brief", help="краткое резюме сайта") pbrief.addargument("url") pbrief.addargument("-o", "--out", help="куда сохранить текст")args = ap.parse_args() session = requests.Session()if args.cmd == "scan": res = fetch(args.url, session) if not res["html"]: print(f"не удалось открыть: {res.get('error')}", file=sys.stderr) return 1 info = analyzehtml(args.url, res["html"], res["url"], res["status"], res["elapsed"]) printscan(info) if args.out: save_json(asdict(info), Path(args.out)) print(f"\nJSON: {args.out}") return 0if args.cmd == "crawl": pages = crawl(args.url, args.depth, args.limit, args.pause) if not pages: return 1 export_crawl(pages, Path(args.out)) print(f"\nстраниц: {len(pages)}, файл: {args.out}") return 0if args.cmd == "tables": res = fetch(args.url, session) info = analyzehtml(args.url, res["html"], res["url"], res["status"], res["elapsed"]) exporttables(info, Path(args.out)) print(f"таблиц выгружено: {len(info.tables)} → {args.out}") return 0if args.cmd == "cards": res = fetch(args.url, session) info = analyzehtml(args.url, res["html"], res["url"], res["status"], res["elapsed"]) info.cards = detectcards(BeautifulSoup(res["html"], "lxml"), args.minitems) exportcards(info, Path(args.out)) print(f"групп карточек: {len(info.cards)} → {args.out}") for c in info.cards[:4]: print(f" {c['selector']}: {c['count']} шт.") return 0if args.cmd == "brief": res = fetch(args.url, session) info = analyzehtml(args.url, res["html"], res["url"], res["status"], res["elapsed"]) text = buildbrief(info) print("\n" + text) ai = llmbrief(text) if ai: print("\n— Резюме модели —\n" + ai) if args.out: Path(args.out).writetext(text + ("\n\n— Резюме модели —\n" + ai if ai else ""), encoding="utf-8") print(f"\nсохранено: {args.out}") return 0return 0if name == "main": raise SystemExit(main())