HPLT Monolingual Datasets 3.0

Read the paper Download v3.0

In July 2025, the European HPLT initiative has completed a new release of its monolingual datasets, offering better data quality, more annotations and metadata, and greatly increased volume. HPLT Monolingual Datasets 3.0 comprise some 50 terabytes of compressed data, covering 198 languages. More than half of the data represents the English language. Not counting the English majority portion, the dataset offers some 11.5 billion documents, 40 trillion Unicode characters, or 13.5 trillion tokens (using the Gemma 3 vocabulary). Overall, HPLT 3.0 is about three times larger than the previous release and likely constitutes the largest generally available multilingual dataset.

The dataset has been derived from some 7.2 petabytes of raw web crawls from the Internet Archive and the Common Crawl, spanning the period between 2012 and 2024. Text extraction from HTML documents was performed through the Trafilatura library, language identification with OpenLID 2.0, and deduplication, annotation, and filtering through the Monotextor pipeline.

Except quality and size, other distinguishing properties of the HPLT Monolingual Dataset is its sorting by a language-independent estimate of document quality and the rich annotations and metadata, including web register labels (for 104 of the languages in release 3.0), document- and segment-level language identification, annotation of personally identifiable information, and provenance information from the original crawl. Release 3.0 also fixes a deficiency in the Chinese data in the previous release, where double-width punctuation had been over-zealously normalized.

Except for Chinese, English, and Russian, each language-specific portion has been globally deduplicated.

Data processing was performed on dedicated storage and compute resources at the Czech and Norwegian national HPC infrastructures CESNET and Sigma2 NRIS, as well as on the EuroHPC LUMI system. The HPLT download site is hosted at the Sigma2 NIRD datalake.

How was the dataset processed?

The chart below shows a schematic breakdown of the data processing pipeline. For the 3.0 release, in July 2025, only the monolingual portion is availble. For additional background, please see Section 3 in the HPLT deliverabe D7.2 HPLT Pipelines and Tools.

New in this release

Reflects substantially more raw web data, primarily from the Common Crawl
Additional metadata, including more information from the underlying crawl
Upgrade to Trafilatura 2.0 with empirical fine-tuning of extraction parameters
Plain-text and structured document representation, in simple, normalized XML
Better language identification; refined codes for Arabic and Chinese
Global deduplication for most languages; MinHash cluster size as metadata
Annotation with Turku web register labels for more than half the languages
Upgrade to newer, improved Web Docs Scorer (WDS) document quality estimates
Global sorting within each language by WDS and sharding into WDS bins (10–5)
Improved filtering for robots.txt opt-out, adult content, and credentials
Improved deduplication pipeline (global deduplication for most languages)

Data format

The data is distributed as Zstandard-compressed JSONLines files, where each line represents one full document with its textual content and all metadata. Following is a mildly simplified example document:

{"f": "./segments/1652663048462.97/warc/CC-MAIN-20220529072915-20220529102915-00247.warc.gz", "o": 424865140, "s": 9226, "rs": 51579,
 "u": "https://lynghaug.no/news/oppdatering-angaende-rehabilitering?tm=",
 "c": "text/html", "ts": "2022-05-29T08:06:01Z", "de": "utf-8",
 "crawl_id": "CC-MAIN-2022-21",
 "lang": ["nob_Latn", "nno_Latn", "dan_Latn"], "prob": [0.9963, 0.0026, 0.0011],
 "text": "UKE 2 2022
Styret har registrert en del misnøye i blant beboere angående manglende oppdatering i forhold til rehabiliteringen. Dette har styret stor forståelse for når vi har et så stort prosjekt i borettslaget vårt og som berører hjemmene våre.
Vi har regelmessig kontakt/møter med Markhus og har drøftet denne problemstillingen.Det som ofte fører til frustrasjon er når en framdriftsplan er blitt lagt frem og det oppstår problemer som gjør at denne ikke blir holdt. Eksempler på problemer kan være leveranseproblemer, råvaremangel, sykdom og fravær i forhold til pandemi, skade på materiale eller uforutsette utfordringer som dukker opp når en gammel bygning skal rehabiliteres. Dette er årsaker som gjør at framdriftsplanen endres i stor og liten grad.
Markhus har flere ganger gitt klar utrykk for at det ikke er anledning til å oppdatere styre hver gang det skjer en uforutsett hendelse. Det er heller ikke anledning for å gi en oppdatert framdriftsplan i forhold til den enkelte beboer. Det vil alltid bli gitt beskjed til den enkelte beboer når det kommer til å tømme altan, klargjøre leilighet og når det nærmer seg befaring. På befaring kan en stille de spørsmålene en sitter inne med angående sin egen leilighet. Styret har også opprettet en egen mailadresse som kun er relatert til spørsmål angående rehabiliteringen. Denne er det styret som administrerer og vil hjelpe så langt det går med spørsmål som kommer inn: lynghaug.borettslag@gmail.com.
Styret oppfordrer beboere som har spørsmål angående rehabiliteringen å ta kontakt via mail, ikke via Facebook gruppen som er administrert av beboere. Styre vil ikke svare på henvendelser som blir stilt på denne siden. Hjemmesiden vil bli oppdatert når det er nyheter å oppdatere angående rehabiliteringen, men fremdriftsplanen som er tentativ må beboer være forberedt på at denne vil avvike fra tid til annen.
Vil også minne om at samtlige i styret er helt alminnelige folk som alle har 100 % jobb i tillegg til styrearbeid. Vi driver styrearbeid på fritiden vår, og ønsker det beste for laget. Vil derfor oppfordre alle som har lyst å bidra til å melde seg som kandidat som styremedlem og vara når den tid kommer. Mer info angående det kommer i løpet av vinteren.",
 "xml":"<doc fingerprint="e589be41f0c5445f">
  <main>
    <p>
      <hi rend="#b">UKE 2 2022</hi>
    </p>
    <p><hi rend="#b"/>Styret har registrert en del misnøye i blant beboere angående manglende oppdatering i forhold til rehabiliteringen. Dette har styret stor forståelse for når vi har et så stort prosjekt i borettslaget vårt og som berører hjemmene våre.</p>
    <p><lb/>Vi har regelmessig kontakt/møter med Markhus og har drøftet denne problemstillingen.Det som ofte fører til frustrasjon er når en framdriftsplan er blitt lagt frem og det oppstår problemer som gjør at denne ikke blir holdt. Eksempler på problemer kan være leveranseproblemer, råvaremangel, sykdom og fravær i forhold til pandemi, skade på materiale eller uforutsette utfordringer som dukker opp når en gammel bygning skal rehabiliteres. Dette er årsaker som gjør at framdriftsplanen endres i stor og liten grad. </p>
    <p><lb/>Markhus har flere ganger gitt klar utrykk for at det ikke er anledning til å oppdatere styre hver gang det skjer en uforutsett hendelse. Det er heller ikke anledning for å gi en oppdatert framdriftsplan i forhold til den enkelte beboer. Det vil alltid bli gitt beskjed til den enkelte beboer når det kommer til å tømme altan, klargjøre leilighet og når det nærmer seg befaring. På befaring kan en stille de spørsmålene en sitter inne med angående sin egen leilighet. Styret har også opprettet en egen mailadresse som kun er relatert til spørsmål angående rehabiliteringen. Denne er det styret som administrerer og vil hjelpe så langt det går med spørsmål som kommer inn: lynghaug.borettslag@gmail.com. </p>
    <p><lb/>Styret oppfordrer beboere som har spørsmål angående rehabiliteringen å ta kontakt via mail, ikke via Facebook gruppen som er administrert av beboere. Styre vil ikke svare på henvendelser som blir stilt på denne siden. Hjemmesiden vil bli oppdatert når det er nyheter å oppdatere angående rehabiliteringen, men fremdriftsplanen som er tentativ må beboer være forberedt på at denne vil avvike fra tid til annen.</p>
    <p><lb/>Vil også minne om at samtlige i styret er helt alminnelige folk som alle har 100 % jobb i tillegg til styrearbeid. Vi driver styrearbeid på fritiden vår, og ønsker det beste for laget. Vil derfor oppfordre alle som har lyst å bidra til å melde seg som kandidat som styremedlem og vara når den tid kommer. Mer info angående det kommer i løpet av vinteren. </p>
  </main>
<comments/>
</doc>",
 "cluster_size": 8,
 "seg_langs": ["ssw_Latn", "nob_Latn", "nob_Latn", "nob_Latn", "nob_Latn", "nob_Latn"],
 "id": "bf4cf56d1c47d62db151874c8fa9d53f",
 "filter": "keep", "pii": [[1428,1457]],
 "doc_scores": [8.9, 10, 10, 10, 10, 10, 10, 4, 5.4, 10],
 "web-register": {"MT":0.028, "LY": 0.059, "SP": 0.073, "ID": 0.158, "NA": 0.655, "HI": 0.17, "IN": 0.286, "OP": 0.194, "IP": 0.299,
                  "it": 0.069, "ne": 0.164, "sr": 0.059, "nb": 0.613, "re": 0.066, "en": 0.036, "ra": 0.048, "dtp": 0.114,
                  "fi": 0.098, "lt": 0.077, "rv": 0.055, "ob": 0.097, "rs": 0.098, "av": 0.142, "ds": 0.107, "ed": 0.072}}

In each document, the text field provides the actual content, broken down into paragraph-like segments, and using newline characters to separate segments. The first 8 fields originate from HTML document extraction from the raw web archives, explained here. The text and xml fields provide plain and structured text, respectively, extracted by Trafilatura. The lang and prob fields record the top-three document-level language predications from OpenLID, with corresponding probabilties. For a description of the remainder of the metadata, please see here.

Download

For each language, the data is organized in smaller shards, sorted by WDS document quality estimates. For Russian (in Cyrillic script), for example, the file rus_Cyrl/10_1.jsonl.zst is the first (and only) shard in the top WDS bin (scored as exactly 10), and rus_Cyrl/9_1.jsonl.zst … rus_Cyrl/9_103.jsonl.zst are the 103 shards in the bin for scores greater or equal to WDS 9 and less than 10.

The easiest way to download the data for a specific language is to use a command like wget -i with a language-specific mapping file containing full download addresses for all shards of this particular language, for example (for Crimean Tatar in Latin script):

wget -O - https://data.hplt-project.org/three/sorted/crh_Latn.map \ | wget -x -nH --cut-dirs=2 -i -

The above command retrieves the map for chr_Latn and feeds it as a list of download addresses into a second wget invocation, requesting the creation of local directories (-x), but cutting off the host and first two directory components (-nH --cut-dirs=2).

To download all available data, there is a larger mapping file for the full multilingual (excluding English) portion, amounting to a download of around 20 terabytes. The complete English data comprises some 30 terabytes and can be downloaded using its per-language mapping file. These can be retrieved using e.g. wget, and used as input directives for larger downloads, much like in the example above.

wget https://data.hplt-project.org/three/sorted/multilingual.map

wget https://data.hplt-project.org/three/sorted/eng_Latn.map

To speed up large downloads, it can be beneficial to use multiple parallel connections, for example using the --max-threads option inwget. We recommend to limit download parallelization to 16–32 threads, to avoid server-side rate limitations, which should allow download rates of around 250 gigabytes per hours.

Language families

We visualize the proportions of available text per language as interactive “family trees”, either for just the monolingual portion (excluding English) or for all available data, counting in either characters or documents.

Statistics & validation

Summary statistics per language are available for download as a structured manifest.json, also including download links for the individual data files, per-language maps, and sample documents from various quality bins. Additionally, each language subdirectory provides compressed lists of unique domains, full URLs, and what are called normalized document signatures, together with their frequencies of occurence, for example nob_Latn/.domains.zst, nob_Latn/.urls.zst, and nob_Latn/.signatures.zst for Norwegian Bokmål.

The counts of documents per language or total storage sizes in the above statistics could be used to approximately validate each language sub-directory, but for more thorough validation of individual data files or full downloads, MD5 checksum files are provides with naming conventions parallel to the data and per-language map files, for example nob_Latn/.10_1.jsonl.md5 for the first data file in Norwegian Bokmål, and nob_Latn.md5 for its full set of data files.

Datasets Catalogue

There are 198 language-script combinations on the HPLT monolingual dataset catalogue in version 3.0. Counts for documents, tokens, characters and segments are provided for each language. Further information about register labels (tag sign), HPLT Analytics reports and language quality warnings are included, along with samples and the download links themselves in each language card. If you find any problem, please contact us!

License and takedown

License

These data are released under this licensing scheme:

We do not own any of the text from which these text data has been extracted.*
We license the actual packaging of these text data under the Creative Commons CC0 license ("no rights reserved") .

Notice and take down policy

Notice: Should you consider that our data contains material that is owned by you and should therefore not be reproduced here, please:

Clearly identify yourself, with detailed contact data such as an address, telephone number or email address at which you can be contacted.
Clearly identify the copyrighted work claimed to be infringed.
Clearly identify the material that is claimed to be infringing and information reasonably sufficient to allow us to locate the material.
You can reach us at hplt-datasets@ufal.mff.cuni.cz

Take down: We will comply to legitimate requests by removing the affected sources from the next release of the corpora.

*It is your resposibility that any use of the data complies with any applicable legal framework, such as, among others, the EU Copyright Directive 2019/790 and the General Data Protection Regulation 2018, as amended.

Choose a language

Achinese (ace_Arab)