tokenize
tokenize (Englisch)[Bearbeiten]
Verb[Bearbeiten]
| Zeitform | Person | Wortform |
|---|---|---|
| simple present | I, you, they | tokenize |
| he, she, it | tokenizes | |
| simple past | tokenized | |
| present participle | tokenizing | |
| past participle | tokenized |
Worttrennung:
- to·ke·nize, Partizip Perfekt: to·ke·nized, Partizip Präsens: to·ke·niz·ing
Aussprache:
- IPA: […]
- Hörbeispiele: —
Bedeutungen:
- [1] Computerlinguistik:: zerlegen eines Textes für die Weiterverarbeitung
Beispiele:
- [1] „The previous program failed to tokenize the puctuation.“[1]
- [1] „We need a function to tokenize a string into words.“[2]
- [1] „This example tokenizes a semi-colon separated list.“[3]
Übersetzungen[Bearbeiten]
[1] Computerlinguistik:: zerlegen eines Textes für die Weiterverarbeitung
Quellen:
- ↑ Pierre M. Nugues: Language Processing with Perl and Prolog. Springer, 2014, Seite 127 (Google Books)
- ↑ Eric Rochester: Clojure Data Analysis Cookbook. PACKT Publishing, 2015, Seite 64 (Google Books)
- ↑ David Smiley,Eric Pugh,Kranti Parisa,Matt Mitchell: Apache Solr Enterprise Search Server. PACKT Publishing, 2015, Seite 59 (Google Books)