8.1.19.1.1. cltk.tokenizers.lat package

8.1.19.1.1.1. Submodules

8.1.19.1.1.2. cltk.tokenizers.lat.lat module

Latin word tokenization - handles enclitics and abbreviations.

class cltk.tokenizers.lat.lat.LatinLanguageVars

Bases: PunktLanguageVars

class cltk.tokenizers.lat.lat.LatinWordTokenizer

Bases: WordTokenizer

Tokenize according to rules specific to a given language.

ENCLITICS = ['que', 'n', 'ne', 'ue', 've', 'st']

EXCEPTIONS = ['mitylene', 'salue', 'en', 'selene', 'lasciue', 'serene', 'catone', 'oppone', 'helxine', 'alcuin', 'hunccine', 'unoquoque', 'justin', 'feminine', 'aenean', 'amymone', 'anadyomene', 'catacecaumene', 'rhene', 'sin', 'praecipue', 'cyllene', 'cuiuscumque', 'ferrugine', 'sicine', 'pallene', 'pelagine', 'utraeque', 'ordine', 'grandine', 'uiue', 'cave', 'mytilene', 'quibusque', 'quosque', 'quorumcumque', 'aeetine', 'lascive', 'chaone', 'fue', 'roxane', 'aspargine', 'quoscumque', 'innocue', 'matutine', 'breve', 'dine', 'patalene', 'cumque', 'utique', 'novatian', 'hicne', 'quantuluscumque', 'quaecumque', 'hymen', 'carmine', 'semiplene', 'congrue', 'uane', 'gramen', 'euadne', 'siue', 'interest', 'paean', 'christian', 'suppone', 'ubicumque', 'absque', 'quantuscumque', 'belone', 'flamine', 'antique', 'hippocrene', 'nocturne', 'pingue', 'insane', 'sabine', 'curve', 'quodcumque', 'aeque', 'temne', 'obsidione', 'pectine', 'resolve', 'agaue', 'cuicumque', 'theophane', 'cardine', 'germine', 'chamaemyrsine', 'memnone', 'breue', 'fatue', 'utrosque', 'cupidine', 'neque', 'zone', 'furtive', 'subest', 'adaeque', 'persephone', 'culmen', 'labiene', 'hicine', 'obscene', 'attamen', 'asiane', 'move', 'susiane', 'subpone', 'thyone', 'ioue', 'agmine', 'nerine', 'sperne', 'benigne', 'sermone', 'regione', 'limine', 'itone', 'sepone', 'arne', 'opportune', 'dein', 'praegraue', 'tibicine', 'retine', 'inguine', 'paraetacene', 'anne', 'utrubique', 'oblique', 'stamine', 'leve', 'bizone', 'misene', 'quarumque', 'quomodocumque', 'quoque', 'quarumcumque', 'hucine', 'saturne', 'segne', 'nomen', 'maligne', 'hermione', 'plerosque', 'chione', 'haecine', 'cognomine', 'lucan', 'quibuscumque', 'peropportune', 'tyrrhene', 'libidine', 'propone', 'mutue', 'homine', 'commune', 'saeue', 'utercumque', 'sanguine', 'stephane', 'utraque', 'limen', 'lene', 'quodque', 'legione', 'inurbane', 'tene', 'fraterne', 'martin', 'lanugine', 'temone', 'utrasque', 'themin', 'culmine', 'hispane', 'arundine', 'semen', 'cerne', 'est', 'syene', 'inpone', 'quisque', 'inferne', 'superest', 'insigne', 'undique', 'quotiensque', 'uolumine', 'calve', 'utroque', 'origine', 'quicque', 'pirene', 'turne', 'elatine', 'omen', 'plerasque', 'caligine', 'clymenen', 'apolline', 'quaque', 'iuuene', 'oxymyrsine', 'hammone', 'crine', 'ciue', 'remove', 'adest', 'transitione', 'tantane', 'unaquaque', 'caen', 'nive', 'pylene', 'quintilian', 'cuiusque', 'grave', 'claudian', 'quamque', 'quandocumque', 'proterve', 'pleraque', 'tantine', 'elephantine', 'turbine', 'aparine', 'mane', 'nullane', 'ignave', 'examine', 'limone', 'calue', 'plerisque', 'chalbane', 'myrmidone', 'quocumque', 'bone', 'pane', 'exue', 'compone', 'melpomene', 'quaeque', 'tertullian', 'uertigine', 'resolue', 'cunque', 'humane', 'gradive', 'orion', 'certamen', 'religione', 'babylone', 'pone', 'faune', 'romane', 'serrane', 'subtegmine', 'conseque', 'pan', 'agave', 'taprobane', 'roman', 'lacedaemone', 'hierabotane', 'curue', 'n', 'quidcumque', 'utrarumque', 'dicione', 'cive', 'prospicve', 'discrimine', 'prone', 'iasone', 'gradiue', 'strenue', 'sulmone', 'semine', 'omine', 'nuncine', 'progne', 'lumine', 'pyrene', 'aesone', 'helene', 'mone', 'femine', 'siccine', 'quin', 'acumine', 'perenne', 'epidamne', 'crepidine', 'python', 'tiberine', 'plene', 'geryone', 'erinyn', 'plerarumque', 'depone', 'uesane', 'forsan', 'post', 'vove', 'alcyone', 'boue', 'importune', 'simulatque', 'atque', 'ambitione', 'quantumcumque', 'immune', 'urbane', 'propinque', 'quomque', 'abest', 'promiscue', 'pleramque', 'adusque', 'magne', 'uniuscuiusque', 'crimine', 'longinque', 'iasione', 'sterne', 'igne', 'an', 'masculine', 'cacumen', 'bene', 'unusquisque', 'quique', 'rhododaphne', 'halcyone', 'marone', 'bubone', 'oenone', 'concinne', 'iove', 'pleione', 'donique', 'plane', 'que', 'deest', 'caue', 'plerumque', 'commagene', 'harundine', 'fune', 'utrobique', 'forsitan', 'nyctimene', 'phaethon', 'quemcumque', 'bellone', 'subtemine', 'exigue', 'corone', 'nave', 'neve', 'circumundique', 'ignaue', 'acrisione', 'uulcane', 'quousque', 'praecoque', 'pleroque', 'amoene', 'fragmine', 'andrachne', 'consone', 'amne', 'gorgone', 'cone', 'st', 'acharne', 'solue', 'cuique', 'unumquemque', 'exin', 'unumquodque', 'mortaline', 'peremne', 'neue', 'incongrue', 'plerorumque', 'solane', 'solve', 'munimine', 'hesione', 'euphrosyne', 'ascanione', 'sue', 'anemone', 'lumen', 'troiane', 'dracone', 'namque', 'messene', 'mnemosyne', 'medicamine', 'tenue', 'sane', 'in', 'nomine', 'remoue', 'pelion', 'leue', 'cane', 'utrique', 'abusque', 'christiane', 'prospicue', 'praegrave', 'latine', 'desine', 'superne', 'imagine', 'nequene', 'epitheton', 'lenone', 'sithone', 'perexigue', 'potest', 'gramine', 'denique', 'salve', 'nonne', 'euphrone', 'ubique', 'naue', 'somne', 'crastine', 'dulcedine', 'quotusquisque', 'uirgine', 'hedone', 'quascumque', 'furtiue', 'daphne', 'alioquin', 'ismene', 'summove', 'pitane', 'priuigne', 'seditione', 'alsine', 'specimen', 'sive', 'agamemnone', 'margine', 'itaque', 'graue', 'discrimen', 'neptune', 'indigne', 'barine', 'ast', 'proditione', 'uimine', 'aquilone', 'digne', 'hortamine', 'perbenigne', 'contigue', 'amasene', 'quinque', 'inseque', 'asine', 'elleborine', 'plerique', 'stramine', 'absone', 'mesene', 'tiburne', 'immane', 'pellene', 'aeschynomene', 'robigine', 'pene', 'uelamine', 'superflue', 'vive', 'hominesne', 'quidque', 'agmen', 'paene', 'testudine', 'niue', 'adsuetudine', 'unaquaeque', 'lat', 'albane', 'sophene', 'numine', 'mucrone', 'quamcumque', 'saeve', 'inest', 'calymne', 'deucalion', 'continue', 'cognomen', 'umbone', 'uterque', 'almone', 'unumquidque', 'heroine', 'perbene', 'moue', 'ambigue', 'bove', 'adhucine', 'orphne', 'quacumque', 'therone', 'fave', 'condigne', 'peraeque', 'prasiane', 'unamquamque', 'proterue', 'telamone', 'inconcinne', 'usque', 'deque', 'numen', 'bipenne', 'arachne', 'john', 'tirone', 'germane', 'supine', 'assidue', 'liquamen', 'uoue', 've', 'clymene', 'quicumque', 'utcumque', 'pythone', 'ingenue', 'ungue', 'necne', 'impune', 'supplicue', 'utrimque', 'priene', 'moderamine', 'omne', 'erigone', 'crimen', 'flumen', 'pleraeque', 'cydne', 'unguine', 'diutine', 'indagine', 'relinque', 'titan', 'undecumque', 'bulbine', 'hucusque', 'antigone', 'prodest', 'spiramine', 'carcine', 'sollemne', 'ave', 'ratione', 'aue', 'huncine', 'condicione', 'tisiphone', 'quotacumque', 'fine', 'iason', 'usquequaque', 'utrumque', 'inhumane', 'chronicon', 'statione', 'hodierne', 'phryne', 'chamaedaphne', 'quorumque', 'tamen', 'quotcumque', 'plerusque', 'inpune', 'carmen', 'perspicue', 'rubigine', 'quotienscumque', 'faue', 'qualiscumque', 'nouatian', 'quasque', 'utrisque', 'inane', 'pulmone', 'perindigne', 'praefiscine', 'flumine', 'ne', 'fulmine', 'impoene', 'non', 'sene', 'procne', 'istucine', 'cyane', 'karthagine', 'confine', 'sine', 'uoragine', 'châtillon', 'utramque', 'utriusque', 'summoue', 'torone', 'fulmen', 'unicuique', 'cyrene', 'dione', 'impone', 'certamine', 'moene', 'utrorumque', 'inique', 'tegmine', 'cacumine', 'ue', 'quandoque', 'remane', 'aniene', 'formidine', 'torque', 'quemque']

tokenize(text, replacements=[('\\\\bmecum\\\\b', 'cum me'), ('\\\\btecum\\\\b', 'cum te'), ('\\\\bsecum\\\\b', 'cum se'), ('\\\\bnobiscum\\\\b', 'cum nobis'), ('\\\\bvobiscum\\\\b', 'cum vobis'), ('\\\\buobiscum\\\\b', 'cum uobis'), ('\\\\bquocum\\\\b', 'cum quo'), ('\\\\bquacum\\\\b', 'cum qua'), ('\\\\bquicum\\\\b', 'cum qui'), ('\\\\bquibuscum\\\\b', 'cum quibus'), ('\\\\bsodes\\\\b', 'si audes'), ('\\\\bsatin\\\\b', 'satis ne'), ('\\\\bscin\\\\b', 'scis ne'), ('\\\\bsultis\\\\b', 'si vultis'), ('\\\\bsimilist\\\\b', 'similis est'), ('\\\\bqualist\\\\b', 'qualis est')], enclitics_exceptions=['mitylene', 'salue', 'en', 'selene', 'lasciue', 'serene', 'catone', 'oppone', 'helxine', 'alcuin', 'hunccine', 'unoquoque', 'justin', 'feminine', 'aenean', 'amymone', 'anadyomene', 'catacecaumene', 'rhene', 'sin', 'praecipue', 'cyllene', 'cuiuscumque', 'ferrugine', 'sicine', 'pallene', 'pelagine', 'utraeque', 'ordine', 'grandine', 'uiue', 'cave', 'mytilene', 'quibusque', 'quosque', 'quorumcumque', 'aeetine', 'lascive', 'chaone', 'fue', 'roxane', 'aspargine', 'quoscumque', 'innocue', 'matutine', 'breve', 'dine', 'patalene', 'cumque', 'utique', 'novatian', 'hicne', 'quantuluscumque', 'quaecumque', 'hymen', 'carmine', 'semiplene', 'congrue', 'uane', 'gramen', 'euadne', 'siue', 'interest', 'paean', 'christian', 'suppone', 'ubicumque', 'absque', 'quantuscumque', 'belone', 'flamine', 'antique', 'hippocrene', 'nocturne', 'pingue', 'insane', 'sabine', 'curve', 'quodcumque', 'aeque', 'temne', 'obsidione', 'pectine', 'resolve', 'agaue', 'cuicumque', 'theophane', 'cardine', 'germine', 'chamaemyrsine', 'memnone', 'breue', 'fatue', 'utrosque', 'cupidine', 'neque', 'zone', 'furtive', 'subest', 'adaeque', 'persephone', 'culmen', 'labiene', 'hicine', 'obscene', 'attamen', 'asiane', 'move', 'susiane', 'subpone', 'thyone', 'ioue', 'agmine', 'nerine', 'sperne', 'benigne', 'sermone', 'regione', 'limine', 'itone', 'sepone', 'arne', 'opportune', 'dein', 'praegraue', 'tibicine', 'retine', 'inguine', 'paraetacene', 'anne', 'utrubique', 'oblique', 'stamine', 'leve', 'bizone', 'misene', 'quarumque', 'quomodocumque', 'quoque', 'quarumcumque', 'hucine', 'saturne', 'segne', 'nomen', 'maligne', 'hermione', 'plerosque', 'chione', 'haecine', 'cognomine', 'lucan', 'quibuscumque', 'peropportune', 'tyrrhene', 'libidine', 'propone', 'mutue', 'homine', 'commune', 'saeue', 'utercumque', 'sanguine', 'stephane', 'utraque', 'limen', 'lene', 'quodque', 'legione', 'inurbane', 'tene', 'fraterne', 'martin', 'lanugine', 'temone', 'utrasque', 'themin', 'culmine', 'hispane', 'arundine', 'semen', 'cerne', 'est', 'syene', 'inpone', 'quisque', 'inferne', 'superest', 'insigne', 'undique', 'quotiensque', 'uolumine', 'calve', 'utroque', 'origine', 'quicque', 'pirene', 'turne', 'elatine', 'omen', 'plerasque', 'caligine', 'clymenen', 'apolline', 'quaque', 'iuuene', 'oxymyrsine', 'hammone', 'crine', 'ciue', 'remove', 'adest', 'transitione', 'tantane', 'unaquaque', 'caen', 'nive', 'pylene', 'quintilian', 'cuiusque', 'grave', 'claudian', 'quamque', 'quandocumque', 'proterve', 'pleraque', 'tantine', 'elephantine', 'turbine', 'aparine', 'mane', 'nullane', 'ignave', 'examine', 'limone', 'calue', 'plerisque', 'chalbane', 'myrmidone', 'quocumque', 'bone', 'pane', 'exue', 'compone', 'melpomene', 'quaeque', 'tertullian', 'uertigine', 'resolue', 'cunque', 'humane', 'gradive', 'orion', 'certamen', 'religione', 'babylone', 'pone', 'faune', 'romane', 'serrane', 'subtegmine', 'conseque', 'pan', 'agave', 'taprobane', 'roman', 'lacedaemone', 'hierabotane', 'curue', 'n', 'quidcumque', 'utrarumque', 'dicione', 'cive', 'prospicve', 'discrimine', 'prone', 'iasone', 'gradiue', 'strenue', 'sulmone', 'semine', 'omine', 'nuncine', 'progne', 'lumine', 'pyrene', 'aesone', 'helene', 'mone', 'femine', 'siccine', 'quin', 'acumine', 'perenne', 'epidamne', 'crepidine', 'python', 'tiberine', 'plene', 'geryone', 'erinyn', 'plerarumque', 'depone', 'uesane', 'forsan', 'post', 'vove', 'alcyone', 'boue', 'importune', 'simulatque', 'atque', 'ambitione', 'quantumcumque', 'immune', 'urbane', 'propinque', 'quomque', 'abest', 'promiscue', 'pleramque', 'adusque', 'magne', 'uniuscuiusque', 'crimine', 'longinque', 'iasione', 'sterne', 'igne', 'an', 'masculine', 'cacumen', 'bene', 'unusquisque', 'quique', 'rhododaphne', 'halcyone', 'marone', 'bubone', 'oenone', 'concinne', 'iove', 'pleione', 'donique', 'plane', 'que', 'deest', 'caue', 'plerumque', 'commagene', 'harundine', 'fune', 'utrobique', 'forsitan', 'nyctimene', 'phaethon', 'quemcumque', 'bellone', 'subtemine', 'exigue', 'corone', 'nave', 'neve', 'circumundique', 'ignaue', 'acrisione', 'uulcane', 'quousque', 'praecoque', 'pleroque', 'amoene', 'fragmine', 'andrachne', 'consone', 'amne', 'gorgone', 'cone', 'st', 'acharne', 'solue', 'cuique', 'unumquemque', 'exin', 'unumquodque', 'mortaline', 'peremne', 'neue', 'incongrue', 'plerorumque', 'solane', 'solve', 'munimine', 'hesione', 'euphrosyne', 'ascanione', 'sue', 'anemone', 'lumen', 'troiane', 'dracone', 'namque', 'messene', 'mnemosyne', 'medicamine', 'tenue', 'sane', 'in', 'nomine', 'remoue', 'pelion', 'leue', 'cane', 'utrique', 'abusque', 'christiane', 'prospicue', 'praegrave', 'latine', 'desine', 'superne', 'imagine', 'nequene', 'epitheton', 'lenone', 'sithone', 'perexigue', 'potest', 'gramine', 'denique', 'salve', 'nonne', 'euphrone', 'ubique', 'naue', 'somne', 'crastine', 'dulcedine', 'quotusquisque', 'uirgine', 'hedone', 'quascumque', 'furtiue', 'daphne', 'alioquin', 'ismene', 'summove', 'pitane', 'priuigne', 'seditione', 'alsine', 'specimen', 'sive', 'agamemnone', 'margine', 'itaque', 'graue', 'discrimen', 'neptune', 'indigne', 'barine', 'ast', 'proditione', 'uimine', 'aquilone', 'digne', 'hortamine', 'perbenigne', 'contigue', 'amasene', 'quinque', 'inseque', 'asine', 'elleborine', 'plerique', 'stramine', 'absone', 'mesene', 'tiburne', 'immane', 'pellene', 'aeschynomene', 'robigine', 'pene', 'uelamine', 'superflue', 'vive', 'hominesne', 'quidque', 'agmen', 'paene', 'testudine', 'niue', 'adsuetudine', 'unaquaeque', 'lat', 'albane', 'sophene', 'numine', 'mucrone', 'quamcumque', 'saeve', 'inest', 'calymne', 'deucalion', 'continue', 'cognomen', 'umbone', 'uterque', 'almone', 'unumquidque', 'heroine', 'perbene', 'moue', 'ambigue', 'bove', 'adhucine', 'orphne', 'quacumque', 'therone', 'fave', 'condigne', 'peraeque', 'prasiane', 'unamquamque', 'proterue', 'telamone', 'inconcinne', 'usque', 'deque', 'numen', 'bipenne', 'arachne', 'john', 'tirone', 'germane', 'supine', 'assidue', 'liquamen', 'uoue', 've', 'clymene', 'quicumque', 'utcumque', 'pythone', 'ingenue', 'ungue', 'necne', 'impune', 'supplicue', 'utrimque', 'priene', 'moderamine', 'omne', 'erigone', 'crimen', 'flumen', 'pleraeque', 'cydne', 'unguine', 'diutine', 'indagine', 'relinque', 'titan', 'undecumque', 'bulbine', 'hucusque', 'antigone', 'prodest', 'spiramine', 'carcine', 'sollemne', 'ave', 'ratione', 'aue', 'huncine', 'condicione', 'tisiphone', 'quotacumque', 'fine', 'iason', 'usquequaque', 'utrumque', 'inhumane', 'chronicon', 'statione', 'hodierne', 'phryne', 'chamaedaphne', 'quorumque', 'tamen', 'quotcumque', 'plerusque', 'inpune', 'carmen', 'perspicue', 'rubigine', 'quotienscumque', 'faue', 'qualiscumque', 'nouatian', 'quasque', 'utrisque', 'inane', 'pulmone', 'perindigne', 'praefiscine', 'flumine', 'ne', 'fulmine', 'impoene', 'non', 'sene', 'procne', 'istucine', 'cyane', 'karthagine', 'confine', 'sine', 'uoragine', 'châtillon', 'utramque', 'utriusque', 'summoue', 'torone', 'fulmen', 'unicuique', 'cyrene', 'dione', 'impone', 'certamine', 'moene', 'utrorumque', 'inique', 'tegmine', 'cacumine', 'ue', 'quandoque', 'remane', 'aniene', 'formidine', 'torque', 'quemque'], enclitics=['que', 'n', 'ne', 'ue', 've', 'st'])

Tokenizer divides the text into a list of substrings

Parameters:

• text (str) – This accepts the string value that needs to be tokenized

• replacements (List[Tuple[str, str]]) – List of replacements to apply to tokens such as “mecum” -> [“cum”, “me”]

• enclitics_exceptions (List[str]) – List of words that look likes they end with an enclitic but are not.

• enclitics (List[str]) – List of enclitics to check for in tokenization

Return type:

List[str]

Returns:

A list of substrings extracted from the text

>>> toker = LatinWordTokenizer()
>>> text = 'atque haec abuterque puerve paterne nihil'
>>> toker.tokenize(text)
['atque', 'haec', 'abuter', '-que', 'puer', '-ve', 'pater', '-ne', 'nihil']

>>> toker.tokenize('Cicero dixit orationem pro Sex. Roscio')
['Cicero', 'dixit', 'orationem', 'pro', 'Sex.', 'Roscio']

>>> toker.tokenize('nihilne te nocturnum praesidium Palati')
['nihil', '-ne', 'te', 'nocturnum', 'praesidium', 'Palati']

>>> toker.tokenize('Cenavin ego heri in navi in portu Persico?')
['Cenavi', '-ne', 'ego', 'heri', 'in', 'navi', 'in', 'portu', 'Persico', '?']

>>> toker.tokenize('Dic si audes mihi, bellan videtur specie mulier?')
['Dic', 'si', 'audes', 'mihi', ',', 'bella', '-ne', 'videtur', 'specie', 'mulier', '?']

>>> toker.tokenize("mecum")
['cum', 'me']

You can specify how replacements are made using replacements

>>> toker.tokenize("mecum", replacements=[(r"mecum", "me cum")])
['me', 'cum']

Or change enclitics and enclitics exception: >>> toker.tokenize(“atque haec abuterque puerve paterne nihil”, enclitics=[“que”]) [‘atque’, ‘haec’, ‘abuter’, ‘-que’, ‘puerve’, ‘paterne’, ‘nihil’]

>>> toker.tokenize("atque haec abuterque puerve paterne nihil", enclitics=["que", "ve", "ne"],
...    enclitics_exceptions=('paterne', 'atque'))
['atque', 'haec', 'abuter', '-que', 'puer', '-ve', 'paterne', 'nihil']

static compute_indices(text, tokens)

8.1.19.1.1.3. cltk.tokenizers.lat.params module

Parameters for Latin Word Tokenization and Exceptions.

8.1.19.1.1.4. cltk.tokenizers.lat.utils module

Tokenization utilities: Latin

class cltk.tokenizers.lat.utils.LatinSentenceTokenizerTrainer(strict=False)

Bases: SentenceTokenizerTrainer