Kazalo:
Opredelitev - Kaj pomeni leksikalna analiza?
Leksikalna analiza je koncept, ki se uporablja za računalništvo na zelo podoben način, kot ga uporablja za jezikoslovje. Leksikalna analiza v bistvu pomeni razvrščanje toka črk ali zvokov v sklope enot, ki predstavljajo smiselno skladnjo. V jezikoslovju se imenuje razčlenjevanje, v računalništvu pa ga lahko imenujemo razčlenjevanje ali tokenizacija.
Tehopedija razlaga Leksikalno analizo
Ideja leksikalne analize v računalništvu je, da leksikalna analiza razbije struge v „lekseme“, kjer žeton predstavlja osnovno enoto pomena. Žetoni so nanizani tako, da se mora prevajalnik jezika vrniti nazaj in jih izolirati za izvajanje pravih računalniških navodil. V bistvu tako ljudje kot računalniki delajo leksikalno analizo, vendar računalniki to počnejo drugače in na veliko bolj tehničen način. Način, kako računalniki delajo leksikalno analizo, ljudem ni treba pregledno - le programirati ga je treba v računalniški sistem. Programi, ki delajo leksikalno analizo v računalništvu, se pogosto imenujejo lekseri, tokenizerji ali optični bralniki.
