V:
Kako lahko inženirji ocenijo naloge za usposabljanje in testne setove, da opazijo morebitno prekomerno prileganje v strojnem učenju?
A:Da bi razumeli, kako to poteka, je treba osnovno razumeti vloge različnih nizov podatkov v tipičnem projektu strojnega učenja. Izobraževalni program je postavljen tako, da tehnologiji zagotavlja referenčni okvir - podatkovno bazo, ki jo program uporablja za sprejemanje napovednih in verjetnostnih odločitev. V testnem sklopu je stroj preizkušen na podatkih.
Overfitting je sindrom pri strojnem učenju, kjer model ne ustreza popolnoma podatkom ali namenu.
| Prosti prenos: Strojno učenje in zakaj je pomembno |
Ena od pomembnih zapovedi strojnega učenja je, da morajo biti podatki o usposabljanju in preskusni podatki ločeni nabori podatkov. Vsaj pri mnogih aplikacijah je glede tega zelo široko soglasje zaradi nekaterih specifičnih težav pri uporabi istega niza, ki ste ga uporabili pri usposabljanju za testiranje programa strojnega učenja.
Ko program strojnega učenja uporablja nabor usposabljanja, ki bi ga lahko v bistvu imenovali nabor vhodov, ta sklop usposabljanja deluje za sprejemanje odločitev o napovednih rezultatih. Eden zelo osnovnih načinov razmišljanja je, da je vadbeni set "hrana" za proces intelektualnega računalništva.
Ko se ta isti komplet uporablja za testiranje, lahko stroj pogosto prinese odlične rezultate. To je zato, ker je že videl te podatke. Vendar je celoten cilj strojnega učenja v mnogih primerih ustvariti rezultate o podatkih, ki jih še nismo videli. Programi strojnega učenja za splošno uporabo so narejeni tako, da delujejo na različnih zbirkah podatkov. Z drugimi besedami, načelo strojnega učenja je odkrivanje, ki pa ga običajno ne pridobite tako, da uporabite začetni tečaj za testiranje.
Pri ocenjevanju sklopov usposabljanja in testnih nizov za morebitno prekomerno opremljanje lahko inženirji ocenijo rezultate in ugotovijo, zakaj bi program lahko naredil drugače na primerjalnih rezultatih teh dveh sklopov ali v nekaterih primerih, kako lahko stroj preveč dobro opravi podatke o vadbi .
Jason Brownlee iz Strojnega učenja Mojstrov opisuje nekatere od teh težav pri strojnem učenju v letu 2014 tako opisuje prekomerno prileganje:
"Model, ki je izbran zaradi njegove natančnosti na zbirki podatkov o vadbi in ne glede na točnost na navideznem naboru preskusov, ima najverjetneje nižjo natančnost na nevidnem preskusnem naboru podatkov, " piše Brownlee. "Razlog je v tem, da model ni tako posplošen. Specaliziral se je v strukturi nabora podatkov o usposabljanju (dodana poševna oznaka). Temu pravimo prekomerno opremljanje in je bolj zahrbtno, kot si mislite."
Poenostavljeno bi lahko rekli, da program, ko se specializira za nabor podatkov o vadbi, postaja preveč tog. To je še en metaforičen način, kako razbrati, zakaj programa strojnega učenja ni optimalno postrežen z uporabo vadbe za testni nabor. Dober način je tudi, da pristopite k oceni teh dveh različnih sklopov, saj bodo rezultati inženirjem pokazali veliko o tem, kako program deluje. Želite manjši razkorak med natančnostjo pri obeh modelih. Prepričati se želite, da sistem ni prenapolnjen ali "natančno spojen" z določenim naborom podatkov, vendar je to bolj splošno in lahko raste in se razvija v ukazu.
