Vlerësimi i performancës së
Platformës Akademia

Raport krahasimor bazuar në “Testing of Support Tools for Plagiarism Detection” të publikuar nga Rrjeti Europian për Integritet Akademik

Hyrja

  • Platforma Akademia Sh.P.K është themeluar në vitin 2016, me mision mbështetjen e institucioneve arsimore drejtë përmisimit të cilësisë dhe mbrojtjes së integritetit akademik. Në vitin 2018, Akademia ka publikuar versionin e parë të sistemit anti-plagjiaturë me aftësi kontrolli në gjuhën shqipe dhe ndërgjuhësor. Duke qenë se kontrolli ndërgjuhësor është një temë e re në industrinë e sistemeve anti-plagjiaturë, ne vitin 2018, na është mundësuar të bëhemi pjesë e një vlerësimi ndërkombëtar që kishte për qëllim vlerësimin e cilësisë dhe saktësisë e sistemeve anti-plagjiaturë. Si rrjedhojë, Akademia bëhet pjesë e testimit dhe vlerësimit nga grupi i hulmtuesve shkencor të angazhuar nga Rrjeti Europian për Integritet Akademik (ang. European Network for Academic Integrity). Qëllimi ynë ishte të kemi një vlerësim professional dhe akademik të sistemit anti-plagjiaturë edhe pse ky hulumtim nuk e kishte paraparë përfshirjen e gjuhës shqipe në testim.
  • Rrjeti Europian për Integritet Akademik (RrEIA) është themeluar nga fondet e Bashkimit Europian dhe Komisionit Europian (Erasmus+ Strategic Partnership Projects) me qëllim promovimin e integritetit akademik. Një nga shumë aktivitetet e RrEIA është grupi i punës për të testuar mjetet mbështetëse për kontrollin e plagjiaturës, specifikisht programet kompjuterike. Përdorimi i sistemeve të tilla nga Universitetet gjithandej është në rritje çdo ditë e më shumë, gjë që ka ndikuar në rritjen e rëndësisë për një testim të mirfillët shkencor mbi efikasitetin e tyre.
  • Hulumtimi për testimin e mjeteve mbështetëse për gjetjen e plagjiaturës ka pasur për qëllim të përpilojë një metodologji të re të testimit ku përfshihen dokumente nga gjuhë të ndryshme europiane dhe duke përdorur burime të ndryshme. Përpilimi i kësaj metodologjie është bërë nga një grup prej 9 hulumtuesisht nga vende të ndryshme të botës, ku kanë marrë pjesë 15 sistemet digjitale për gjetjen e ngjashmërive. Hulumtimi ka analizuar performancën e këtyre sistemeve duke përdorur 8 gjuhë të ndryshme përmes skenarëve si shkrimi i dokumenteve të bazuara në një burim të vetëm dhe nga shumë burime të ndryshme.
  • Vlerësimet e publikuara nga grupi hulumtues janë bazuar në versionin e vitit 2018. Në momentin kur kemi analizuar rezultatet e kuptuam se nuk ishin rezultatet më të mira, gjithsesi të pranueshme bazuar në faktin që ne asnjëherë nuk ishim të fokusuar që të zhvillojmë sistemin për të mbështetur gjuhët e vendeve perëndimore.
  • Duke e ditur se nga viti 2018 Akademia ka përditësuar sistemin me një intenzitet të shtuar, shprehëm interesimin që të provojmë të ritestojmë dokumentet e ngarkuara për kuriozitet. Kjo kërkesë ishte e mirëpritur nga përfaqësuesja e hulumtuesve Ing. Dita Dlabolová e cila na ofrojë të gjitha udhëzimet e nevojshme. Rezultatet e dala nga rivlerësimi ishin arsyeje që ne vendosëm që të ju prezantojmë të dhënat e publikuara nga RrEIA së bashku me të dhënat e përditësuara nga ne.
  • Qëllimi kryesor i këtij raporti është që të publikojmë rezultatet e përditësuara bazuar në metodologjinë e përdorur nga RrEIA. Çdo institucion, universitet, OJQ apo grup hulumtuesish të interesuar të vërtetojnë pretendimet tona janë të mirëseardhur të na kontaktojnë dhe ne do të ju ofrojmë transparencë të plotë për të ju mundësuar që të bëni vlerësimet tuaja të pavarura.

Metodologjia

Metodologjia e përdorur në këtë hulumtim është përpiluar me qëllim të simulojë procesin e kontrollimit të dokumenteve nga Universitetet. Kjo metodologji është e bazuar në eksperiencën e vazhdueshme të hulumtuesve në procesin e parandalimit të plagjiaturës.
Bazuar në eksperiencën e tyre, hulumtuesit kanë paraqitur disa supozime të cilat kanë ndihmuar në përcaktimin e kritereve për testim.
Supozimi 1:
Studentët kanë tendencë që të bëjnë plagjiaturë duke përdorur dokumentet e gjetura në internet, specifikisht në Wikipedia;
Supozimi 2:
Disa student mundohet të fshehin faktin se kanë bërë plagjiaturë;
Supozimi 3:
Shumë pak student përdorin teknika të avancuara për të fshehur plagjiaturën (si p.sh përdorimi i homoglifeve);
Supozimi 4:
Shumica e studentëve nuk dorëzojnë punimet me plagjiaturë nga një burim por përdorin disa burime në punimet e tyre;
Supozimi 5:
Vlerësuesit shpeshherë kanë shumë dokumente për të testuar në kohë të shkurtër;
Supozimi 6:
Ka pengesa ligjore që vlerësuesit të dorëzojnë punimet e studentëve;
Supozimi 7:
Në disa situata, vlerësuesit vetëm e rishikojnë raportin ndërsa dorëzimi kryhet çoftë nga studenti vetë apo asistenti
Supozimi 8:
Vlerësuesit nuk kanë shumë kohë për të kaluar në rishikimin e raporteve;
Supozimi 9:
Raportet duhet të ruhen në formë të shtypur në procesverbalin e përhershëm të studentit nëse vendoset penalizimi;
Supozimi 10:
Universitetet dëshirojnë të dijnë se sa është e kushtueshme përdorimi i sistemit në baza vjetore;

Metodologjia

Dokumentet e përdorura për testim janë pregatitur në tetë gjuhë të ndryshme për të kuptuar se cilat sistemet janë më të përshtatshme për secilën gjuhë.
Qekisht
Çekisht
Gjermanisht
Gjermanisht
Letonisht
Letonisht
Spanjollisht
Spanjollisht
Anglisht
Anglisht
Italisht
Italisht
Sllovakisht
Sllovakisht
Turqisht
Turqisht
Qekisht
Çekisht
Anglisht
Anglisht
Gjermanisht
Gjermanisht
Italisht
Italisht
Letonisht
Letonisht
Sllovakisht
Sllovakisht
Spanjollisht
Spanjollisht
Turqisht
Turqisht

Metodologjia

Dokumentet e përdorura për testim janë përgatitur duke përdorur burimet dhe teknikat më të përdorura nga studentët në shkrimet e tyre.

Metodologjia

Burimet e përdorura në secilin dokument janë testuar në disa versione bazuar në metodat më përdorura nga studentët në shkrimet e tyre.

Metodologjia

Për secilin kriter, vlerësimi është bazuar në saktësinë e sistemeve në raportimin e plagjiaturës. Secili kriter është vlerësuar duke përdorur pikët, 0 pikë duke qenë vlerësimi më i dobët ndërsa 5 pikë vlerësimi më i lartë.

Metodologjia

Metodologjia e propozuar është përpiluar nga hulumtuesit më të njohur në këtë fushë, gjithashtu është metodologjia më kredibile momentalisht në komunitetin shkencor. Qëllimi i kësaj metodologjie është të vlerësojë dy faktorët më të rëndësishëm që e bëjnë një sistem të jetë efektiv, ato janë përfshirja dhe përdorshmëria.

Përfshirja nënkupton aspektin cilësor dhe saktësinë e gjetjeve në secilin kriter: gjuhët, llojet e plagjiaturës, metodat e plagjiaturës dhe skenarët e ndryshëm.

Metodologjia

Në anën tjetër, përdorshmëria është përdorur si term për të reprezentuar vlerësimin e funksionaliteteve të ofruara të cilat mundësojnë përdoruesve ndërveprim më të mirë dhe më të lehtë.

Më poshtë, do të ju prezentojmë të dhënat krahasimore në rezultatet e versionit të vitit 2018 (Beta) dhe rezultatet versionit të vitit 2020 (Release Candidate). Këto të dhëna tregojnë më së miri progresin e Platformës Akademia përgjatë këtyre dy viteve.

Përfshirja

Në këtë pjesë, do të ju prezantojmë rezultatet në kriteret e vlerësuara si gjuhët e mbështetura, metodat e plagjiaturës, përfshirjen e burimeve dhe skenarët e ndryshëm që hulumtuesit kanë supozuar që përdoren më së shumti nga studentët në shkrimet e tyre.
Gjuhët e mbështetura
2018
Në hulumtimin e publikuar të bazuar në versionin e vitit 2018, Platforma Akademia ka performuar më së miri në gjuhën angleze me vlerësim prej 2.9 pikë dhe më së dobëti në gjuhën sllovake me 0.8 pikë. Gjuha italiane nuk është vlerësuar fare në vitin 2018 pasi që në atë kohë ne nuk kemi ofruar mbështetje për gjuhën italiane. Akademia rangimin më të lartë e ka pasur për gjuhën turke duke u ranguar në pozitën 4, ndërsa për gjuhët tjera pozita ka qenë prej 8 deri në 15.

Gjuhët

Akademia Copyscape Docol©c Dupli Checker DPV intihal.net PlagAware PlagiarismCheck.org Plagiarism Software PlagScan StrikePlagiarism.com Turnitin Unicheck Urkund Viper
Çekisht 1.4 1.5 1.1 0.9 0.0 0.7 1.8 1.5 1.5 1.5 2.2 1.6 1.0 1.9 1.0
Gjermanisht 2.2 1.6 2.3 0.3 1.3 0.7 3.3 2.5 1.6 2.6 2.6 3.2 2.1 2.4 1.9
Anglisht 2.9 3.3 2.8 0.9 0.9 1.3 3.2 2.1 1.2 4.0 3.0 3.7 3.2 3.3 1.3
Spanjollisht 2.0 2.1 2.4 0.2 0.0 0.6 2.7 2.0 2.7 2.8 2.6 2.8 2.6 3.4 2.1
Italisht - 2.9 2.7 0.1 0.0 0.0 3.0 3.7 1.3 3.7 3.7 3.6 3.0 2.6 2.9
Letonisht 1.5 2.3 1.8 0.6 0.0 0.0 2.3 3.8 1.6 2.7 2.6 1.2 2.3 3.2 2.3
Sllovakisht 0.8 2.0 1.7 0.9 0.0 1.0 2.1 2.0 1.5 1.3 1.6 1.7 1.7 2.6 1.3
Turqisht 2.0 1.5 1.3 0.3 0.5 1.0 2.1 1.7 1.1 1.9 1.8 2.0 1.4 3.1 1.2

Rangimi

Akademia
Çekisht 10
Gjermanisht 8
Anglisht 8
Spanjollisht 11
Italisht 15
Letonisht 11
Sllovakisht 14
Turqisht 4
Tabela 1: Vlerësimi dhe rangimi i Platformës Akademia në secilën gjuhë (Versioni 2018)
2020
Pas rivlerësimit duke përdorur versionin më të përditësuar, vërehet përmisim i jashtëzakonshëm, ku Akademia vlerësimin më të lartë e ka në gjuhën angleze me 3.9 pikë ndërsa përsëri gjuha sllovake vlerësohet më së dobëti me 1.1 pikë. Progresi i Platormës Akademia përgjatë viteve ka ndikuar që të ketë pozitën 1 në gjuhën spanjolle dhe italiane, pozitën 2 në gjuhën çeke, angleze, dhe turke, pozitën 3 në gjuhën gjermane, pozitën 4 në gjuhën letoneze dhe pozitën 12 në gjuhën sllovake.

Gjuhët

Akademia Copyscape Docol©c Dupli Checker DPV intihal.net PlagAware PlagiarismCheck.org Plagiarism Software PlagScan StrikePlagiarism.com Turnitin Unicheck Urkund Viper
Çekisht 2.0 1.5 1.1 0.9 0.0 0.7 1.8 1.5 1.5 1.5 2.2 1.6 1.0 1.9 1.0
Gjermanisht 3.0 1.6 2.3 0.3 1.3 0.7 3.3 2.5 1.6 2.6 2.6 3.2 2.1 2.4 1.9
Anglisht 3.9 3.3 2.8 0.9 0.9 1.3 3.2 2.1 1.2 4.0 3.0 3.7 3.2 3.3 1.3
Spanjollisht 3.4 2.1 2.4 0.2 0.0 0.6 2.7 2.0 2.7 2.8 2.6 2.8 2.6 3.4 2.1
Italisht 3.8 2.9 2.7 0.1 0.0 0.0 3.0 3.7 1.3 3.7 3.7 3.6 3.0 2.6 2.9
Letonisht 2.6 2.3 1.8 0.6 0.0 0.0 2.3 3.8 1.6 2.7 2.6 1.2 2.3 3.2 2.3
Sllovakisht 1.1 2.0 1.7 0.9 0.0 1.0 2.1 2.0 1.5 1.3 1.6 1.7 1.7 2.6 1.3
Turqisht 3.0 1.5 1.3 0.3 0.5 1.0 2.1 1.7 1.1 1.9 1.8 2.0 1.4 3.1 1.2

Rangimi

Akademia
Çekisht 2
Gjermanisht 3
Anglisht 2
Spanjollisht 1
Italisht 1
Letonisht 4
Sllovakisht 12
Turqisht 2
Tabela 2: Vlerësimi dhe rangimi i Platformës Akademia në secilën gjuhë (Versioni 2020)
Nëndegët e gjuhëve
2018
Bazuar në rezultatet e gjuhëve e prezantuara më lartë , hulumtuesit kanë bërë grupimin e gjuhëve në 3 nëndegë: gjuhët gjermanike, gjuhët italike dhe gjuhët sllave. Akademia vlerësimin më të lartë ka marrë në gjuhët gjermanike me 2.5 pikë ndërsa më së ulëti në gjuhët sllave me 1.1 pikë. Hulumtuesit e kanë pasur të pamundur të japin vlerësim për gjuhët italike si rezutat i mungesës së testimit për gjuhën italiane. Sipas vlerësimeve, Akademia është ranguar në pozitën 8 për gjuhët gjermanike, pozitën 12 për gjuhët sllave, dhe pozitën e fundit 15 për gjuhët italike.

Nëndegët e gjuhëve

Akademia Copyscape Docol©c Dupli Checker DPV intihal.net PlagAware PlagiarismCheck.org Plagiarism Software PlagScan StrikePlagiarism.com Turnitin Unicheck Urkund Viper
Gjermanike 2.5 2.5 2.5 0.6 1.1 1.0 3.3 2.3 1.3 3.3 2.8 3.5 2.6 2.9 1.6
Romane - 2.5 2.6 0.2 0.0 0.3 2.8 2.9 2.0 3.3 3.2 3.2 2.8 3.0 2.5
Sllave 1.1 1.8 1.4 0.9 0.0 0.8 1.9 1.8 1.5 1.4 1.9 1.6 1.4 2.3 1.2

Rangimi

Akademia
Gjermanike 8
Romane 15
Sllave 12
Tabela 3: Vlerësimi dhe rangimi i Platformës Akademia në nëndegët e gjuhëve (Versioni 2018)
2020
Në rivlerësimin e vitit 2020, performanca e Platformës Akademia përmisohet dukshëm duke arritur vlerësimin më të lartë në gjuhët italike me 3.7 pikë dhe në gjuhët sllave me 3.5 pikë. Në gjuhët gjermanike vlerësimi prej 2.8 pikë tregon përmisim më të dobët. Akademia rangohet në pozitën 1 për gjuhët slave dhe gjuhët italike ndërsa për gjuhët gjermanike ka pozitën 6.

Nëndegët e gjuhëve

Akademia Copyscape Docol©c Dupli Checker DPV intihal.net PlagAware PlagiarismCheck.org Plagiarism Software PlagScan StrikePlagiarism.com Turnitin Unicheck Urkund Viper
Gjermanike 2.8 2.5 2.5 0.6 1.1 1.0 3.3 2.3 1.3 3.3 2.8 3.5 2.6 2.9 1.6
Romane 3.7 2.5 2.6 0.2 0.0 0.3 2.8 2.9 2.0 3.3 3.2 3.2 2.8 3.0 2.5
Sllave 3.5 1.8 1.4 0.9 0.0 0.8 1.9 1.8 1.5 1.4 1.9 1.6 1.4 2.3 1.2

Rangimi

Akademia
Gjermanike 6
Romane 1
Sllave 1
Tabela 4: Vlerësimi dhe rangimi i Platformës Akademia në nëndegët e gjuhëve (Versioni 2020)
Përfshirja e burimeve
2018
Hulumtuesit në këtë pjesë kanë bërë vlerësimin e performancës së sistemeve duke u bazuar në burimet e ndryshme më të përdorura nga studentët në shkrimet e tyre. Bazuar në rezultatet nga vlerësimi i versioni të vitit 2018, Akademia është vlerësuar më së larti për gjetjet nga Wikipedia me 2.3 pikë ndërsa më së ulëti ka përformuar në kategorin e punimeve të studentëve me 0.2 pikë. Platforma Akademia është renditur në pozitën 9 për gjetjet nga Wikipedia, pozitë 6 për gjetjet nga Publikimet me qasje të hapur, pozitën 7 për punimet e studentëve, dhe pozitën 13 për artikujt online.

Burimet

Akademia Copyscape Docol©c Dupli Checker DPV intihal.net PlagAware PlagiarismCheck.org Plagiarism Software PlagScan StrikePlagiarism.com Turnitin Unicheck Urkund Viper
Wikipedia 2.3 2.3 2.2 0.9 0.8 0.9 2.4 2.8 1.5 2.4 2.6 2.6 2.3 3.0 2.0
OA Publikime 1.4 1.1 1.3 0.4 0.4 0.5 1.6 1.1 1.2 1.5 1.2 1.8 1.5 1.7 0.8
Punime të studentëve 0.1 0.1 0.1 0.1 0.1 1.0 0.3 0.1 1.3 0.3 2.1 0.1 0.1 0.8 0.1
Artkuj online 0.6 2.2 1.8 0.7 0.5 0.6 1.8 2.8 1.4 2.5 2.3 1.6 2.2 2.0 2.0

Rangimi

Akademia
Wikipedia 9
OA Publikime 6
Punime të studentëve 7
Artkuj online 13
Tabela 5: Vlerësimi dhe rangimi i Platformës Akademia në burimet e përdorura (Versioni 2018)
2020
Në versionin e përditësuar të vitit 2020, performanca e Platformës Akademia përmisohet dukshëm si rezultat i bashkëpunimit me bibloteka dhe arkiva digjitale si palë të treta, por edhe nga përmisimi i algoritmeve grumbulluese. Masat e tilla kanë mundësuar që Akademia të performojë më së miri nga gjitha sistemet për gjetjet nga Wikipedia me 3.0 pikë ndërsa sërish më së ulëti kemi performuar në rastet e kopjimit nga punimet e studentëve me 0.1 pikë. Akademia renditet me pozitën 1 për gjetjet nga Wikipedia, pozitën 2 për gjetjet nga publikimet me qasje të hapur dhe artikujt online, dhe pozitën 7 për gjetjet nga punimet e studentëve.

Burimet

Akademia Copyscape Docol©c Dupli Checker DPV intihal.net PlagAware PlagiarismCheck.org Plagiarism Software PlagScan StrikePlagiarism.com Turnitin Unicheck Urkund Viper
Wikipedia 3.0 2.3 2.2 0.9 0.8 0.9 2.4 2.8 1.5 2.4 2.6 2.6 2.3 3.0 2.0
OA Publikime 1.7 1.1 1.3 0.4 0.4 0.5 1.6 1.1 1.2 1.5 1.2 1.8 1.5 1.7 0.8
Punime të studentëve 0.1 0.1 0.1 0.1 0.1 1.0 0.3 0.1 1.3 0.3 2.1 0.1 0.1 0.8 0.1
Artkuj online 2.4 2.2 1.8 0.7 0.5 0.6 1.8 2.8 1.4 2.5 2.3 1.6 2.2 2.0 2.0

Rangimi

Akademia
Wikipedia 1
OA Publikime 2
Punime të studentëve 7
Artkuj online 2
Tabela 6: Vlerësimi dhe rangimi i Platformës Akademia në burimet e përdorura (Versioni 2020)
Metodat e plagjiaturës
2018
Hulumtuesit kanë analizuar katër metodat më të përdorura në kopjim të cilat janë: Copy&Paste, përdorimi i sinonimeve, parafrazimi dhe përkthimi. Sipas vlersimeve të versionit të vitit 2018, Akademia është vlerësuar më së larti në Copy&Paste me 2.1 pikë dhe më së ulëti në përkthime me 1.1 pikë. Gjithsesi, vlen të përmendet se hulumtuesit kanë vlerësuar se nga të gjitha sistemet, vetëm Akademia performon analiza gjuhësore dhe mundëson krahasimin e dokumenteve përmes përkthimeve.
“Performanca më e dobët e të gjitha sistemeve në këtë test ka qenë plagjiatura ndërgjuhësore, me një përjashtim që vlen të përmendet – Akademia”

Metodat

Akademia Copyscape Docol©c Dupli Checker DPV intihal.net PlagAware PlagiarismCheck.org Plagiarism Software PlagScan StrikePlagiarism.com Turnitin Unicheck Urkund Viper
Copy&Paste 2.1 2.7 2.8 1.1 0.8 1.0 2.9 2.6 2.6 2.7 3.1 2.8 3.1 3.2 2.6
Sinonime 1.8 2.3 1.9 0.7 0.6 0.8 2.2 2.7 1.2 2.5 2.5 2.5 2.1 2.7 1.6
Parafrazim 1.3 1.2 1.0 0.4 0.5 0.7 1.4 1.7 0.8 1.5 1.3 1.5 1.1 1.6 0.9
Përkthime 1.1 0.0 0.1 0.0 0.2 0.3 0.2 0.2 0.3 0.0 0.4 0.3 0.2 0.5 0.3

Rangimi

Akademia
Copy&Paste 12
Sinonime 10
Parafrazim 6
Përkthime 1
Tabela 7: Vlerësimi dhe rangimi i Platformës Akademia në secilën metodë të plagjiaturës (Versioni 2018)
2020
Nëse krahasojmë versionin 2018 me versionin 2020 në metodat e plagjiaturës shohim një përmirësim të dukshëm mes versioneve. Ky progres është rezultat i punës së vazhdueshme dhe sigurimit të cilësisë që ne në Akademia i japim fokus të veçantë. Pas rivlerësimit, Akademia ka performuar më së larti në Copy-paste me 2.8 pikë dhe më së ulëti në parafrazim me 1.9 pikë. Fokusi ynë për kontrollimet ndërgjuhësore ka mundësuar që prej 1.1 pikë të vlerësuar në versionin e vitit 2018, të marrim 2.0 pikë në versionin e vitit 2020. Vlerësim me 2.0 pikë në aspektin e përkthimeve e pozicionon Platformën Akademia si sistemin e vetëm që ofron mundësinë e kontrollimit ndërgjuhësor. Vlenë të theksohet, Akademia nuk është përmisuar vetëm në përkthime por ka përmisuar edhe renditjen e përgjithshme duke u ranguar me pozitën 4 në copy&paste, pozitën 2 në përdorimin e sinonimeve dhe pozitën 1 në parafrazim.

Metodat

Akademia Copyscape Docol©c Dupli Checker DPV intihal.net PlagAware PlagiarismCheck.org Plagiarism Software PlagScan StrikePlagiarism.com Turnitin Unicheck Urkund Viper
Copy&Paste 2.8 2.7 2.8 1.1 0.8 1.0 2.9 2.6 2.6 2.7 3.1 2.8 3.1 3.2 2.6
Sinonime 2.5 2.3 1.9 0.7 0.6 0.8 2.2 2.7 1.2 2.5 2.5 2.5 2.1 2.7 1.6
Parafrazim 1.9 1.2 1.0 0.4 0.5 0.7 1.4 1.7 0.8 1.5 1.3 1.5 1.1 1.6 0.9
Përkthime 2.0 0.0 0.1 0.0 0.2 0.3 0.2 0.2 0.3 0.0 0.4 0.3 0.2 0.5 0.3

Rangimi

Akademia
Copy&Paste 4
Sinonime 2
Parafrazim 1
Përkthime 1
Tabela 8: Vlerësimi dhe rangimi i Platformës Akademia në secilën metodë të plagjiaturës (Versioni 2020)
Dokumentet një-burimore dhe shumë-burimore
2018
Hulumtuesit kanë testuar skenarë të ndryshëm ku dokumentet përmbajnë plagjiaturë vetëm nga një burim dhe skenarin kur dokumentet përmbajnë plagjiaturë nga disa burime. Të dy skenarët janë karahasuar duke përdorur burime të ndryshme (Tabela 9) dhe Wikipedia (Tabela 10).
Sipas vlersimeve të versioni të vitit 2018, Akademia ka performuar më së miri tek skenari një- burimor me 2.0 pikë dhe më dobët tek skenari shumë-burimor me 1.6 pikë. Këto rezultate kanë ndikuar që Akademia të renditet në pozitën 10 në skenarin një-burimor dhe pozitën 11 për skenarin shumë-burimor.

Të gjitha burimet

Akademia Copyscape Docol©c Dupli Checker DPV intihal.net PlagAware PlagiarismCheck.org Plagiarism Software PlagScan StrikePlagiarism.com Turnitin Unicheck Urkund Viper
Një-burimor 2.0 2.2 2.0 0.5 0.5 0.6 2.3 2.5 1.5 2.4 2.5 2.5 2.3 2.7 1.7
Shumë-burimor 1.6 1.7 2.0 0.6 0.2 0.8 3.3 2.0 1.7 2.9 2.5 2.5 1.8 3.1 1.5

Rangimi

Akademia
Një-burimor 10
Shumë-burimor 11
Tabela 9: Vlerësimi dhe rangimi i Platformës Akademia për të gjitha burimet sipas skenarëve një-burimor dhe shumë burimor (Versioni 2018)
2018
Në anën tjetër, një vlerësim ndaras është bërë për gjetjet që sistemet kanë arritur t’i raportojnë për dokumentet ku janë përdorur artikuj nga Wikipedia për të vlerësuar performancën sipas skenarëve një-burimor dhe shumë-burimor.
Bazuar në këtë kriter, Akademia ka performuar më lartë tek skenari një- burimor me 2.4 pikë dhe më dobët në skenarin shumë-burimor me 1.8 pikë. Renditja e Platformës Akademia në këtë test për skenarin një-burimor ka qenë pozita 9 dhe në skenarin shumë-burimor pozita 12.

Wikipedia

Akademia Copyscape Docol©c Dupli Checker DPV intihal.net PlagAware PlagiarismCheck.org Plagiarism Software PlagScan StrikePlagiarism.com Turnitin Unicheck Urkund Viper
Një-burimor 2.4 2.5 2.3 0.8 0.7 0.9 2.5 2.9 1.6 2.6 2.7 2.8 2.5 3.2 2.1
Shumë-burimor 1.8 2.4 2.2 1.3 0.8 0.8 3.6 3.3 2.0 3.3 3.2 3.4 1.9 3.6 2.3

Rangimi

Akademia
Një-burimor 9
Shumë-burimor 12
Tabela 10: Vlerësimi dhe rangimi i Platformës Akademia për Wikipedia sipas skenarëve një-burimor dhe shumë burimor (Versioni 2018)
2020
Në rivlerësimin e vitit 2020 dhe bazuar në kriteret e mësipërme, Akademia ka bërë një progres të jashtëzakonshëm. Në testin ku janë përdorur burime të ndryshme, në skenarin një-burimor Akademia vlerësohet me 3.0 pikë, ndërsa në skenarin shumë-burimor, Akademia është vlerësuar me 2.3 pikë. Akademia pozicioniohet në vendin e 1-rë në skenarin një-burimor dhe në vendin e 5-të në skenarin shumë-burimor.

Të gjitha burimet

Akademia Copyscape Docol©c Dupli Checker DPV intihal.net PlagAware PlagiarismCheck.org Plagiarism Software PlagScan StrikePlagiarism.com Turnitin Unicheck Urkund Viper
Një-burimor 3.0 2.2 2.0 0.5 0.5 0.6 2.3 2.5 1.5 2.4 2.5 2.5 2.3 2.7 1.7
Shumë-burimor 2.3 1.7 2.0 0.6 0.2 0.8 3.3 2.0 1.7 2.9 2.5 2.5 1.8 3.1 1.5

Rangimi

Akademia
Një-burimor 1
Shumë-burimor 5
Tabela 11: Vlerësimi dhe rangimi i Platformës Akademia për të gjitha burimet sipas skenarëve një-burimor dhe shumë burimor (Versioni 2020)
2020
Në testimin ku është përdorur Wikipedia për të krahasuar performancën e sistemeve sipas skenarit një-burimor dhe shumë-burimor, Akademia është vlerësuar me 3.3 pikë në skenarin një-burimor dhe 2.7 pikë në skenarin shumë-burimor. Ngjashëm me rastin paraprak, Akademia renditet në pozitën 1 në skenarin një-burimor duke përdorur Wikipedia dhe pozitën 5 në skenarin shumë-burimor duke përdorur Wikipedia.

Wikipedia

Akademia Copyscape Docol©c Dupli Checker DPV intihal.net PlagAware PlagiarismCheck.org Plagiarism Software PlagScan StrikePlagiarism.com Turnitin Unicheck Urkund Viper
Një-burimor 3.3 2.5 2.3 0.8 0.7 0.9 2.5 2.9 1.6 2.6 2.7 2.8 2.5 3.2 2.1
Shumë-burimor 2.7 2.4 2.2 1.3 0.8 0.8 3.6 3.3 2.0 3.3 3.2 3.4 1.9 3.6 2.3

Rangimi

Akademia
Një-burimor 1
Shumë-burimor 5
Tabela 12: Vlerësimi dhe rangimi i Platformës Akademia për Wikipedia sipas skenarëve një-burimor dhe shumë burimor (Versioni 2020)

Përdorshmëria

Përdorshmëria është analizuar si një faktor i rëndësishëm që përdoruesit të kenë ndërveprim më të lehtë në kontrollimin e dokumenteve. Hulumtuesit në këtë rast kanë analizuar 23 kritere objektive për të vlerësuar përdorshmërinë për secilin sistem. Kriteret e vlerësimit janë grupuar në tre kategori si: procesi, prezantimi i raporteve dhe aspektet tjera .
Procesi
A ofrohet mundësia e ngarkimit të shumë dokumenteve përnjëherë? A kërkohet të plotësohen të dhënat “metadata”? A e përdor sistemi emërtimin origjinal të dokumentit A ka limit të fjalëve për ngarkim A e paraqet sistemi tekstin vetëm në gjuhën e zgjedhur? A mundet sistemi me përpunu dokumente të mëdha (p.sh punim diplome bachelor)?
Prezantimi i rezultateve
Shkarkimi i raporteve A janë të ruajtura rezultatet në logarinë e përdoruesit dhe a mund të rishikohen më vonë? Pjesët e gjetura janë të hijezuara në raportin online. Pjesët e gjetura janë të hijezuara në raportin offline. Evidencat e ngjashmërisë janë të prezantuara krahas njëra tjetrës në raportin online. Evidenca të ngjashmërisë janë të prezantuara krahas njëra-tjetrës në raportin e shkarkuar. Formati i dokumentit nuk ndryshohet në raport. Numri i faqeve të dokumentit tregohet në raport. Raporti nuk raporton “false positives”
Aspektet të përdorimit
Kostot e sistemit janë të paraqitura qartë në faqen zyrtare të sistemit. Informatat për testim papagesë janë të promovuara në webfaqe. Sistemet mund të integrohen përmes API në sisteme të menaxhimit të procesit mësimor. Sistemet mund te integrohen ne Moodle. Sistemi ofron mbështetje përmes thirrjes. Mbështetja teknike ofrohet në gjuhën angleze. Gjuha Angleze është përdorur si duhet në webfaqe dhe raport. Nuk ka reklama të jashtme.
Vlerësimi i sistemeve në aspektin e përdorshmërisë
2018
Vlerësimi i aspektit të përdorushmërisë është relativisht i thjeshtë, ku në secilin prej 23 kritereve hulumtuesit kanë notuar secilin kriter me 1 (pozitiv) apo 0 (negativ). Vlerësimi për Platformën Akademia për versionin 2018 ka marrë notimi 2 prej 6 pikë në aspektin e procesit, 5 nga 9 pikë në prezantimin e rezultateve, dhe 2 nga 8 pikë për aspektet tjera.

Procesi

Akademia Copyscape Docol©c Dupli Checker DPV intihal.net PlagAware PlagiarismCheck.org Plagiarism Software PlagScan StrikePlagiarism.com Turnitin Unicheck Urkund Viper Total
Ngarkimi i disa dokumenteve përnjëherë 0 0 1 0 1 0 0.5 1 0 1 0 1 1 1 1 8.5
Nuk nevojiten "metadata" 0 1 1 1 1 0 1 1 1 1 0 0 1 1 0 10
Emërtimi origjinal i dokumentit 0 0 1 0 1 1 1 0 0 1 1 1 1 1 1 10
Nuk ka limit të fjalëve 1 0 1 0 1 1 1 1 0 1 1 1 1 1 1 12
Paraqitet teksti ne gjuhën e zgjedhur 0 1 1 1 1 0 0 1 1 1 1 1 1 1 1 13
Dokumente të mëdha 1 1 1 0 1 1 1 1 0 1 1 1 1 1 1 13
Total 2 3 6 2 6 3 4.5 5 2 6 4 5 6 6 5 4 \ 11
Tabela 13: Vlerësimi i Platformës Akademia sipas kritereve në kategorinë e procesit (Versioni 2018)

Prezantimi i rezultateve

Akademia Copyscape Docol©c Dupli Checker DPV intihal.net PlagAware PlagiarismCheck.org Plagiarism Software PlagScan StrikePlagiarism.com Turnitin Unicheck Urkund Viper Total
Raporti shkarkohet 1 0 1 0 1 1 1 1 1 1 1 1 1 1 1 13
Rezultatet mund të ruhen 1 0 1 0 1 1 1 1 0 1 1 1 1 1 1 12
Gjetjet hijezohen në raportin online 1 0 0 1 1 1 1 1 1 1 1 1 1 1 1 13
Gjetjet hijezohen në raportin offline 0 0 1 0 1 0 1 1 1 1 1 1 1 1 1 11
Evidencat paraqiten krahas njëratjetrës online 0 0 0 1 1 0 0.5 0 0 1 0 0 0 1 0 4.5
Evidencat paraqiten krahas njëratjetrës offiline 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 1
Formati i dokumentit ruhet 1 0 1 0 0 0 0 0 0 1 0 1 1 0 0 5
Numri i faqeve tregohet 1 0 1 0 0 0 0 0 0 1 1 1 1 1 1 8
Nuk ka "false positives" 0 1 1 1 1 0 1 1 0 1 1 1 0 1 1 11
Total 5 1 6 3 6 3 5.5 5 3 8 6 7 6 8 6 5 \ 9
Tabela 14: Vlerësimi i Platformës Akademia sipas kritereve në kategorinë e prezantimit të rezultateve (Versioni 2018)

Aspektet tjera

Akademia Copyscape Docol©c Dupli Checker DPV intihal.net PlagAware PlagiarismCheck.org Plagiarism Software PlagScan StrikePlagiarism.com Turnitin Unicheck Urkund Viper Total
Kostot janë paraqitur qartë 0 1 1 1 0 0 1 1 1 1 1 0 1 0 1 10
Testimi papagesë është paraqitur në web 0 1 0 1 0 0 1 1 1 1 1 0 1 0 0 8
AOfron integrimin përmes API 0 1 1 0 0 0 1 1 0 1 1 1 1 1 0 9
ofron integrimin në Moodle 0 0 0 0 0 0 1 1 0 1 1 1 1 1 0 7
Mbështetja teknike përmes telefonit 0 0 1 0 0 0.5 0.5 1 0.5 1 0.5 0.5 1 1 0 7.5
Mbështetja teknike flet Anglisht 0 0 1 0 0 0.5 0 1 1 0 0 1 1 1 0 6.5