Arolwg Cenedlaethol Cymru: adroddiad peilot 2018 (crynodeb)

Prif amcanion y peilot oedd:

• profi’r holiadur terfynol ar gyfer 2018-19, yn enwedig y modiwlau newydd sydd yn yr holiadur
• profi’r deunyddiau arolwg a ddiweddarwyd (llythyr a thaflen a anfonwyd ymlaen llaw, a chardiau dangos)
• profi dull newydd o gyfweld lle mae dau oedolyn a ddewiswyd ar hap yn cael eu cyfweld ar aelwydydd sydd â dau neu fwy o unigolion yn byw mewn cyfeiriad samplu
• casglu adborth gan y cyfwelwyr a’r ymatebwyr
• darparu mwy o wybodaeth am hyd cyfweliad un-person o’i gymharu â chyfweliad dau-berson, a metrigau eraill y broses arolwg

Dilynodd y weithdrefn samplu ar gyfer y peilot yr un cynllun samplu tebygolrwydd ar hap ag y gwnaeth y prif arolwg yn 2017–18. Roedd dau brif wahaniaeth. Y cyntaf oedd hwn: yn hytrach na chynnwys pob awdurdod lleol yng Nghymru, dewiswyd naw awdurdod lleol yn bwrpasol, gan sicrhau bod yr ardaloedd hyn yn cwmpasu gwahanol rannau o Gymru, a’r amrywiol lefelau o gyfraddau ymateb a gaed yn y flwyddyn arolwg flaenorol. Yr ail wahaniaeth oedd hwn: lle roedd dau neu fwy o oedolion yn byw mewn cyfeiriad samplu, cynhaliwyd yr arolwg gyda dau oedolyn yn eu tro (wedi eu dewis ar hap lle roedd mwy na dau yn byw yn yr un cyfeiriad).

Darparwyd tabl grid Kish ar gyfer y cyfwelwyr gan gynnwys rhifau ar hap ar gyfer pob cyfeiriad yn y cwota. Defnyddiwyd y tabl rhif ar hap hwn, i hwyluso’r broses o ddethol ar hap, oedolion sy’n byw mewn cyfeiriadau samplu. O’r blaen, roedd y tabl grid Kish hwn ddim ond yn cynnwys rhifau ar hap er mwyn dewis un oedolyn ar bob aelwyd. Er mwyn profi’r broses newydd o gyfweld dau oedolyn, ychwanegwyd at y tabl rifau ar hap ar gyfer pob cyfeiriad mewn cwota.

Cynhaliwyd cyfanswm o 194 cyfweliad unigol ledled 129 o aelwydydd; cynhaliwyd un cyfweliad yn Gymraeg. Roedd hyn yn cynrychioli cyfradd ymateb o 57.8% o gyfeiriadau cymwys. O’r aelwydydd hynny lle dewiswyd dau oedolyn i gael eu cyfweld, cytunodd 73% o’r oedolion a ddewiswyd yn ail, i gymryd rhan yn yr arolwg, sef nifer uwch na’r disgwyl. Ni ailgychwynnwyd dim o’r achosion anghynhyrchiol. Byddai ailgychwyn achosion anghynhyrchiol ar y prif lwyfan yn arwain at gynnydd bach yn y cyfraddau ymateb.

O ran cyfweliad un-oedolyn, 50 munud oedd hyd y cyfweliad (canolrif). Er bod hynny’n bum munud yn fwy na’r disgwyl, gellir esbonio’r cynnydd drwy nodi’r ffaith fod rhai issamplau wedi cael eu cyfeirio’n fwriadol at gyfran uwch o bobl yn y peilot nag a fydd yn digwydd ar y prif lwyfan. Gwnaed hyn er mwyn cael amseriadau cywirach ar gyfer y modiwlau a’r cwestiynau holiadur perthnasol. Ar aelwydydd lle cafodd dau oedolyn eu cyfweld, y cyfartaledd canolrif oedd 54 munud (canolrif) y pen. Roedd hyn yn groes i’r effaith ddisgwyliedig: roeddem wedi rhagweld y byddai’r oedolyn cyntaf ar aelwyd dauoedolyn yn cael ei gyfweld am 45 munud ar gyfartaledd, ac y byddai’r ail oedolyn yn cael ei gyfweld am 40 munud. Roedd yn eglur o’r peilot fod angen i’r cyfwelydd dreulio amser ychwanegol yn rheoli’r ymatebwyr wrth newid o’r cyntaf i’r ail, a bod cyfweliadau unigol yn cael eu hymestyn gan fod yr ymatebydd nad oedd yn cael ei gyfweld weithiau’n torri ar draws.

Canfyddwyd bod y dull o gynnal cyfweliad â dau oedolyn yn gweithio’n dda, ond roedd gofyn bod y cyfwelwyr yn bod yn fwy hyblyg wrth gynllunio’u llwyth gwaith. Cafwyd adborth cymysg gan gyfwelwyr ar y dull o gyfweld dau oedolyn. Er bod y broses yn gweithio’n dda yn gyffredinol, tynnodd y cyfwelwyr sylw at yr heriau oedd yn eu hwynebu wrth gynllunio’u llwyth gwaith ac wrth drefnu apwyntiadau o ystyried y gallai’r cyfweliadau gymryd mwy o amser ar aelwydydd lle roedd angen cyfweld dau oedolyn. Amlygodd y cyfwelwyr bwysigrwydd cynnal y ddau gyfweliad ag oedolion yn ystod yr un apwyntiad rhag i’r ail oedolyn wrthod cael ei gyfweld, er na allai’r data peilot gadarnhau hyn gan nad oedd y peilot yn cofnodi ar ba bwynt y gwrthododd yr ail oedolyn.

Canfyddwyd bod y deunyddiau arolwg yn gweithio’n dda, ond nododd y cyfwelwyr fod angen gwella’r llythyr a anfonwyd ymlaen llaw. Nododd y cyfwelwyr hefyd fod angen gwneud rhai mân newidiadau i rai o’r cardiau dangos.

Nododd cyfwelwyr fod yr holiadur, yn gyffredinol, yn llifo’n hwylus ac nad oedd problemau mawr yn digwydd yn ystod y cyfnod maes. Oherwydd bod cyfwelwyr ac ymatebwyr o’r farn fod y cyfweliad yn un gweddol hir, nododd y cyfwelwyr sawl adran lle byddai o fudd pe byddid yn eu symleiddio a’u gwneud yn fwy eglur i’r ymatebydd. Sylwodd cyfwelwyr hefyd ar nifer o fân faterion technegol a fformatio y dylid mynd i’r afael â hwy.

Mae LlC wedi rhoi ystyriaeth ofalus i bob elfen o’r cynllun arbrofol (fel yr amlinellwyd yn Atodiad A), yn enwedig y risgiau a’r manteision posib sy’n deillio ohono. Oherwydd y gallai’r arbedion posib a geid o’r newid yng nghynllun yr arolwg fod yn weddol fach (gallai fod yn llai nag a ddisgwylid yn wreiddiol oherwydd bod y cyfweliad yn para am fwy o amser), mae LlC wedi penderfynu nad yw’r elw ariannol o hynny yn ddigon mawr i gyfiawnhau’r risgiau i ddarpariaeth yr arolwg, a’r effaith bosib ar ansawdd yr amcangyfrifon, ac felly mae wedi penderfynu peidio â chynnal yr arbrawf yn ystod y flwyddyn arolwg 2018–19 ac i barhau â’r cynllun sampl presennol i’r dyfodol.

Er bod hyn yn golygu nad oes angen ystyried y canfyddiadau perthnasol i’r dull o gyfweld dau oedolyn ar gyfer yr arolwg prif lwyfan sy’n dechrau fis Ebrill 2018, amlygodd y peilot hwn nifer o awgrymiadau eraill ynghylch sut y gellid gwella eto ar y deunyddiau arolwg a’r holiadur.

Cafwyd bod y llythyr a anfonwyd ymlaen llaw a thaflen yr arolwg yn gweithio’n dda, ond byddai’n werth ystyried awgrymiadau ynghylch sut i’w gwneud yn fwy apelgar i’r boblogaeth iau ac i’w teilwra’n fwy manwl i bob ardal leol. Er na ellir cyflwyno newidiadau sylweddol i ddeunyddiau a ddefnyddir ymlaen llaw heb eu profi’n drylwyr, gellid ystyried prosiect ymchwil i asesu pa effaith a gâi’r mân newidiadau arfaethedig ar y cyfraddau ymateb.

.Roedd adborth gan gyfwelwyr hefyd yn amlygu gwelliannau posib y gellid eu gwneud wrth ymdrin â chardiau dangos, yn ogystal â nodi rhai mân gamgymeriadau ar rai o’r cardiau dangos.

Er canfod bod yr holiadur yn gweithio’n dda yn gyffredinol, nododd y cyfwelwyr nifer o faterion oedd yn awgrymu mannau lle mae’n bosib nad yw’r holiadur yn gweithio cystal â’r disgwyl. Tynnwyd sylw gan gyfwelwyr at nifer o ffyrdd y gellid symleiddio’r cyfweliad er mwyn mynd i’r afael â’r farn ei fod yn hir. Byddai rhai o’r awgrymiadau hyn yn gofyn am ddim ond newidiadau bach i’r holiadur, ac felly gellid eu gweithredu mewn pryd ar gyfer dechrau’r cyfnod llwyfannu newydd. Byddai awgrymiadau eraill angen newidiadau manylach i ddatblygiad yr holiadur a mynd i’r afael â phrofi gwybyddol, a gallai hyn fod yn fuddiol os yw LlC yn bwriadu parhau â’r modiwlau perthnasol ar yr holiadur yn y blynyddoedd arolwg sydd i ddod.

Martina Helme: Swyddfa Ystadegau Gwladol

Mae’r adroddiad llawn ar gael ar gais.

Mae’r safbwyntiau a fynegwyd yn yr adroddiad hwn yn perthyn i’r ymchwilwyr ac nid o reidrwydd Llywodraeth Cymru

Chris McGowan
arolygon@llyw.cymru 

Rhif ymchwil gymdeithasol: 51/2018

Image

Digital ISBN 978-1-78937-919-9