Arolwg Cenedlaethol Cymru: adroddiad peilot 2017 (crynodeb)

Prif nodau'r arolwg peilot oedd:

• profi'r arolwg terfynol ar gyfer 2017-18, yn arbennig y modiwlau cwestiwn incwm newydd
• profi dogfennau a deunyddiau maes newydd yr arolwg
• casglu adborth gan gyfwelwyr ac ymatebwyr
• rhoi mwy o wybodaeth am hyd y cyfweliad, o ystyried y newidiadau sylweddol a wnaed i gynnwys yr holiadur ers blwyddyn gwaith maes 2016-17

Dilynodd y weithdrefn samplu ar gyfer yr arolwg peilot yr un dyluniad samplu tebygolrwydd ar hap â phrif arolwg 2016-17. Yr eithriad oedd, yn hytrach na chynnwys pob awdurdod lleol yng Nghymru, dewiswyd 13 o awdurdodau lleol yn bwrpasol, gan sicrhau bod yr ardaloedd hyn mewn rhannau gwahanol o Gymru ac yn gymysgedd o ardaloedd trefol a gwledig.

Rhannwyd y sampl beilot yn ddau grŵp, a rhoddwyd holiadur gwahanol i'r ddau ohonynt. Cafodd cyfeiriadau a ddewiswyd yn nhri awdurdod lleol Sir y Fflint, Blaenau Gwent a Sir Fynwy yr holiadur llawn i brofi'r llif cyffredinol ac i gael syniad o'r amseroedd cyffredinol.

Cafodd fersiwn fer (a oedd yn cynnwys y modiwlau newydd ar gyfer 2017-18 yn unig) ei phrofi yn y 10 awdurdod lleol arall (Ynys Môn, Gwynedd, Conwy, Sir Ddinbych, Wrecsam, Ceredigion, Sir Benfro, Pen-y-bont ar Ogwr, Torfaen a Phowys) a gymerodd ran yn yr arolwg peilot. Nod y fersiwn fyrrach hon o'r holiadur oedd profi'r llif a'r ddealltwriaeth o'r cwestiynau newydd a ddatblygwyd yn benodol ar gyfer 2017-18.

Er mwyn sicrhau cyfradd ymateb dda, cynigiwyd cymhelldal amodol o £20. Cafodd ei anfon at ymatebwyr ar ôl iddynt gael eu cyfweld. Cafodd y cyfwelwyr hefyd eu cyfarwyddo i wneud uchafswm o bedair galwad cyn codio achos yn un dim cyswllt (sy'n wahanol i'r isafswm o chwech ar gyfer y prif arolwg) er mwyn sicrhau eu bod yn canolbwyntio ar gwmpasu'r sampl gyfan a chynnal cyfweliadau cynhyrchiol cyn gynted â phosibl.

Ar y cyfan, canfuwyd bod yr holiadur newydd yn gweithio'n dda. Ni nodwyd unrhyw broblemau mawr yn yr arolwg peilot hwn.

Cynhaliwyd cyfanswm o 180 o gyfweliadau o blith 393 o gyfeiriadau, gan gynnwys pum cyfweliad drwy gyfrwng y Gymraeg. Roedd hyn yn cynrychioli cyfradd ymateb o 58.3% ar sail cyfeiriadau cymwys. Ni chafodd unrhyw achosion anghynhyrchiol eu hail-ddyroddi. Disgwylir i'r gyfradd ymateb cyn ail-ddyroddi fod yn is yn ystod gwaith maes y prif arolwg, gan mai dim ond £10 fydd y cymhelldal amodol a ddefnyddir bryd hynny. Fodd bynnag, bydd ail-ddyroddi achosion anghynhyrchiol yn ystod y prif arolwg yn arwain at gyfraddau ymateb uwch.

Hyd canolrif cyfweliad ar gyfer y sampl a gafodd yr holiadur llawn oedd 47.0 munud (ac eithrio anomaleddau ac allanolynnau), sy'n ddwy funud yn hirach na'r hyd disgwyliedig. Hyd cymedrig cyfweliad oedd 46.8 munud (ac eithrio anomaleddau ac allanolynnau).

Yn ôl adborth a gafwyd gan y cyfwelwyr, cafodd y newid a gyflwynwyd o ail lythyr ymlaen llaw (fel ym mhrif arolwg 2016-17) i gerdyn post ymateb cymysg gan gyfwelwyr ac ymatebwyr. Ar y naill llaw, roedd cyfwelwyr wedi croesawu'r newid gan ei fod yn dileu'r angen i ysgrifennu eu manylion cyswllt ar ddwy ochr y llythyr, ond roedd y farn ar ddyluniad y cerdyn post yn gymysg.

Roedd newid y cardiau dangos o faint A4 i A5 wedi bod yn llwyddiant mawr gyda'r mwyafrif o'r cyfwelwyr, gan nodi eu bod bellach yn 'codi llai o ofn' ar ymatebwyr, yn haws eu defnyddio ac yn edrych yn fwy proffesiynol.

Awgrymodd y cyfwelwyr nifer o fân welliannau i'r holiadur, a chodwyd pryderon ynghylch y cwestiynau newydd ar incwm ac ymateb yr ymatebwyr iddynt.

Ystyriwyd bod y newidiadau i ddeunyddiau'r arolwg peilot yn llwyddiant a dylid eu cario ymlaen i flwyddyn arolwg 2017-18 ar ôl gwneud mân newidiadau.

Roedd hyd canolrif cyfweliad ddwy funud yn hirach na'r disgwyl, ond mae hyn yn debygol o ostwng pan fydd yr holiadur yn fwy cyfarwydd.

Am fod cyfwelwyr yn pryderu bod ymatebwyr yn cael trafferth gyda chwestiynau yn ymwneud ag incwm, dylid adolygu cynnwys yr hyfforddiant a'r sesiynau briffio i gyfwelwyr cyn cynnwys modiwlau ar incwm yn holiadur yr Arolwg Cenedlaethol. Dylid monitro cyfraddau ymateb yn agos ar ôl cyflwyno'r cwestiynau hyn er mwyn asesu p'un a ydynt yn cael effaith negyddol ar ymatebion.

Martina Helme, Tom Pegg: Swyddfa Ystadegau Gwladol

Mae’r adroddiad llawn ar gael ar gais.

Mae’r safbwyntiau a fynegwyd yn yr adroddiad hwn yn perthyn i’r ymchwilwyr ac nid o reidrwydd Llywodraeth Cymru

Chris McGowan
arolygon@llyw.cymru 

Rhif ymchwil gymdeithasol: 59/2017

Image

Digital ISBN 978-1-78859-613-8