Darganfod gwahaniaethau posibl rhwng yr arolygon gwreiddiol a’r Arolwg Cenedlaethol Cymru newydd (crynodeb)

Daeth adolygiad o’r modd y cynhelir arolygon cymdeithasol yng Nghymru i’r casgliad y byddai’n bosibl uno’r pum arolwg mewn un Arolwg Cenedlaethol, a dyna’r drefn a ddilynir o 2016-17 ymlaen.

Mae’r arolwg newydd yn hwy na’r arolygon blaenorol, ac fe’i cynhelir gan ddefnyddio methodoleg sy’n wahanol i fethodoleg rhai o’i rhagflaenwyr. Comisiynwyd y gwaith hwn i ymchwilio i weld a fyddai’r arolwg newydd yn cynhyrchu canlyniadau gwahanol, ac felly yn darparu gwybodaeth am yr hyn y mae’r newid yn ei olygu ar gyfer deall tueddiadau dros amser. Roedd y prosiect yn cymharu canlyniadau allweddol o brawf ar raddfa fawr o’r Arolwg Cenedlaethol newydd (a gynhaliwyd yn ystod haf 2015) â’r canlyniadau ar gyfer yr un pynciau o’r arolygon blaenorol.

Gall y gwahaniaethau yn y dull a ddefnyddir ar gyfer yr arolwg newydd o’i gymharu â’r arolygon blaenorol arwain at wahaniaethau yn yr amcangyfrifon. Mae rhai o’r ffyrdd posibl y gall hyn ddigwydd yn cynnwys newidiadau yn y modd (mae’r arolwg newydd yn un a arweinir yn gyfan gwbl gan gyfwelydd), yn ogystal â gwahaniaethau eraill yn yr holiadur fel effaith trefn y cwestiynau, ac effeithiau blinder gan fod yr holiadur yn hwy.

At ddiben yr astudiaeth hon rydym wedi canolbwyntio ar wahaniaethau mwy, o fwy na 5 pwynt canran, rhwng yr hen arolygon a’r un newydd, ac wedi nodi’r rhain fel diffyg dilyniant posibl. Fodd bynnag, mae’r cyfeiliornadau samplu yn golygu nad yw hi bob amser yn bosibl asesu a yw’r diffyg dilyniant hwn a nodwyd yn bod mewn gwirionedd, er ei fod yn darparu tystiolaeth ddefnyddiol. Gallai achosion llai o ddiffyg dilyniant fod yn bresennol, a gallent hwythau fod yn bwysig i ddefnyddwyr hefyd. Mae’r amrywiaeth mewn samplu, yn enwedig yn yr amcangyfrifon o’r prawf ar raddfa fawr sydd â maint sampl llai na’r arolygon gwreiddiol, yn ei gwneud yn fwy anodd yn gyffredinol i nodi achosion llai o ddiffyg dilyniant.

Ar gyfer amcangyfrifon ar lefel genedlaethol a rhannu canlyniadau i nifer fach o gategorïau, mae amcangyfrif o unrhyw wahaniaethau uniongyrchol yn foddhaol. Ar gyfer eu rhannu yn fanylach mae meintiau’r sampl yn rhy fach i gynhyrchu canlyniadau sy’n ddigon cywir. Yn yr achosion hyn gellir defnyddio dull amcangyfrif ardal fach i gynhyrchu amcangyfrifon mwy cywir, ac yn yr astudiaeth hon defnyddiwyd y dull hwn ar gyfer Arolwg Iechyd Cymru fel esiampl.

Ymchwiliwyd i naw o newidynnau (rhai â nifer o ganlyniadau posibl) ar lefel genedlaethol o Arolwg Cenedlaethol Cymru, gan gynnwys llesiant, gallu yn y Gymraeg a mynediad at y rhyngrwyd. Dadansoddwyd pump o’r rhain ar lefel awdurdod lleol. Ar draws pob un o’r dadansoddiadau hyn ychydig iawn o amcangyfrifon diffyg dilyniant oedd yn sylweddol wahanol i sero, ac mae’n ymddangos yn bosibl bod y rhain wedi codi ar hap oherwydd y samplu ar hap. Ni chanfu’r prosiect hwn felly unrhyw achosion o ddiffyg dilyniant rhwng y newidynnau o gynllun blaenorol Arolwg Cenedlaethol Cymru (o 2012-15) a’r arolwg newydd.

Dewiswyd naw newidyn o Arolwg Iechyd Cymru ac amcangyfrifwyd achosion o ddiffyg dilyniant ar y lefel genedlaethol. Roedd gan dri o’r rhain - cyfrannau’r ymatebwyr a oedd yn yfed mwy na’r canllawiau, yfed dwywaith yn fwy na’r canllawiau, a chyfran yr ymatebwyr a oedd yn bwyta pump neu fwy o ffrwythau a llysiau bob dydd - amcangyfrifon is nag Arolwg Iechyd Cymru. Mae eu rhannu yn fanwl fesul Bwrdd Iechyd, rhyw ac oedran yn dangos diffyg dilyniant tebyg ar gyfer yr un newidynnau mewn rhai grwpiau oedran. Ar y lefelau manylaf mae’r gwahaniaethau yn yr amcangyfrifon yn fawr, felly mae’n anodd asesu a yw’r gwahaniaethau a arsylwyd yn codi o ganlyniad i gyfeiliornad samplu neu beidio. Mae defnyddio amcangyfrifon ardal fach yn y sefyllfaoedd hyn yn darparu cyfeiliornad samplu llawer llai. Mae’r canlyniadau hyn yn awgrymu bod amcangyfrif ardal fach yn ddefnyddiol yma. Canfuom fod problem gyffredinol wrth ddefnyddio niferoedd is o ymatebwyr yn y prawf ar raddfa fawr yn adrodd lefelau uchel o yfed alcohol (a allai fod oherwydd effaith cynnal arolwg wyneb yn wyneb o bosibl) a bwyta 5 neu fwy o ddognau o ffrwythau a llysiau. Mae rhai o’r gwahaniaethau a arsylwyd mewn cyfeiriadau gwahanol i’r hyn a ddisgwylid, ac mae tueddiad cyffredinol i unrhyw ddiffyg dilyniant godi o werthoedd is ar yr Arolwg Cenedlaethol newydd (yn hytrach na gwerthoedd uwch).

Dadansoddwyd deunaw o newidynnau o’r Arolwg o Oedolion Egnïol, gan gynnwys amrywiaeth o weithgareddau cymryd rhan. Roedd y newidyn Wedi Gwirioni ar Chwaraeon yn dangos diffyg dilyniant wrth i’r prawf ar raddfa fawr ddangos gwerthoedd is. Roedd enghreifftiau o ddiffyg dilyniant i’r ddau gyfeiriad ymhlith y newidynnau eraill.

Ar gyfer Arolwg y Celfyddydau yng Nghymru, ymchwiliwyd i chwe newidyn, ac roedd pedwar ohonynt yn dangos diffyg dilyniant ar y lefel genedlaethol. Roedd gan y prawf ar raddfa fawr amcangyfrifon is ar gyfer newidynnau cymryd rhan, ac amcangyfrif uwch ar gyfer un newidyn rhwystr. Mae’r cyfwng hyder ar gyfer yr amcangyfrifon diffyg dilyniant fesul awdurdod lleol yn arbennig o lydan ar gyfer yr arolwg hwn, felly ychydig braidd o’r amcangyfrifon o’r fath a oedd yn sylweddol wahanol i sero.

Ar gyfer Arolwg y Celfyddydau yng Nghymru, ymchwiliwyd i chwe newidyn, ac roedd pedwar ohonynt yn dangos diffyg dilyniant ar y lefel genedlaethol. Roedd gan y prawf ar raddfa fawr amcangyfrifon is ar gyfer newidynnau cymryd rhan, ac amcangyfrif uwch ar gyfer un newidyn rhwystr. Mae’r cyfwng hyder ar gyfer yr amcangyfrifon diffyg dilyniant fesul awdurdod lleol yn arbennig o lydan ar gyfer yr arolwg hwn, felly ychydig braidd o’r amcangyfrifon o’r fath a oedd yn sylweddol wahanol i sero.

Pan nodwyd diffyg dilyniant, roeddynt yn awgrymu yn fwy aml y bydd yr Arolwg Cenedlaethol newydd yn darparu amcangyfrifon is ar gyfer y newidynnau penodol hynny nag y gwnaeth yr arolygon blaenorol. Mae’r prosiect hwn yn canolbwyntio ar nodi a meintioli diffyg dilyniant, yn hytrach nag archwilio pam mae’r gwahaniaethau hyn wedi digwydd. Mae effeithiau newydd modd a threfn cwestiynau yn esboniadau posibl, ond byddai angen ymchwilio ymhellach i nodi achosion posibl ym mhob sampl penodol.

Mae’r amcangyfrifon diffyg dilyniant yn darparu un darn o dystiolaeth ynghylch y gwahaniaethau rhwng y gyfres wreiddiol o arolygon a’r Arolwg Cenedlaethol newydd. O dan rhai tybiaethau cryf gallent ddarparu sail ar gyfer addasiadau, ond maent yn fwy tebygol o fod yn ddefnyddiol fel gwybodaeth ategol i helpu i ddehongli’r gwahaniaethau. Wrth i ddata newydd gronni o’r Arolwg Cenedlaethol newydd, dylai fod yn bosibl mireinio’r amcangyfrifon gan ddefnyddio modelau amgen, ac mae’r adroddiad llawn yn cynnwys gwybodaeth am sut y gellid gwneud hynny.

Paul A. Smith, Nikos Tzavidis, Timo Schmid, Natalia Rojas, Jan van den Brakel

Mae’r adroddiad llawn ar gael ar gais.

Mae’r safbwyntiau a fynegwyd yn yr adroddiad hwn yn perthyn i’r ymchwilwyr ac nid o reidrwydd Llywodraeth Cymru

Chris McGowan
arolygon@llyw.cymru 

Rhif ymchwil gymdeithasol: 33/2017

Image

Digital ISBN 978-1-4734-9489-3