Šta je novo?

Veštačka inteligencija

Nikada do sada se nije desilo da nova, efikasnije sredstva za proizvodnju dovedu do toga da kapitalisti nepotrebnim radnicama plate stan i hranu.
Nece se desiti ni sada.
Citava histerija je zbog pritiska na zaposlene, na smanjenje plata, na ucenu.
Kroz citavu istoriju, tehnologija s emenja, ljudi prelaze na nova radna mesta.
Onaj koji je radio pognut u polju ima isijas isto kao i onaj koji je sedeo za kompjuterom.
 
Nekadasnji pionir AI uposozrava na opasnost.

 
Chat GPT se slabo snalazi sa srpskim zagonetkama :)
I ovo je mala ilustracija sta se moze desiti ako se osloni na chat GPT bez dobrog poznavanaj konteksta.
zagonetka.png
 
AI podiže/može podići produktivnost u skoro svakom segmentu.
Mi moramo samo investirati u znanje i gledati kako to da iskoristimo - neko mora i da zna kako da iskoristi i prilagodi veštačku inteligenciju za svoje potrebe (iako se misli da je sve to lako).

Slažem se sa Defketom da ćemo u budućnosti mnogo više da razvijamo ANI, dok je AGI dosta daleko - za sada. Ali i ne zaboravite da, kao u svemu, rast nije uvek linearan i da kasnije progres bude mnogo manji nego što se očekuje. Tako da sada ovaj bum, ne garantuje da će se ovaj trend nastaviti u sledećih 10, 20god
Imate dosta primene ANI-a i razvoja pre ovog buma sa GPT-om (koji je ostavio najviše impresija na ljude) - recimo autonomna vožnja. Iako se razvija decenijama, veliki skok je napravljen kada je ML usao u igru i Tesla predstavila svoj "autopilot" sistem 2014e široj javnosti. Tada, sećam se, svi su pisali da je to to, pune su bile stranice da za maksimalno 2 godine imamo full autonomna vozila.
Mi i danas, koliko god da je razvoj vidljiv, još uvek smo veoma daleko od toga. Još bolji primer su auto piloti u avionima koji se razvijaju decenijama i gde je čak i mnogo lakši razvoj istih - i dalje smo mnogo daleko od autonomnih aviona. Međutim ovi sistemi nam omogućavaju, kada se koriste kako treba, daleko bezbedniju vožnju - ali ljudi moraju biti svesni kako da koriste te sisteme (kao i piloti u avionima).
 
Najvažnije od svega je da ćemo sa većom produktivnošću moći manje da radimo a više da se posvetimo svojim životima i porodicama. Hahahaha.
 
Od toga nema ništa :) Ali ne zaboravite kako je izgledao svet pre tehnoloških "revolucija". Subota je za ogromnu većinu ljudi bio klasičan radni dan. Radilo se više od 12h dnevno...
Za sve benefite mi moramo, kao čovečanstvo, da se izborimo.

Ja najveći problem sa AI-em (u ovoj fazi) vidim u tome što može doći do problema sa dezinformacijama (ovo verujem da nećemo moći da prevaziđemo tako lako) i što će još više "ograničiti" ljude. Ograničiti u smislu da nam ubija kreativnost pre svega
 
Od toga nema ništa :) Ali ne zaboravite kako je izgledao svet pre tehnoloških "revolucija". Subota je za ogromnu većinu ljudi bio klasičan radni dan. Radilo se više od 12h dnevno...
Za sve benefite mi moramo, kao čovečanstvo, da se izborimo.

Tako je. Ključna stvar sa kojom mnogi imaju problem u razmišljanju o posledicama ove tehnologije je što u analizi ne razdvajaju šta su MOGUĆNOSTI same tehnologije od društvenih aspekata KORIŠĆENJA neke tehnologije. Tj šta nešto može, od toga kako će društvo da se dogovori da to koristi. Jedno nema veze sa drugim. Ako dozvolite da se neoliberalizam i potiskivanje demokratije šire bez ikakvog otpora i kontrole, onda zaista možete očekivati sve najgore. Pa što neka tehnologija ima veće mogućnosti, biće više alata koji se za ciljeve eksploatatora mogu koristiti. Ali to neme veze sa analizom šta tehnologije može "po sebi", tj kakvu bi pomoć u radu i u olakšanju naših života mogla da ima kad bi ljudi odmah bili svesni tih mogućnosti i aktivno se BORILI da se ONE realizuju, a ne ono što ide protiv njihovih interesa. Ili po Marksovoj terminologiji, "proizvodne snage" su jedno, a "društvena nadgradnja" nešto sasvim drugo. Njihovo mešanje samo proizvodi haos u razmišljanju.

Ja najveći problem sa AI-em (u ovoj fazi) vidim u tome što može doći do problema sa dezinformacijama (ovo verujem da nećemo moći da prevaziđemo tako lako) i što će još više "ograničiti" ljude. Ograničiti u smislu da nam ubija kreativnost pre svega

U početku, da. Međutim to se može posmatrati i kao sazrevanje i shvatanje šta je realnost sveta u kome se živi. Ranije je mnogo njih verovalo da mediji služe za njihovo informisanje, uglavnom zato što je dobrim delom tako i bilo dok su oni KUPOVALI novine, pa su ONI (narod) bili ti koji plaćaju čitavu tu medijsku firmu. Jer firma radi za onog ko ih plaća. Ali, pošto ih je propaganda ubedila da "imaju pravo" da na Internetu sve bude "besplatno", a nisu shvatili da je to fizički nemoguće, jer besplatan ručak ne postoji, propustili su da shvate i da sada mediji MORAJU da rade za vlast i oglašavače jer ih sada ONI plaćaju. A čitaoci su žrtva. Mediji sada služe za kontrolu i eksploataciju onih koji ih čitaju (usput, još jedna stvar koju je Elon Mask shvatio uvodeći pretplatu za Twiter, što je sama suština napada Američkog establišmenta na njega). Shvatanje kako stvari stvarno stoje sa laganjem i medijima se međutim polako probija i na zapadu, nažalost uglavnom zahvaljujući ratu u Ukrajini, ali ipak.

Isti proces ćemo morati da prođemo i sa Veštačkom Inteligencijom. Fon Nojmanova arhitektura dosadašnjih računara ima uzgrednu posedicu da je sve što računari izbace nužno bilo tačno (ne računajući greške u programiranju) prosto zato što su oni bili dosledna implementacija klasične Aristotolove logike i matematike, pa su im rezultati pouzdani već po internoj arhitekturi. Prelaskom na neuralne mreže kao osnovnu arhitekturu, računari počinju da oponašaju ljude, pa su očigledno dobili i iste slobode. Dakle da lažu i budu kreativni. Ali zato i da budu moćniji. Međutim to je nužnost jer je uvek bilo povezano. Što su veći potencijali, veća je i sloboda delovanja. Zbog toga ne treba previše žaliti gubitak pouzdanosti i mogućnost da nas računari lažu. To je odrastanje čovečanstva i suočavanje sa realnostima sveta kakav on jeste i kakav mora biti da bi mogao da napreduje i menja se. Moramo se prilagoditi mogućnosti da sve što čujemo i vidimo može biti nepouzdano i da sve treba proveravati. Ali to ne bi trebalo da bude posebna novost. Tome služi znanje i školovanje.
 
Poslednja izmena:
Ja najveći problem sa AI-em (u ovoj fazi) vidim u tome što može doći do problema sa dezinformacijama (ovo verujem da nećemo moći da prevaziđemo tako lako) i što će još više "ograničiti" ljude. Ograničiti u smislu da nam ubija kreativnost pre svega
Ово је тачно, постојећи алгоритам тешко да може да се избори са дезинформацијама. Садашњи алгоритам је трениран са текстовима које је створио човек а сада ће гомила текста бити генерисана од стране АИ а потом служити као инпут за тренинг алгоритма.
 
Ne postoji postojeci algoritam. To je ona druga strana medalje.
Jedan od velikih problema jeste nepoznanica - tj AI ce postati (ili vec jeste) nepoznanica i za same "izumitelje"
Danas je vec problem sa neuronskim mrezama - iako je to 'klasican' kompjuterski program, ML moze da daje nepredvidive rezultate i niko nema objasnjenja zasto :)
Dosta stvari se menja iz korena, sto se tice informacionih tehnologija/programiranja - jer si uvek imao input->output i mogao si da zakljucis nekad zbog cega dobijas takav rezultat. Sada se igra menja i jednostavno na neke stvari necemo imati odgovor (mozes zamisliti u buducnosti)

Kazem, trenutne projekcije oko razvoja AI-a ne moraju nuzno biti tacne i veoma je verovatno da ce ovaj hype proci i da cemo do ovoga sto danas predvidjaju da ce biti za 2god, ustvari biti za 10ak god.

Ljudi trebaju investirati sto vise u znanje -> jedina sigurna investicija za buducnost :)
 
Dobar portal za sve dokone entuzijaste koji žele da šilje pamet na AI. :)

Quotes experts about AI > Largest open collection quotes about AI
Regulate or Compete? The China Factor in U.S. AI Policy
LessWrong Concepts Portal

"Disastrous results are to be expected not
merely in the world of fairy tales but in the
real world wherever two agencies essentially
foreign to each other are coupled in the
attempt to achieve a common purpose. […]
If we use, to achieve our purposes, a
mechanical agency with whose operation we
cannot efficiently interfere once we have
started it, because the action is so fast and
irrevocable that we have not the data to
intervene before the action is complete,
then we had better be quite sure that the
purpose put into the machine is the purpose
which we really desire and not merely a
colorful imitation of it.
"
- Norbert Wiener, 1960
 
Neko je objavio interni Guglov dokument koji kritikuje njihov pristup Veštačkoj Inteligenciji. Veoma interesantan sadržaj. U suštini se kaže da ih Open Source pokret ubija u poslovnom smislu, i da im je čitav biznis u pitanju ako se ne otvore. Takođe, da ista sudbina čeka i firmu OpenAI koja je objavila ChatGPT. Takođe su se zatvorili i takođe će polako postati irelevantni. Akademska zajednica i obični pojedinci širom sveta ("Global intelligence community") su se dočepali kvalitetnih AI modela pa krenuli u kolektivni razvoj Open Source AI-ja takvom brzinom da to daleko nadmašuje snage bilo koje privatne kompanije, bez obzira koliko velika bila. Veoma neobičan razvoj događaja.


Izvorni dokument

Google AI Documents Leak “We Have No Moat, And Neither Does OpenAI”
 
Ranije sam pisao o eksplozivnom razvoju koji neprijatno poteseća na "singularnu tačku" koje su se plašili mnogi istraživači u AI oblasti. Deo prethodnog dokumenta je "vremenska linija" novih otkrića koja pokazuje brzinu razvoja u Open Source zajednici koja verovatno nema presedana u istoriji.

The Timeline

Feb 24, 2023 – LLaMA is Launched


Meta launches LLaMA, open sourcing the code, but not the weights. At this point, LLaMA is not instruction or conversation tuned. Like many current models, it is a relatively small model (available at 7B, 13B, 33B, and 65B parameters) that has been trained for a relatively large amount of time, and is therefore quite capable relative to its size.

March 3, 2023 – The Inevitable Happens

Within a week, LLaMA is leaked to the public. The impact on the community cannot be overstated. Existing licenses prevent it from being used for commercial purposes, but suddenly anyone is able to experiment. From this point forward, innovations come hard and fast.

March 12, 2023 – Language models on a Toaster

A little over a week later, Artem Andreenko gets the model working on a Raspberry Pi. At this point the model runs too slowly to be practical because the weights must be paged in and out of memory. Nonetheless, this sets the stage for an onslaught of minification efforts.

March 13, 2023 – Fine Tuning on a Laptop

The next day, Stanford releases Alpaca, which adds instruction tuning to LLaMA. More important than the actual weights, however, was Eric Wang’s alpaca-lora repo, which used low rank fine-tuning to do this training “within hours on a single RTX 4090”.

Suddenly, anyone could fine-tune the model to do anything, kicking off a race to the bottom on low-budget fine-tuning projects. Papers proudly describe their total spend of a few hundred dollars. What’s more, the low rank updates can be distributed easily and separately from the original weights, making them independent of the original license from Meta. Anyone can share and apply them.

March 18, 2023 – Now It’s Fast

Georgi Gerganov uses 4 bit quantization to run LLaMA on a MacBook CPU. It is the first “no GPU” solution that is fast enough to be practical.

March 19, 2023 – A 13B model achieves “parity” with Bard

The next day, a cross-university collaboration releases Vicuna, and uses GPT-4-powered eval to provide qualitative comparisons of model outputs. While the evaluation method is suspect, the model is materially better than earlier variants. Training Cost: $300.

Notably, they were able to use data from ChatGPT while circumventing restrictions on its API – They simply sampled examples of “impressive” ChatGPT dialogue posted on sites like ShareGPT.

March 25, 2023 – Choose Your Own Model

Nomic creates GPT4All, which is both a model and, more importantly, an ecosystem. For the first time, we see models (including Vicuna) being gathered together in one place. Training Cost: $100.

March 28, 2023 – Open Source GPT-3

Cerebras (not to be confused with our own Cerebra) trains the GPT-3 architecture using the optimal compute schedule implied by Chinchilla, and the optimal scaling implied by μ-parameterization. This outperforms existing GPT-3 clones by a wide margin, and represents the first confirmed use of μ-parameterization “in the wild”. These models are trained from scratch, meaning the community is no longer dependent on LLaMA.

March 28, 2023 – Multimodal Training in One Hour

Using a novel Parameter Efficient Fine Tuning (PEFT) technique, LLaMA-Adapter introduces instruction tuning and multimodality in one hour of training. Impressively, they do so with just 1.2M learnable parameters. The model achieves a new SOTA on multimodal ScienceQA.

April 3, 2023 – Real Humans Can’t Tell the Difference Between a 13B Open Model and ChatGPT

Berkeley launches Koala, a dialogue model trained entirely using freely available data.

They take the crucial step of measuring real human preferences between their model and ChatGPT. While ChatGPT still holds a slight edge, more than 50% of the time users either prefer Koala or have no preference. Training Cost: $100.

April 15, 2023 – Open Source RLHF at ChatGPT Levels

Open Assistant launches a model and, more importantly, a dataset for Alignment via RLHF. Their model is close (48.3% vs. 51.7%) to ChatGPT in terms of human preference. In addition to LLaMA, they show that this dataset can be applied to Pythia-12B, giving people the option to use a fully open stack to run the model. Moreover, because the dataset is publicly available, it takes RLHF from unachievable to cheap and easy for small experimenters.
 
Prvo ide informisanje, a onda obrazovanje. Pa tek onda ostalo. Zato sam i otvorio ovu temu. Da nam ne promakne još jedna civilizacijska prekretnica kao tolike do sada.
 
Prvo ide informisanje, a onda obrazovanje. Pa tek onda ostalo. Zato sam i otvorio ovu temu. Da nam ne promakne još jedna civilizacijska prekretnica kao tolike do sada.
Ovo se slažem. Treba polako i lepo objasniti ljudima da je ovo dobro za njih. Jer uvek ces imati ljude poput MC_ ili Bednera koji u svemu vide nesto loše za ljude.

Zapravo ovo je jako dobro za ljude zato sto:
- Nece morati da rade glupe i dosadne ponavljajuce poslove
- zapravo nista nece morati da rade a dobijace universal basic income na primer 2.000 eura mesecno od drzave i ne radis nista
- oni koji budu radili imace plate u 10tinama hiljada
- jedan poslodavac/biznismen/upravljac robotima ce moci da odradi onoliko posla za koliko je nekada trebalo 1000 radnika

Drzava ce svakako dobijati veci prihod od poreza i taj porez samo razdeli kao universal basic income i to je to.
Zasto bi zarobljavali taksiste da sede u kolima po 10 sati i da lome kicmu umesto da sede kuci i rade nesto sta zele tipa crtaju.

Sto pre treba da se automatizuje sto veci broj poslova odjednom da bi ss krenulo u tranziciju ka tome da samo odredjeni ljudi rade.
 
Ovo se slažem. Treba polako i lepo objasniti ljudima da je ovo dobro za njih. Jer uvek ces imati ljude poput MC_ ili Bednera koji u svemu vide nesto loše za ljude.
Meni je uzaludno objašnjavati bilo šta jer ja nisam na vašem nivou. Ja sam dragstor-dweller koji nema pojma ni o čemu, a pritom ne uspeva da pohvata tvoju, odnosno vašu logiku i zamisao, da će u svetu u kome populacija raste, a broj radnih mesta se smanjuje odnosno smanjivao se i pre masovnog uvođenja AI a tek sada će još više... automatizacija svega i svačega i menjanje svega robotima i mašinama kobajagi da dovede do neke utopije u kojoj ćemo svi raditi tek koliko budemo želeli, ili nećemo raditi uopšte, a živećemo od mašte i sunca i ljubavi.

A da, zaboravio sam... biće universal basic income... To će sve rešiti...

Hoće, kao što će biti i 15-časovne radne nedelje... Eno utrkuju se da ih uvedu, kao što se utrkuju da uvedu i universal basic income, i veća prava radnika, i da vrate srednju klasu.

keynes-jpg.160766

Tako da nema spasa za mene, džaba biste mi objašnjavali. Nisam ja dostigao taj Meta nivo kao vi, pa da razumem tu Meta matematiku i Meta logiku.

Trebalo je da zaključiš i iz mog prethodnog nerazumevanja kriptovaluta i ''stvaranja nečega iz ničega'' (bukvalno logika 0+0=5) da ja prosto nisam dorastao, nisam sposoban da vas pratim u stopu dok hrabro koračate i istražujete beskrajnim prostranstom moderne Meta Virtual Kripto LSD MDMA ogike, rezona i fizike.

Prosto, tvoja fizika i matematika i moja fizika i matematika nisu kompatibilne, odnosno prestale su da budu posle neke tačke. I jbg, tamo gde ti ideš, ja ne mogu da te pratim.
Mogu samo da ti, odnosno vam poželim sreću na tom putešestviju i da obećam da ću ostati ovde gde jesam i truditi se da čuvam dragstor što je moguće bolje i što je moguće duže.
 
Poslednja izmena:
Na pogrešno drvo laješ, Zuma ne samo da ne razgovara sa probisvetima kao što sam ja, nego nas čak ni ne uzima u usta. XD

On pokušaj razgovora sa mnom ili meni sličnima smatra istim što i pokušajem razgovora sa psom. Fazon nema šta on sa IQ 185 i 6 diploma da razgovara sa bilo kime ispod IQ 150 i 3 diplome. A kamoli sa dragstorašem i klošarem sa osnovnom školom kao što sam ja. XD Pogotovu što sam mu onoliko vreme osporavao i ismevao Kovidofiliju i Sinofiliju.

Doduše nemoj da misliš da o tebi ima pa mnogo bolje mišljenje. Ako nemaš potvrdu o IQ 150+, 6 diploma, pun zid knjiga i punu D particiju istraživanja (nebitno šta si od toga pročitao a šta ne, bitno je samo da li ih imaš) i ako ne znaš sve detalje o životu i kompanijama Ilona Maska, neće ni tebe mnogo zarezivati. Razgovor sa Zumom mora da se zasluži, a mnogi, čak ni uspešniji, obrazovaniji i ugledniji od mene, nikada ne dožive tu čast.

Legenda kaže da su ljudi za 14 godina u samo 28 prilika dobili takvu priliku i doživeli takvu privilegiju.
 
Vrh